Qihoo-T2X - 360 AI Research Instituteと中山大学がオープンソース化した高効率マルチモーダル生成モデル

QIHOO-T2Xとは何ですか？

Qihoo-T2Xは、360 AI Research Instituteと中山大学が共同開発した、代理ラベル付き拡散トランスフォーマー（PT-DiT）に基づく高効率マルチモーダル生成モデルです。Qihoo-T2Xは、疎な代理ラベル付きアテンションメカニズムを導入することで、従来の拡散トランスフォーマーのグローバル自己アテンション計算における冗長性を大幅に削減し、ウィンドウアテンションとシフトウィンドウアテンションを組み合わせることで、詳細なモデリング能力を向上させています。Qihoo-T2Xは、テキストから画像（T2I）、テキストから動画（T2V）、テキストからマルチビュー（T2MV）の生成など、様々なタスクをサポートしています。

Qihoo-T2Xの主な機能

• テキストを画像に変換入力されたテキスト記述に基づいて、高品質・高解像度の画像を生成し、テキスト記述と高い整合性を持つ画像コンテンツを作成します。クリエイティブデザイン、アート制作など、様々な分野に適しています。
• テキストからビデオへテキスト記述に基づいて一貫性のあるビデオコンテンツを生成し、動的なシーンやビデオシーケンスの生成をサポートしており、ビデオ制作、アニメーション制作などのシナリオに適しています。
• テキストを複数のビューに表示テキストによる説明に基づいて、同一の物体またはシーンの複数視点画像を生成し、3Dオブジェクトの複数視点表示に適しており、仮想現実（VR）および拡張現実（AR）アプリケーションをサポートします。
• 高効率発電最適化されたエージェントベースのトークン化アテンションメカニズムに基づいているため、計算の複雑さを大幅に軽減し、高解像度画像や長尺動画の効率的な生成をサポートし、トレーニングと推論のコストを削減します。

Qihoo-T2Xの技術原理

• プロキシベースのアテンション従来の拡散ベースのTransformerは、計算が複雑で冗長なグローバル自己注意機構を使用しています。PT-DiT（Qihoo-T2Xの中核アーキテクチャ）は、各時空間ウィンドウ内の平均トークンをプロキシトークンとして計算し、プロキシトークンに対して自己注意計算を実行することで、計算コストを大幅に削減します。プロキシトークン間のグローバルな意味情報は、クロスアテンションを通じてすべての潜在的なトークンに注入され、グローバル情報の効果的な伝播を保証します。
• ウィンドウの注意とシフトしたウィンドウの注意PT-DiTは、局所的な詳細モデリング機能を強化するために、ウィンドウアテンション機構を導入し、局所ウィンドウ内のマーカーに対して自己アテンション計算を実行します。このシフトされたウィンドウアテンション機構は、ウィンドウ分割によって生じる「メッシュ効果」を回避し、生成品質をさらに向上させます。
• 疎なプロキシタグの効率的な計算PT-DiTは、疎なプロキシタグ付けメカニズムに基づいており、高解像度画像や長尺動画を処理する際に、生成されるコンテンツの品質を維持しながら、計算の複雑さを大幅に軽減します。
• マルチタスクへの適応性PT-DiTのアーキテクチャは、モデル構造に大きな変更を加えることなく、画像生成、動画生成、マルチビュー生成といった様々なタスクにシームレスに対応できるように設計されています。

Qihoo-T2Xプロジェクトの住所

• プロジェクト公式サイト：https://360cvgroup.github.io/Qihoo-T2X/
• GitHubリポジトリ：https://github.com/360CVGroup/Qihoo-T2X
• arXiv技術論文：https://arxiv.org/pdf/2409.04005

Qihoo-T2Xの応用事例

• クリエイティブデザインと芸術的創造テキストによる説明に基づいて高品質な芸術画像を迅速に生成でき、複数のスタイルに対応し、デザインプロセスを加速させ、アーティストにインスピレーションを与えます。
• 動画コンテンツの生成広告、プロモーション、アニメーション制作に適した、一貫性のあるアニメーション動画を生成し、動画制作のコストと時間を削減します。
• 教育と訓練学生が複雑な概念を理解するのに役立つ教育用画像や動画を作成し、仮想実験室や動的な教育リソースをサポートします。
• エンターテインメントおよびゲーム開発ゲーム開発、仮想現実（VR）、拡張現実（AR）アプリケーションで使用するための仮想シーン、キャラクター、および動的コンテンツを生成し、没入感を高めます。
• 広告とマーケティングパーソナライズされた広告画像や動画を迅速に生成し、マーケティング効果を高め、ブランドのビジュアルコンテンツニーズを満たします。