DiTCtrl - 香港中文大学、テンセント、その他組織が共同で開発した、複数のプロンプトを用いた動画生成手法。

DiTCtrlとは何ですか？

DiTCtrlは、香港中文大学、テンセント、その他の機関が共同開発した、マルチモーダル拡散トランスフォーマー（MM-DiT）アーキテクチャに基づくマルチキュー動画生成手法です。DiTCtrlは、追加のトレーニングなしに、複数のテキストキュー間で一貫性のある動画生成を実現し、コンテンツとモーションの一貫性を維持します。MM-DiTのアテンションメカニズムの分析に基づき、DiTCtrlはキーバリュー共有と潜在的ブレンド戦略を採用することで、異なるキュー間のスムーズな遷移を実現し、動画生成の一貫性と自然さを向上させています。新しいベンチマークであるMPVBenchにおいて、DiTCtrlは計算効率を維持しながら最先端のパフォーマンスを達成し、マルチキュー動画生成技術における大きな進歩を示しています。

DiTCtrlの主な機能

• マルチプロンプトビデオ生成DiTCtrlは複数のテキストプロンプトを処理し、一貫性のあるビデオコンテンツを生成できます。これは、現実世界の動的で複数のアクションが絡み合うシーンを反映する上で特に重要です。
• 追加のトレーニングは不要です。従来の動画生成モデルとは異なり、DiTCtrlは追加の学習データや計算リソースを必要とせずに動画を生成でき、ゼロショットのマルチキュー動画生成を実現します。
• スムーズな移行DiTCtrlは、異なるビデオクリップ間のスムーズな切り替えを可能にし、ビデオコンテンツの連続性と視覚的な一貫性を維持します。
• 正確な意味制御このシステムは、MM-DiTベースのアテンションメカニズムを分析・活用してビデオコンテンツを正確に制御し、生成されるビデオがテキストプロンプトに密接に対応するようにします。

DiTCtrlの技術的原理

• MM-DiTアーキテクチャマルチモーダル拡散変換器（MM-DiT）アーキテクチャに基づき、テキストとビデオは注意計算のために統一されたシーケンスにマッピングされ、マルチモーダルデータを効率的に処理します。
• 注意機構の分析本研究は、MM-DiTの3Dフルアテンションメカニズムを初めて分析し、それがUNetライクな拡散モデルのクロス/セルフアテンションモジュールに類似していることを発見し、正確な意味制御の基礎を提供するものである。
• KV共有メカニズムこのシステムは、キーバリュー（KV）共有メカニズムを採用することで、異なるプロンプトを持つビデオセグメント間で注意情報を共有できるようにし、キーオブジェクトの意味的一貫性を維持します。
• 潜在的なハイブリッド戦略DiTCtrlは、ビデオセグメント間のスムーズな遷移を実現するために、潜在的ブレンド戦略を採用しています。この戦略では、隣接するビデオセグメントの重なり合う領域に位置依存の重み付け関数を適用することで、異なる意味セグメント間のスムーズな遷移を実現します。
• マスク誘導型注意融合特定のオブジェクトのアテンションマスクを抽出し、そのマスクを使用してアテンション融合を誘導し、新しいキューに対するアテンション特徴を生成することで、異なるキュー間の一貫性を実現する。
• MPPVenchベンチマークマルチキュービデオ生成の性能を評価するために、様々なトランジションタイプと特殊な評価指標を含むMPPVenchベンチマークが導入されています。

DiTCtrlのプロジェクトアドレス

• プロジェクト公式サイト：onevfall.github.io/project_page/ditctrl
• GitHubリポジトリ：https://github.com/TencentARC/DiTCtrl
• arXiv技術論文：https://arxiv.org/pdf/2412.18597

DiTCtrlの応用シナリオ

• 映画およびビデオ制作映画の予告編、特殊効果シーン、アニメーション動画の制作に使用され、実際の撮影コストと時間を削減します。
• ゲーム開発ゲーム開発においては、ゲームへの没入感やストーリーテリングを向上させるために、動的な背景動画やゲームストーリーのアニメーションを生成することができる。
• 広告業界広告コピーに基づいて魅力的な動画コンテンツを素早く生成し、広告の創造性と魅力を高めます。
• ソーシャルメディアコンテンツの作成ユーザーは、TikTokやInstagramなどのソーシャルメディアプラットフォームで使用するための、パーソナライズされた動画コンテンツを作成する。
• ニュースとレポートニュース報道において、動的なグラフや出来事の再現図を作成することで、情報の伝達をより直感的で鮮明なものにすることができます。