project
CustomVideoX - 中国科学技術大学と浙江大学などが共同開発した、パーソナライズされた動画生成フレームワーク。
CustomVideoXは、中国科学技術大学（USTC）と浙江大学などが共同で提案した革新的なパーソナライズド動画生成フレームワークです。参照画像とテキスト説明を用いて、高品質でカスタマイズされた動画を生成します。このフレームワークは、動画拡散トランスフォーマーに基づいています。
CustomVideoXとは何ですか？
CustomVideoXは、中国科学技術大学（USTC）と浙江大学などが共同で提案した革新的なパーソナライズド動画生成フレームワークです。参照画像とテキスト記述を用いて、高品質でカスタマイズされた動画を生成します。このフレームワークは、Video Diffusion Transformerをベースとしており、ゼロショット学習を採用し、LoRAパラメータのみを学習して参照画像の特徴を抽出することで、効率的なパーソナライズド動画生成を実現しています。CustomVideoXの中核技術には、空間的および時間的な次元で参照画像の特徴と動画フレーム間の直接的な相互作用をサポートする3D参照アテンションメカニズム、参照特徴の影響を動的に調整することで生成動画の時間的一貫性を高める時間認識型アテンションバイアス（TAB）戦略、意味的アライメントによって重要なエンティティ領域を強調するエンティティ領域認識型エンハンスメント（ERAE）モジュールが含まれます。これにより、従来の手法に内在する時間的不整合や品質劣化の問題に対処しています。
CustomVideoXの主な機能
- パーソナライズされたビデオ生成CustomVideoXは、ユーザーが提供した参照画像とテキスト説明に極めて近い動画コンテンツを生成できます。説明内容に準拠し、参照画像の詳細な特徴を保持する動画を生成します。
- 高精度参照画像融合CustomVideoXは、3D参照アテンション機構により、参照画像の特徴が空間的および時間的な両面でビデオフレームとシームレスに相互作用することを可能にします。これにより、生成されるビデオがテキストの説明と一致し、各フレームにおいて参照画像の主要な特徴と詳細が保持されることが保証されます。
- 時間コヒーレンス最適化CustomVideoXは、時間認識型アテンションバイアス（TAB）戦略を導入しています。これは、異なるタイムステップにおける参照特徴の影響を動的に調整することで、生成される動画の時間的整合性を最適化します。これにより、従来の手法でよく見られるジャンプや矛盾を回避できます。
- 重点分野の強化CustomVideoXは、エンティティ領域認識拡張（ERAE）モジュールを通じて、テキスト説明に関連するビデオ内の重要な領域を識別し、強化することができます。
CustomVideoXの技術的原理
- 3D参照注意機構参照画像は3D因果VAEを使用してエンコードされ、特徴が空間的および時間的次元の両方でビデオフレームと直接相互作用することを可能にし、生成されたビデオが各フレームで参照画像の主要な特徴と詳細を保持することを保証します。
- 時間知覚注意バイアス（TAB）拡散モデルのノイズ除去処理では、放物線状の時間マスクを用いて参照特徴の重みを動的に調整します。ノイズ除去の初期段階では参照特徴の影響を弱め、中間段階で強め、最終段階で再び弱めることで、生成される動画の時間的な一貫性と視覚的な品質を最適化します。
- 拡張エンティティ領域認識（ERAE）この手法は、テキスト記述における主要なエンティティの活性化強度を計算し、これらのエンティティに関連する動画内の領域を特定し、それらの意味的な整合性を強化します。これにより、対象となるエンティティが強調され、背景の多様性が維持され、生成される動画の意味的な一貫性と自然さが向上します。
- ゼロショット学習とLoRAパラメータトレーニングこの手法では、少数のLoRAパラメータのみを学習させることで参照画像の特徴を抽出するため、従来の微調整手法で発生する可能性のある性能低下を回避しつつ、事前学習済みモデルの整合性を維持し、学習の複雑さを軽減します。
- 高品質なデータセットとベンチマーク研究者らは、高品質でカスタマイズされたビデオデータセットを構築し、モデルの汎化能力と性能を訓練および評価するためのベンチマークプラットフォームであるVideoBenchを提案した。
CustomVideoXプロジェクトのアドレス
- プロジェクト公式サイト：https://xiaobul.github.io/CustomVideoX/
- arXiv技術論文：https://arxiv.org/pdf/2502.06527
CustomVideoXのアプリケーションシナリオ
- 美術とデザイン静止画像を動画に変換することで、芸術作品の制作やアニメーションデザインを支援します。
- 広告とマーケティングブランドプロモーションの効果を高めるために、パーソナライズされた広告動画を作成する。
- 映画とエンターテイメント特殊効果制作やアニメーション制作を支援し、映画やテレビ番組の視覚効果を向上させます。
- 教育と訓練教育コンテンツのインタラクティブ性と理解度を高めるための説明用アニメーションを作成する。
- ゲーム開発キャラクターアニメーションやゲームカットシーンを迅速に生成することで、開発効率を向上させます。