構成要素 - 複数のID写真とビデオ拡散の組み合わせに基づいて、複数のID写真からカスタムビデオを生成するためのフレームワーク。

原材料とは何ですか？

Ingredientsは、複数のID写真とビデオ拡散トランスフォーマーを組み合わせることで、カスタマイズされたビデオを作成する強力なフレームワークです。Ingredientsは、顔抽出器、マルチスケールプロジェクター、IDルーターという3つのコアモジュールに基づいて、高度にカスタマイズされたビデオ生成を実現します。顔抽出器は、グローバルおよびローカルの両方の視点から各IDの顔の特徴をキャプチャします。マルチスケールプロジェクターは、これらの特徴をビデオ拡散モデルのコンテキストにマッピングします。IDルーターは、複数のIDの特徴を対応する時間的および空間的領域に動的に割り当て、組み合わせます。綿密に設計された多段階トレーニングプロトコルに基づいて、Ingredientsは、明示的な制約なしに、高いID忠実度とコンテンツの柔軟性を備えたパーソナライズされたビデオを生成できます。

成分の主な機能

• アイデンティティの一貫性を維持する生成された動画内の複数の参照画像において、人物の同一性に一貫性を保つ。
• 柔軟なコンテンツ管理テキストプロンプトを使用して、ユーザーがビデオコンテンツを正確に制御できるようにする機能です。
• 高品質なビデオ生成高画質で自然なトランジションを備えた動画コンテンツを生成します。
• トレーニングなしでカスタマイズこれにより、新しいIDごとにモデルのトレーニングや微調整を行うことなく、カスタマイズされたビデオ生成が可能になります。

成分の技術的原理

• 顔面抽出器この関数は、入力された参照画像から各人物の顔の特徴を抽出する役割を担います。全体的な視点から顔の全体像を抽出し、局所的な視点から詳細な特徴を抽出するという、グローバルなアプローチとローカルなアプローチを組み合わせることで、生成される動画における顔の特徴の多様性と精度を確保します。
• マルチスケールプロジェクター抽出された顔の特徴は、ビデオ拡散トランスフォーマーの画像クエリコンテキストに埋め込まれ、マッピングされます。マルチスケール特徴融合とクロスアテンションメカニズムを使用することで、ビデオ拡散モデルにおける顔の特徴と視覚トークン間の効果的な相互作用が可能になり、生成プロセス中に人物の身元情報を正確に反映します。
• IDルーターこの機能は、動画生成における時間的・空間的領域内で、複数の識別特徴を動的に割り当て、組み合わせる役割を担います。位置情報に基づくルーティングネットワークを用いて、顔の各領域を固有の識別特徴に割り当て、識別特徴の混同や混乱を防ぎ、生成された動画において異なる人物を明確に区別し、一貫性のある表現を実現します。

材料プロジェクトの住所

• GitHubリポジトリ：https://github.com/feizc/Ingredients
• ハギングフェイスモデルライブラリ：https://huggingface.co/feizhengcong/Ingredients
• arXiv技術論文：https://arxiv.org/pdf/2501.01790

成分の応用シナリオ

• エンターテイメント制作バーチャルアイドルのためのマルチシーンミュージックビデオを制作し、顔の特徴やスタイルの一貫性を保ちつつ、ファンとの交流を促進する。
• 広告業界ファッションブランド向けに様々なスタイルの広告をカスタマイズし、キャンパスや街中といった場面でターゲット層のファッショナブルな装いをアピールすることで、ブランドの魅力を高めます。
• 教育と指導語学学習アプリでは、国際会議の場面を動画にすることで、学習者が様々な国の代表者間のやり取りを視聴し、ビジネス英語や異文化コミュニケーションを学ぶことができるようにしましょう。
• ソーシャルメディアユーザーは、古い写真と口承による物語を組み合わせて、さまざまな時代の家族の生活を紹介する家族史ビデオを作成し、それをソーシャルメディアで共有して他の人々と共感を呼んでいます。
• バーチャルリアリティバーチャルリアリティ観光アプリケーションでは、ユーザーがバーチャルガイドと一緒に観光名所を巡る様子を映した動画が生成されます。ガイドは観光名所の歴史や文化について詳細な説明を行い、観光体験のリアリティを高めます。