project
Phantom - ByteDanceが開発した一貫性のある動画生成フレームワーク
Phantomは、ByteDanceのインテリジェントクリエーションチームが開発した、被写体から動画（S2V）を生成するためのフレームワークです。クロスモーダルアライメント技術に基づき、テキストと画像の手がかりを組み合わせることで、参照画像から主要な被写体を抽出します。
ファントムとは何ですか？
Phantomは、ByteDanceのインテリジェントクリエーションチームが開発した、被写体から動画への生成（S2V）のためのフレームワークです。クロスモーダルアライメント技術に基づき、テキストと画像の手がかりを組み合わせて参照画像から被写体要素を抽出し、テキスト記述と一致する動画コンテンツを生成します。Phantomは、既存のテキストから動画への生成（T2V）および画像から動画への生成（I2V）アーキテクチャに基づき、テキストと画像の統合的な挿入モデルを再設計し、テキスト・画像・動画のトリプルデータに基づいてクロスモーダルアライメントを学習します。Phantomフレームワークは、単一被写体および複数被写体の参照をサポートし、特に人間が生成するタスクにおいて被写体の一貫性を重視し、既存の本人確認型動画生成タスクを網羅し、さらに優れた利点を提供します。
ファントムの主な機能
- 参照画像から被写体要素を抽出する画像から主要な被写体（人物、動物、物体など）を識別して抽出し、動画生成の中核コンテンツとする。
- テキストプロンプトに基づいて動画を生成します。ユーザーはテキストコマンドに基づいて動画の内容とスタイルを制御できるため、高度にカスタマイズされた動画生成が可能になります。
- 複数被写体の動画生成複数の対象を同時に処理し、複数人によるインタラクションや人間とペットのインタラクションといった複雑なインタラクティブシナリオを生成することをサポートします。
- ID保持動画を生成する際、被写体のアイデンティティの特徴（顔、服装など）が保持されるため、仮想試着やデジタル人間生成などのシナリオに特に適しています。
- 高画質ビデオ出力生成された動画は、視覚効果、被写体の一貫性、テキストの応答性において非常に優れた性能を発揮し、既存の商用ソリューションに匹敵する。
ファントムの技術原理
- データ構造設計Phantomは、テキスト、画像、動画の3つの要素からなるデータ構造を構築し、異なるモダリティ間の関係性を理解できるようにモデルを訓練します。データは、モデルが入力画像を単純にコピーすることを避けるため、インペア（画像と動画の被写体が同じ）とクロスペア（動画間でマッチング）の2種類に分けられます。
- モデルアーキテクチャ既存のテキスト・トゥ・ビデオ（T2V）およびイメージ・トゥ・ビデオ（I2V）アーキテクチャに基づき、テキストと画像を統合的に挿入するモデルを再設計した。このモデルは、入力ヘッドと学習可能なDiTモジュールから構成される。入力ヘッドはビデオ、テキスト、および参照画像のエンコードを担当し、DiTモジュールはクロスモーダルアライメントとビデオ生成を担当する。
- 異種モダリティ間の連携参照画像は、特定のビジュアルエンコーダ（VAEやCLIPなど）に基づいてエンコードされ、それぞれビデオ特徴量とテキスト特徴量と連結され、DiTモジュールのビジュアルブランチとテキストブランチに入力されます。
- 身元保護技術顔などの識別特徴を処理する際には、生成された動画と参照画像との類似性を顔認識モデル（ArcFaceなど）に基づいて評価し、被写体の身元が一貫していることを確認します。
- 最適化とトレーニングこのモデルは、大規模なトリプレットデータを用いて学習され、動画生成時にテキスト情報と画像情報のバランスを取る方法を習得します。事前学習段階では、モデルはベースモデルの重みを継承し、さらにクロスモーダルデータに基づいて微調整を行うことで、高品質な動画生成を実現します。
ファントムのプロジェクトアドレス
- プロジェクト公式サイト：https://phantom-video.github.io/Phantom/
- GitHubリポジトリ：https://github.com/Phantom-video/Phantom
- ハギングフェイスモデルライブラリ：https://huggingface.co/bytedance-research/Phantom
- arXiv技術論文：https://arxiv.org/pdf/2502.11079
Phantomのアプリケーションシナリオ
- バーチャル試着衣服の効果をユーザーが事前に確認できるよう、動的な表示動画を生成します。
- デジタルヒューマンジェネレーション仮想配信者などのシナリオで使用するために、特定の外見を持つ仮想キャラクターを作成します。
- 広告ビデオ制作画像とテキストに基づいて商品広告を迅速に生成し、生産効率を向上させます。
- 映画とアニメーションキャラクターアニメーションのプロトタイプを作成することで、クリエイティブな検証を支援し、制作コストを削減します。
- 教育と訓練科学実験や歴史的な場面を題材にした教育ビデオを作成し、インタラクティブ性を高める。