FlowDirector - 西湖大学と中南大学が共同開発した動画編集フレームワーク - AiBoss

FlowDirectorとは何ですか？

FlowDirectorは、西湖大学AGI Labチームが中南大学と共同開発した、トレーニング不要の革新的なビデオ編集フレームワークです。自然言語による指示に基づいてビデオコンテンツを精密に編集するために特別に設計されています。このフレームワークは、データ空間における編集プロセスを直接モデル化し、常微分方程式（ODE）によって駆動される滑らかな遷移パスを用いることで、従来の潜在空間逆マッピング手法に内在する時間的な不整合や構造的な歪みを回避します。FlowDirectorは、未編集領域の時空間的な一貫性を正確に保護する空間注意フロー補正（SAFC）メカニズムを導入し、微分平均誘導（DAG）戦略に基づいて意味的なアライメント機能を強化しています。このフレームワークは、複数のビデオ編集ベンチマークにおいて非常に優れた性能を発揮し、指示への準拠性、時間的な一貫性、背景保護を大幅に向上させ、効率的かつ一貫性のあるビデオ編集のための新たなソリューションを提供します。

FlowDirectorの主な機能

正確な意味編集自然言語による指示に基づいて、動画コンテンツの意味を修正します。例えば、動画内の「クマ」を「恐竜」に置き換えるなどです。
時空間的一貫性保護編集作業中は、コンテンツのずれやスタイルの不整合を避けるため、動画の時間的な連続性と空間的な構造を維持してください。
ローカル編集とグローバル保護空間的注意機構に基づき、対象領域のみを編集し、編集されていない領域の元のコンテンツとダイナミクスを保持します。
高効率でトレーニング不要の編集追加のトレーニングは不要です。事前学習済みのテキスト・トゥ・ビデオ（T2V）モデルを使用して直接編集できるため、編集コストを削減し、効率を向上させることができます。
複数の編集タスクをサポートオブジェクトの置換、テクスチャ変換、ローカル属性の変更、オブジェクトの追加/削除など、さまざまな複雑なビデオ編集タスクの処理をサポートしています。

FlowDirectorの技術原理

編集フロー生成事前学習済みのテキスト・トゥ・ビデオ（T2V）モデルに基づき、ソースビデオとターゲットビデオ間の速度場の差を計算し、ソースビデオからターゲットビデオへの編集パスを直接生成します。常微分方程式（ODE）によって駆動される滑らかな遷移パスにより、従来の手法における潜在空間逆マッピングによって引き起こされる構造歪みの問題を回避します。
空間的注意フロー補正（SAFC）注意誘導型マスキング機構を導入する。編集タスクに関連する注意マップを抽出することで、編集領域を正確に制御するマスクを生成する。常微分方程式（ODE）駆動型編集中、このマスクを速度場に適用して非ターゲット領域を固定し、編集中に領域が変化しないようにする。
差分平均化ガイダンス（DAG）分類器フリーガイダンス（CFG）に着想を得たこの手法は、複数の候補編集ストリームを生成し、それらの間の差分信号を計算することで、意味的整合性を向上させます。差分信号に基づいて編集軌跡を調整することで、構造的な一貫性を維持しながら、編集結果を目標とする意味に近づけます。

FlowDirectorプロジェクトのアドレス

プロジェクト公式サイト：https://flowdirector-edit.github.io/
GitHubリポジトリ：https://github.com/Westlake-AGI-Lab/FlowDirector
arXiv技術論文：https://arxiv.org/pdf/2506.05046

FlowDirectorの応用シナリオ

ビデオエフェクト制作簡単なテキストコマンドに基づいて特殊効果を素早く生成し、通常のシーンにあるオブジェクトをファンタジー要素（例えば「車」を「ドラゴン」に置き換えるなど）に置き換えることで、映画やテレビ作品に創造性を加える。
広告ビデオ制作広告コピーに基づいて動画コンテンツを迅速に調整し、製品の外観や背景環境を広告テーマに合った要素に置き換えることで、広告の魅力と関連性を高めます。
アニメーション制作アニメーション動画内のキャラクターやシーンを素早く変更できます。例えば、キャラクターの服の色を「赤」から「青」に変更したり、シーンを「森」から「都市」に変更したりすることで、アニメーション制作プロセスを加速できます。
パーソナライズされたビデオ編集ユーザーは、ニーズに合わせて短い動画をすばやく編集できます。動画内のペットを他の動物に置き換えたり、面白い特殊効果を追加して動画の楽しさや魅力を高めたりすることができます。
クリエイティブコンテンツの生成クリエイターは、特定のテーマやスタイルに合った動画コンテンツを素早く作成でき、ありふれた風景動画を「サイバーパンク風」に加工することで、ソーシャルメディアユーザーが求めるクリエイティブなコンテンツを提供することができる。