ShotAdapter - AdobeとUIUCが共同開発したマルチレンズビデオ生成フレームワーク - AiBoss

ShotAdapterとは何ですか？

ShotAdapterは、AdobeがUIUCと共同開発したフレームワークで、テキストからマルチショット動画を生成するために使用されます。高度に調整された事前学習済みのテキスト動画モデルに基づいて、トランジションマーカーとローカルアテンションマスキング戦略を導入し、マルチショット動画を生成します。このフレームワークは、異なるショット間でキャラクターの同一性を一貫して維持し、特定のテキストキューを使用してショットの数、期間、および内容をユーザーが制御できるようにします。ShotAdapterは、シングルショット動画データセットからマルチショット動画データセットを構築する新しい方法を導入し、動画クリップのサンプリング、セグメンテーション、およびスティッチングに基づいてトレーニングデータを生成します。

ShotAdapterの主な機能

マルチカメラビデオ生成テキストによる説明に基づいて、複数のショットを含む動画を生成します。各ショットは、異なるアクティビティと背景を持つものとします。
ショット数と持続時間の制御ユーザーは、テキストプロンプトを使用して、動画内のショット数と各ショットの長さを正確に制御できます。
役割同一性の一貫性複数のショットを通して、キャラクターのアイデンティティを一貫して維持する。
バックグラウンド制御動画全体を通して一貫した背景を維持することも、ショットごとに新しい背景に切り替えることも可能で、ユーザーのニーズに基づいて柔軟な調整ができます。
レンズ固有のコンテンツ制御この機能により、ユーザーは特定のテキストプロンプトに基づいて各ショットのコンテンツを制御でき、ビデオの詳細をきめ細かく制御することが可能になります。

ShotAdapterの技術的原理

遷移マーカー動画内のショット間の遷移を示すために、特別な遷移マーカーが導入されています。これらのマーカーはテキストから動画への変換モデルに組み込まれており、モデルがショット間の遷移を認識して生成することを可能にします。
局所注意マスク各ショットの内容とテキストキューとの密接な対応関係を確保するため、局所的な注意マスキングが用いられます。このマスキング戦略により、モデルの異なる部分間の相互作用が制限され、各テキストキューが対応するビデオフレームのみに影響を与えることが保証されるため、ショットごとの制御が可能になります。
事前学習済みモデルの微調整この手法では、マルチカメラ動画データセットを用いて、事前学習済みのテキスト・動画変換モデルを微調整することで、マルチカメラ動画を生成します。微調整プロセスは、モデルをマルチカメラ動画生成タスクに適合させるために必要な反復回数が比較的少なく（例えば5000回）、短時間で済みます。
データセットの構築本論文では、マルチショット動画生成モデルを訓練するために、シングルショット動画データセットからマルチショット動画データセットを構築する方法を提案する。動画セグメントのサンプリング、セグメンテーション、スティッチング、および後処理ステップ（同一性整合性チェックやショット固有のキャプション生成など）に基づいて、訓練に適したマルチショット動画データセットを作成する。

ShotAdapterプロジェクトのアドレス

プロジェクト公式サイト：https://shotadapter.github.io/
arXiv技術論文：https://arxiv.org/pdf/2505.07652

ShotAdapterの応用シナリオ

映画およびテレビ制作スクリプトのプレビュー、アニメーション、特殊効果ビデオを生成することで、制作効率を向上させます。
広告とマーケティングユーザーのエンゲージメントを高めるために、魅力的な広告やソーシャルメディア動画を作成しましょう。
教育教育・研修の支援、および教育ビデオや企業研修コンテンツの制作を行う。
ゲーム開発プレイヤー体験を向上させるため、ゲームのストーリー動画やカットシーンを作成する。
個人的な創作これは、個人がビデオ日記やクリエイティブな動画を作成するのを支援し、彼らの創造性を刺激します。