AB
AB
AiBoss

すべてのカテゴリ

project

DreamVideo-2 - 復旦大学、アリババ、その他複数の機関が共同で開発した、サンプル不要の動画カスタマイズ生成フレームワーク。

DreamVideo-2は、復旦大学、アリババグループ、その他の機関が共同開発した革新的なゼロサンプル動画カスタマイズフレームワークです。DreamVideo-2は、1枚の画像と一連のバウンディングボックスから、特定のテーマと正確なモーション軌跡を持つ動画を生成できます。

DreamVideo-2とは何ですか？

DreamVideo-2は、復旦大学、アリババグループ、その他の機関が共同開発した革新的なゼロショット動画カスタマイズフレームワークです。DreamVideo-2は、テスト中に微調整を行うことなく、単一の画像と一連のバウンディングボックスから、特定のテーマと正確なモーション軌跡を持つ動画を生成できます。このフレームワークは、参照アテンションメカニズムを使用してテーマの外観を学習し、バウンディングボックスから導出されたバイナリマスクに基づいてモーション軌跡を制御することで、正確なモーション制御を実現します。DreamVideo-2は、ハイブリッドマスク参照アテンションと重み付け拡散損失を導入することで、テーマ表現を強化し、テーマ学習とモーション制御のバランスを取っています。研究チームは、WebVid-10Mデータセットと内部データを使用して、ゼロショット動画カスタマイズタスクをサポートしました。DreamVideo-2は、テーマカスタマイズとモーション制御の両方において、既存の最先端手法を凌駕しており、動画カスタマイズ分野におけるその可能性と実用性を示しています。

DreamVideo-2の主な機能

  • ゼロサンプルカスタマイズテスト中に微調整を行う必要がなく、ユーザーが提供する単一の画像とバウンディングボックスのシーケンスに基づいて、特定のテーマと正確な動きの軌跡を持つビデオを直接生成できます。
  • テーマ別学習参照注意機構に基づき、モデル本来の能力を用いて、特定のトピックの外観を学習・生成する。
  • 精密な動作制御: バウンディングボックスから生成されたバイナリマスクを使用して、ビデオ内の被写体の動きの軌跡を制御し、正確なモーションコントロールを実現します。
  • ハイブリッドマスクに関する参考情報ハイブリッド潜在マスクモデリング手法を用いることで、対象部位のトピック表現を強化し、トピックの精度を向上させる。
  • 再加重拡散損失テーマ学習と運動制御のバランスを確保するために、境界線の内側と外側の領域の貢献を区別する。

DreamVideo-2の技術原理

  • 参照注意機構：
    • ビデオ拡散モデルのマルチスケール特徴抽出機能に基づき、ユーザーが提供する単一トピック画像を単一フレームのビデオ入力モデルとして使用し、トピック注意特徴を取得します。
    • 残差クロスアテンションを用いてトピックの特徴をビデオの特徴に組み込むことで、モデルが特定のトピックを学習する能力が向上する。
  • マスク誘導型モーションモジュール：
    • ユーザーが定義したバウンディングボックスのシーケンスをバイナリマスクシーケンスに変換し、ビデオ内の被写体の動きの軌跡を示します。
    • この設計では、マスク誘導型モーションモジュールが組み込まれており、これには時空間エンコーダと空間制御ネットワークが含まれており、マスクシーケンスからモーション情報を抽出して精密な制御を実現します。
  • ハイブリッドマスクに関する参考情報参照注意にハイブリッド潜在マスクモデリングを導入することで、マスク内の背景の重みを調整することにより、対象位置の被験者表現が強化される。
  • 再加重拡散損失: 境界ボックスの内側と外側の領域の損失寄与度を調整することにより、トピック学習とモーション制御のバランスをとる新しい損失関数を設計します。
  • 訓練と推論：
    • トレーニング段階では、元の3D UNetのパラメータは固定され、ハイブリッドマスク参照アテンションやマスク誘導モーションモジュールなどの新しく追加されたコンポーネントが一緒にトレーニングされます。
    • 推論段階では、ユーザーはテーマ画像と一連のバウンディングボックスを提供することで、追加の微調整やアテンションマップの変更なしに、カスタマイズされたビデオを生成できます。
  • データセットの構築: ビデオマスクとバウンディングボックスを含む新しい単一トピックのビデオデータセットを構築し、Grounding DINO、SAM、およびDEVAモデルを使用してアノテーションを生成し、ゼロショットビデオのカスタマイズタスクをサポートします。

DreamVideo-2プロジェクトの住所

DreamVideo-2の応用事例

  • エンターテインメントとソーシャルメディアユーザーは、ソーシャルメディアでの共有や個人的な娯楽のために、個人の好みに基づいて特定の人物や物体を含むビデオコンテンツをすばやく作成できます。
  • 映画およびビデオ制作映画制作者はDreamVideo-2を使用して特殊効果やシーンをプレビューしたり、特定のアクションシーンを生成したりすることで、実際の撮影にかかるコストと時間を削減できる。
  • 広告とマーケティング企業は、カスタマイズされた動画コンテンツに基づいて、特定の製品やブランドをテーマにすることで、広告のパーソナライズとインタラクティブ性を高め、より魅力的な広告を作成することができます。
  • 教育と訓練教育機関はDreamVideo-2を使用して、特定の実験プロセスや歴史的出来事をシミュレートする教育ビデオを作成し、学習体験を向上させている。
  • ニュースとレポート報道機関は、特に現場での撮影が難しいイベントなどにおいて、ニュース記事のための視覚コンテンツを迅速に作成することができる。
戻る