VideoAnydoor - 香港大学、アリババDAMOアカデミー、その他の機関が共同開発した、ゼロショット方式のビデオオブジェクト挿入フレームワーク。

VideoAnydoorとは何ですか？

VideoAnydoorは、香港大学、アリババグループのDAMOアカデミー、レイクサイドラボ、華中科技大学が共同開発した、ゼロショットビデオオブジェクト挿入フレームワークです。高忠実度かつ正確なモーション制御で、特定のオブジェクトをビデオに挿入できます。テキストからビデオへの拡散モデルに基づき、VideoAnydoorはID抽出器を使用してグローバルな識別情報を注入し、バウンディングボックスシーケンスで全体的な動きをガイドします。フレームワークの中核はピクセル変形モジュールです。VideoAnydoorは、キーポイントと軌跡を含む参照画像を入力として受け取り、軌跡に従ってピクセルの詳細を変形し、拡散U-Netと融合して詳細を保持し、きめ細かいモーション制御をサポートします。VideoAnydoorは、ビデオと静止画の両方のトレーニング戦略を組み合わせ、重み付けされた再構成損失を導入して挿入品質を向上させます。

VideoAnydoorの主な機能

• 高精細ビデオオブジェクトの挿入指定されたオブジェクトを、そのオブジェクトの細かな外観ディテールを保持したまま、高精度でターゲットビデオに挿入します。
• 精密な動作制御この機能により、ユーザーはボックスシーケンスやポイント軌跡に基づいて挿入されたオブジェクトの動きを正確に制御でき、ビデオ背景との自然な融合を実現できます。
• 複数地域編集複数のオブジェクトを挿入したり、異なる領域で異なる編集操作を実行したりするなど、動画内の複数の領域を同時に編集する機能をサポートしています。
• 多様なアプリケーションサポート特定のタスクに合わせて微調整する必要なく、ビデオ仮想試着、ビデオ顔交換、複数領域編集など、さまざまな下流アプリケーションをシームレスにサポートします。

VideoAnydoorの技術原理

• テキストからビデオへの拡散モデルこの手法は、テキストからビデオへの拡散モデルに基づいており、ランダムノイズ、オブジェクトマスキング、およびマスクされたビデオを組み合わせて入力として使用し、テキストの説明に一致するビデオコンテンツを生成します。
• ID抽出背景のない参照画像からコンパクトで特徴的なIDトークンを抽出し、拡散モデルに挿入します。これにより、オブジェクトのグローバルな識別情報が保持され、動画内で挿入されたオブジェクトの識別情報の一貫性が確保されます。
• ピクセル変形モジュールこの手法は、任意のキーポイントとそれに対応するキーポイントの軌跡を含む参照画像を入力として受け取り、軌跡に基づいてピクセルの詳細を変形させ、オブジェクトの正確な動き制御を実現し、変形特徴を拡散U-Netと融合させて詳細保持能力を向上させます。
• トレーニング戦略の最適化このトレーニング戦略は、動画と静止画のトレーニングを組み合わせ、重み付き再構成損失に基づいて挿入品質を向上させ、トレーニング用の動画を高品質の画像データで補強することで、高品質の動画データの不足を補います。

VideoAnydoorのプロジェクトアドレス

• プロジェクト公式サイト：videoanydoor.github.io
• arXiv技術論文：https://arxiv.org/pdf/2501.01427

ビデオ：Anydoorアプリケーションシナリオ

• 映画およびテレビの特殊効果制作SF映画では、仮想の異星生物や未来的な技術機器が実際の撮影シーンに挿入され、環境に自然に溶け込むことで、映画の視覚的なインパクトと観客の没入感を高める。
• バーチャル試着広告新発売のスニーカーの広告では、バスケットボールコートやサッカー場など、さまざまなスポーツシーンにモデルを配置した仮想画像が用いられており、さまざまなスポーツ条件下でのスニーカーの快適性や性能をアピールすることで、スポーツ愛好家の注目と購買意欲を惹きつけている。
• バーチャル観光体験これには、人気の島嶼観光地向けのバーチャル旅行ビデオを作成し、ビーチやダイビングなどのシーンに観光客のバーチャルアバターを挿入することで、観光客が自宅にいながらにして島の美しい景色やリラックスした雰囲気を体験できるようにし、旅行への興味を刺激することが含まれます。
• 教育と訓練
• 仮想実験と教育化学実験の授業では、仮想的な化学反応プロセスを教育ビデオに組み込むことで、学生が化学原理や実験現象をより直感的に理解できるようにし、学習成果を向上させる。
• ソーシャルメディアとコンテンツ制作
• パーソナライズされたビデオ制作ユーザーは、ソーシャルメディアで旅行体験を共有する際に、世界中の有名なランドマークの動画に自分の写真や動画クリップを挿入することで、独自の旅行動画を作成でき、インタラクティブ性と楽しさが向上します。