ジェネレーティブ・オムニマット - Googleがメリーランド大学およびその他の機関と共同で開発した動画分解技術。

ジェネレーティブ・オムニマットとは何ですか？

Generative Omnimatteは、Google DeepMindなどが開発した動画編集技術です。動画を複数のRGBAレイヤーにインテリジェントに分解し、各レイヤーは透明な背景を持ち、オブジェクトとその関連効果（影や反射など）に対応します。グリーンスクリーンや深度情報を用いることなく、オブジェクトと背景を正確に分離し、遮蔽された部分も処理します。その中核となるのは「Casper」と呼ばれる動画拡散モデルで、背景をそのまま残しながら、動画内のオブジェクトとその影を正確に消去します。ユーザーは、瞬間移動、動きの速度変更、さらには時間の逆行など、さまざまなクリエイティブな効果を簡単に実現できます。

Generative Omnimatteの主な機能

• ビデオレイヤリングこの動画は複数のRGBAレイヤーに分割されており、各レイヤーには完全に視認できるオブジェクトと、影や反射などの関連効果が含まれています。
• 動画編集オブジェクトやエフェクトの削除、背景の置き換えなど、幅広いビデオ編集操作をユーザーが実行できるようサポートします。
• 動的なバックグラウンド処理背景要素と前景オブジェクトレイヤー間の絡み合いを避けるため、動的な背景を適切に処理します。
• 複数オブジェクトシナリオ類似オブジェクトの分離や効果の関連付けなど、複数のオブジェクトが関わるシナリオを効果的に処理します。
• ユーザー指定のトリマスクトリマスクを指定することで、ビデオ編集プロセス中に保持または削除する領域を細かく制御できます。

ジェネレーティブ・オムニマットの技術原理

• オブジェクトエフェクト除去モデル キャスパー入力ビデオとバイナリオブジェクトマスクが与えられた場合、Casperモデルを使用して、異なるTrimask条件を適用し、クリーンな背景と一連のソロビデオを生成します。
• トリマスクの状態トリマスクは、保持する領域（白）、削除する領域（黒）、およびオブジェクト効果が不明確な領域（灰色）を指定します。これにより、複数のオブジェクトを含むシーンを正確に処理できます。
• テスト中に最適化する第2段階では、テスト中に撮影された単独の動画と背景動画のペアから、オムニマット層が再構築されます。
• トレーニングデータこのモデルは、複数のデータセット（Omnimatte、Tripod、Kubric、Object-Paste）を使用してトレーニングされており、実際のビデオにおける因果関係の例を示すとともに、複数のオブジェクトを含むシーンを処理するモデルの能力を向上させています。
• 自己注意分析本研究は、Lumiereモデルの自己注意パターンの分析に基づき、テキストからビデオへの変換（T2V）モデルにおけるオブジェクト効果の関連性の本質的な理解を調査し、効果的なオブジェクト効果除去モデルを訓練する。

ジェネレーティブ・オムニマット・プロジェクトの住所

• プロジェクト公式サイト：https://gen-omnimatte.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2411.16683

ジェネレーティブ・オムニマットの応用

• 映画およびビデオ制作映画制作においては、特殊効果シーンを違和感なく合成するために、不要な背景要素が削除されたり、背景が置き換えられたりする。
• 動画編集およびポストプロダクション動画編集者は、動画内の被写体を背景から分離し、色補正、エフェクトの追加、その他のクリエイティブな編集を行います。
• 広告制作広告においては、商品の背景を変更したり、写真の中の邪魔な要素を取り除いたりして、商品を際立たせるようにしましょう。
• 仮想現実と拡張現実VRやARアプリケーションでは、現実世界の映像コンテンツと仮想要素を組み合わせることで、より没入感のある体験を提供する。
• ゲーム開発ゲーム開発においては、現実世界の要素と仮想ゲーム世界をシームレスに統合した、複雑なゲーム環境が構築される。