MarDini - MetaとKAUSTが共同で立ち上げた動画生成・配信モデル

MarDiniとは何ですか？

MarDiniは、大規模なビデオ生成のためにマスク自己回帰（MAR）と拡散モデル（DM）の利点を組み合わせた、斬新なビデオ拡散モデルです。このモデルは、マスクされたフレームの数と位置を自由に選択でき、ビデオ補間、画像からビデオへの生成、ビデオ拡張など、さまざまなタスクをサポートします。MarDiniは、計算リソースの大部分を低解像度のプランニングモデルに割り当てることで、時空間アテンションメカニズムの大規模な適用を可能にし、ビデオ生成の効率と柔軟性を向上させます。MarDiniは、画像生成に基づく事前学習に頼ることなく、ラベルなしデータでゼロから学習できるため、優れた拡張性と効率性を発揮します。

MarDiniの主な機能

• 動画補間指定された2つのフレームの間に中間フレームを生成し、ビデオのスムーズな遷移を可能にします。
• 画像から動画への変換1枚の画像から連続した動画コンテンツを生成します。
• ビデオ拡張機能既存の動画に新しいフレームを追加して、動画の長さを延長します。
• スローモーション動画の生成自己回帰推論に基づいて、トレーニング段階で定義されたフレーム以外にも追加のフレームが生成され、スローモーション効果のある動画が作成されます。
• ゼロサンプル3Dビュー合成3Dデータの学習を行わなくても、3Dの一貫性を保った新しい遠近画像を生成できる。

MarDiniの技術原則

• マスク付き自己回帰モデル（MAR）と拡散モデル（DM）の組み合わせMarDiniはMARを用いて時系列における長期的な依存関係を処理する一方、DMは空間的な詳細情報の生成に重点を置いている。
• 非対称ネットワーク設計MARは低解像度で動作し、パラメータ数が多い一方、DMは高解像度で動作し、パラメータ数が少ない。これにより、モデルは低解像度でより多くの計算タスクを処理し、高解像度での詳細生成に集中することができる。
• エンドツーエンドのトレーニングMarDiniは、マスクされたフレームレベルの拡散損失に基づいて、ラベル付けされていないビデオデータからエンドツーエンドのトレーニングを実行します。
• 柔軟なマスキング戦略MarDiniは、タスクの要件に応じてマスクフレームの数と位置を変更することで、さまざまなビデオ生成タスクに柔軟に対応できます。
• 段階的なトレーニング戦略このモデルは、マスク比率とトレーニングタスクの難易度を段階的に調整し、ビデオ補間から完全なビデオ生成へとスムーズに移行します。

MarDiniのプロジェクトアドレス

• プロジェクト公式サイト：mardini-vidgen.github.io
• arXiv技術論文：https://arxiv.org/pdf/2410.20280v1

MarDiniのアプリケーションシナリオ

• エンターテインメントとソーシャルメディアMarDiniは、自動生成されたダンス動画、特殊効果動画、ユーザーが作成した短編物語など、ソーシャルメディアで共有するための短い動画コンテンツを生成するために使用されます。
• 映画およびビデオ制作映画のポストプロダクションにおいて、MarDiniは特殊効果シーンの生成や強化、あるいは映画予告編における特定のショットの作成に使用されます。
• ゲーム開発ゲーム開発においては、ゲーム内で動的な背景動画を生成したり、ゲームキャラクターのアニメーションのプロトタイプ作成ツールとして使用したりすることができる。
• 仮想現実（VR）と拡張現実（AR）MarDiniは、VRやARアプリケーションにおいて動的な環境やシーンを生成するために使用され、ユーザーの没入感を高めます。
• 広告とマーケティングMarDiniは、動的なコンテンツに基づいて潜在顧客の注目を集める魅力的な広告動画を作成するために使用されます。