MOVA - Innovation AcademyとMoment Intelligenceがオープンソース化した、エンドツーエンドのオーディオおよびビデオモデル。

MOVAとは何ですか？

MOVA（MOSS Video and Audio）は、上海イノベーションアカデミーのOpenMOSSチームとMOSIが共同で開発した、中国初の高性能オープンソース・エンドツーエンド音声・映像生成モデルです。従来の「無音」映像の制約を打破し、異種デュアルタワーアーキテクチャと双方向ブリッジングモジュールを採用することで、ネイティブなクロスモーダルインタラクションを実現しています。320億個のパラメータ（MoEアーキテクチャ、180億個の推論アクティベーション）を誇り、最大8秒間の720p解像度の映像と音声を同時に生成できるため、映画のようなリップシンクや環境音効果の適合において優れた性能を発揮します。

MOVAの主な機能

• エンドツーエンドの音声およびビデオ生成このモデルは、映像と音声を同時に出力できるため、「音声のない映像」を排除できます。
• デュアルモード駆動生成画像とテキストの組み合わせ、またはプレーンテキストの入力に対応しており、生成されるコンテンツを柔軟に制御できます。
• 映画レベルのリップシンクこのモデルは、人が話す際の口の形や声を正確に再現でき、中国語と英語での複数人による対話にも対応しています。
• インテリジェントな環境音効果シーンに基づいて、BGM、アクション音、環境音を自動的に合成し、マッチさせます。
• ビデオテキストレンダリングこのモデルは、画面上の指定された場所に、明瞭で読みやすい動的なテキストコンテンツを生成できます。
• 高解像度出力このモデルは、最大解像度720p、再生時間8秒のオーディオビジュアルクリップの生成をサポートしています。

MOVAの技術原理

• 異種構造のデュアルタワーアーキテクチャこのモデルは、視覚情報と聴覚情報をそれぞれ処理するために、14Bのビデオ拡散モデルと1.3Bのオーディオ拡散モデルを使用します。双方向ブリッジングモジュールを使用して、2つの隠れ状態の深い相互注意融合を実現し、画像生成全体を通して音のリズムを知覚できるようにします。
• 異種モーダル間の時間同期映像と音声のサンプリング密度は大きく異なります。Aligned ROPEメカニズムは、精密なスケーリングマッピングによって、これら2つのモダリティのトークンを同一の物理的時間座標系に統合し、映像と音声の非同期という問題を根本的に解消します。
• 段階的なトレーニング戦略このモデルは、粗い段階から細かい段階へと3段階で学習されます。まず、360pの低解像度を使用して、ランダムに初期化されたブリッジングモジュールが音声と映像の位置合わせを迅速に学習し、位置合わせの安定性を徐々に向上させます。最後に、720pの高解像度に拡張して画質を向上させます。
• デュアルCFG推論音声と映像の同時生成には、テキストコマンドとモーダルブリッジングという2つの制御ソースがあるという特性に対応し、両者のガイダンス重みを個別に調整することで、一般的なシナリオでは画質を維持し、対話シナリオではリップシンクの精度を向上させます。

MOVAのプロジェクト住所

• プロジェクト公式サイト：https://mosi.cn/models/mova
• GitHubリポジトリ：https://github.com/OpenMOSS/MOVA
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/OpenMOSS-Team/mova

MOVAの適用シナリオ

• 映画およびテレビ制作ストーリーボードのプレビューやナレーションのデモを迅速に作成することで、プリプロダクションのコストを削減し、クリエイティブの検証を加速します。
• ショートビデオ制作これにより、制作者は効果音付きの高品質なストーリー素材を入手でき、制作効率の向上とコンテンツ形式の充実につながります。
• ゲーム開発カットシーンやキャラクターのセリフを自動生成することで、音声と映像が同期した没入感のある体験を実現し、開発期間を短縮します。
• 教育と訓練正確な発音で多言語対応のリップシンク付き教育ビデオを制作し、グローバルなコンテンツ適応をサポートし、学習効果を高めます。
• EコマースマーケティングナレーションとBGM付きの製品デモンストレーション動画を作成することで、マーケティングコンテンツの反復開発を加速させ、コンバージョン率を高める。