AutoMV - M-A-Pが北京郵電大学およびその他の機関と共同で開発した、オープンソースのAI音楽・動画生成システム。

AutoMVとは何ですか？

AutoMVは、M-A-P、北京郵電大学、南京大学NJU-LINK研究所などが共同開発した自動化されたマルチエージェントシステムです。楽曲を、リズムが調和した一貫性のあるミュージックビデオに変換することを可能にします。このシステムは、音楽情報検索を通じて楽曲のビート、構成、歌詞を抽出します。脚本家と監督のエージェントが連携して脚本と撮影プランを作成し、生成モジュールと検証モジュールがビデオ制作の品質を保証します。AutoMVは、音声と歌詞から完成したミュージックビデオまでエンドツーエンドで生成し、高効率、低コスト、高品質という特長を備え、ミュージックビデオ制作に新たなソリューションを提供します。

AutoMVの主な機能

• 音楽の理解と分析楽曲のビート、構成（ヴァースやコーラスなど）、歌詞のタイムスタンプを抽出し、動画生成のための音楽的な手がかりを提供する。
• 脚本音楽と歌詞に基づいてストーリーボードを作成し、ビデオコンテンツが歌詞の意味と一致するようにします。
• キャラクターとシーンのプランニングキャラクターライブラリの作成やキャラクター画像のデザインをサポートし、動画におけるキャラクターの連続性と一貫性を維持します。
• ビデオ生成音楽や歌詞のリズムに合わせた、物語性のあるショットやパフォーマンスショット（歌やダンスなど）の生成をサポートします。
• 品質検証と反復生成された動画の音声と映像の同期、キャラクターの一貫性、動作の合理性を自動的にチェックし、品質要件を満たすまで必要に応じて撮り直しを行います。

AutoMVの技術原理

• 音楽情報検索（MIR）: プロフェッショナルなツール（SongFormer、Whisperなど）を使用して音楽を分析し、ビート、構成、歌詞などの情報を抽出して、後続の楽曲制作の基礎を築きます。
• マルチエージェントコラボレーション：
  • 脚本家AIエージェント音楽と歌詞に基づいて絵コンテを作成し、ストーリーラインとシーンをデザインする責任を負う。
  • ディレクター（AIエージェント）脚本に基づいて、ショットの種類、キャラクターの行動、カメラの動きなどを含む具体的な撮影指示を作成します。
  • ジェネレーションハブ: さまざまなビデオ生成モデル（拡散モデル、リップシンクモデルなど）を呼び出してビデオクリップを生成します。
  • 検証者生成された動画の音声と映像の同期、およびキャラクターの一貫性を確認し、問題が見つかった場合は再撮影を要求してください。
• 反復最適化インテリジェントエージェントのフィードバックメカニズムを検証することで、生成されるビデオは継続的に最適化され、最終出力が高品質基準を満たすことが保証されます。

AutoMVのプロジェクトアドレス

• プロジェクト公式サイト：https://m-a-p.ai/AutoMV/
• GitHubリポジトリ：https://github.com/multimodal-art-projection/AutoMV
• arXiv技術論文：https://arxiv.org/pdf/2512.12196

AutoMVのアプリケーションシナリオ

• 映画およびテレビ制作AutoMVは、映画、テレビ、ウェブシリーズの制作チームが、予告編、オープニングテーマ、劇中音楽などの映像表現に使用する音楽関連クリップを迅速に生成するために使用され、時間とコストを節約します。
• 広告とマーケティング広告会社は、広告に使用する音楽に合わせた動画コンテンツを作成することで、魅力とリーチを高める魅力的な動画広告を迅速に制作できる。
• ショートビデオプラットフォームコンテンツクリエイターは、音楽に合わせた短い動画を作成し、ソーシャルメディアプラットフォーム（TikTok、Kuaishou、Bilibiliなど）で使用して、視聴者を引き付け、ファンとの交流を増やします。
• 音楽および映像制作教育学校や教育機関は、AutoMVを教育ツールとして活用し、生徒が音楽と映像の関係性を理解したり、ミュージックビデオの制作過程や技術を学んだりするのに役立てています。
• マルチモーダル学習AutoMVによって生成されたミュージックビデオを通して、学生は歌詞の意味や感情表現をより深く理解することができ、音楽と文学を通じたマルチモーダルな学習体験を向上させることができます。