VMB - 中国科学院と複数の大学・研究機関が共同で立ち上げた、マルチモーダル音楽生成を強化するためのフレームワーク。

VMBとは何ですか？

VMB（Visuals Music Bridge）は、中国科学院情報工学研究所、中国科学院大学サイバーセキュリティ学院、上海人工知能研究所、上海交通大学などの機関によって開発されたマルチモーダル音楽生成フレームワークです。テキスト、画像、動画など、さまざまな入力モダリティから音楽を生成できます。VMBは、テキストブリッジと音楽ブリッジを構築することで、データ不足、クロスモーダルアライメントの弱さ、制御性の制限といった問題を解決します。テキストブリッジは視覚入力を詳細な音楽記述に変換し、音楽ブリッジは広範囲かつ的を絞った音楽検索戦略を組み合わせることで、ユーザーによる制御を可能にします。VMBの明示的な条件付き音楽生成フレームワークは、これら2つのブリッジを統合することで、音楽品質、モダリティアライメント、カスタムアライメントを大幅に向上させ、従来の手法を凌駕します。

VMBの主な機能

• マルチモーダル音楽記述モデル画像や動画などの視覚的な入力を詳細なテキスト記述に変換し、音楽生成のためのテキストによる橋渡しを提供する。
• デュアルトラック音楽検索これは、広範囲かつ的を絞った音楽検索戦略を組み合わせることで音楽の橋渡しを行い、ユーザーがテキストによる説明を修正したり、参照音楽を提供して出力される音楽を制御したりすることを可能にします。
• 明示的条件付けによる音楽生成音楽は、テキストと音楽の橋渡しに基づいて生成され、この2つの明確な橋渡しをテキストから音楽への拡散変換器に統合する。
• 強化されたモードアライメント入力方式と生成される音楽との整合性を向上させ、音楽が入力の視覚的および感情的な内容により密接に合致するようにする。
• 制御性を向上させるユーザーは、テキストによる説明や提供されている音楽サンプルを参考に、音楽生成プロセスをガイドすることで、より精密な制御が可能になります。

VMBの技術原則

• テキストブリッジングInternVL2を基盤とするマルチモーダル音楽記述モデル（MMDM）は、視覚入力を自然言語による詳細な音楽記述に変換し、音楽生成のためのテキストブリッジとして機能する。
• 音楽の架け橋デュアルトラック音楽検索モジュールに基づいて、一方では感情やテーマの全体的な一致を特定するための広範な検索を実行し、他方では特定の音楽属性（リズム、楽器、ジャンルなど）に焦点を当てたターゲット検索を実行します。
• 明示的な条件付き音楽生成テキストと音楽の橋渡しを兼ねる拡散変換装置（DiT）を用いて、テキストによる説明を音楽に変換します。このモデルは、音楽制御フォーマーを用いて広範囲な検索のためのきめ細かな制御を統合し、様式化モジュールを用いて対象を絞った検索のための全体的な条件を処理します。
• 検索機能強化生成（RAG）RAG技術が音楽生成に活用されるのは今回が初めてです。音楽に関する知識を動的に組み合わせ、モード間のギャップを埋めることで、クロスモーダル生成性能を向上させ、制御性を高めます。
• 制御信号融合生成プロセス中、メインブランチとControlFormerブランチの隠れ状態は要素レベルの加算を使用して結合され、生成の初期段階で構造的および意味的な整合性が確立されるようにします。
• 様式化されたモジュールこのアプローチでは、取得した音楽とテキストによる説明を組み合わせ、相互注意メカニズムに基づいてノイズの多い音楽に条件付き表現を統合し、音楽とテキストデータにおけるスタイルの手がかりに焦点を当て、生成された音楽と指定された属性との整合性を向上させます。

VMBプロジェクトの住所

• GitHubリポジトリ：https://github.com/wbs2788/VMB
• arXiv技術論文：https://arxiv.org/pdf/2412.09428

VMBアプリケーションシナリオ

• 映画およびビデオ制作映画、テレビドラマ、CM、ドキュメンタリーなどのBGMを自動生成し、映像コンテンツの感情表現や雰囲気を高めることができます。
• ゲーム開発このゲームは、シーンの変化に基づいてリアルタイムでBGMを生成し、プレイヤーの没入感とゲーム体験を向上させます。
• 仮想現実（VR）と拡張現実（AR）このシステムは、仮想環境や拡張現実体験に対応した音楽を提供し、音楽をユーザーの視覚体験と同期させ、インタラクティブ性を向上させます。
• ソーシャルメディアコンテンツの作成この機能を使うと、ユーザーは自分の動画コンテンツ（旅行記や生活記録など）に基づいてパーソナライズされた音楽を生成することができ、コンテンツの魅力を高めることができます。
• 音楽教育とクリエイティブなサポートこれは、音楽家や音楽愛好家が新しい楽曲を創作する際に役立ち、特にさまざまな音楽スタイルや構成を探求する際に、インスピレーションと創造的なツールを提供します。