YuE - 香港科技大学とM-A-Pが共同で発表したオープンソースのAI音楽生成モデル

YuEとは何ですか？

YuEは、香港科技大学とマルチモーダルアートプロジェクションチームが共同開発したオープンソースのAI音楽生成モデルです。歌詞を完全な楽曲に変換でき、ポップ、メタル、ジャズ、ヒップホップなど複数の音楽スタイルに対応し、英語、中国語、日本語、韓国語など複数の言語をサポートしています。YuEは、意味的に強化された音声セグメンテーション、デュアルセグメンテーション技術、連鎖的な歌詞生成、および3段階のトレーニングスキームを通じて、長い文脈、複雑な音楽信号、言語の歪みといった音楽生成における課題に対処します。生成された楽曲は、一貫性のある音楽構造と魅力的なボーカルメロディーを備えています。このモデルは完全にオープンソースであり、ユーザーはコードを自由に使用および変更できます。柔軟な生成オプションを提供し、ユーザーは簡単なコマンドラインパラメータを通じて、生成される楽曲のスタイルやボーカルタイプなどの詳細を調整できます。

YuEの主な機能

• 歌の歌詞入力された歌詞を、ボーカルと伴奏を含む完全な楽曲に変換できます。
• 複数の音楽スタイルに対応ポップ、メタル、ジャズ、ヒップホップなど、様々な音楽スタイルに対応しています。
• 高品質な生成様々な技術的最適化を通じて、生成される楽曲が整合性があり、高品質であることを保証します。
• 多言語対応英語、中国語、日本語、韓国語など、複数の言語に対応しています。
• 長期的な音楽制作最大5分間の楽曲を生成できます。
• オープンソースとカスタマイズ性コードとモデルは完全にオープンソースであり、ユーザーは自由に利用および変更できます。
• 感情とスタイルのマッチング歌詞の感情的なトーンに基づいて、それに合った音楽スタイルを生成することができる。
• クロスモーダルアプリケーションマルチメディアアート制作のための他のマルチモーダルモデルと組み合わせることが可能です。

YuEの技術原則

• セマンティックエンハンスメントオーディオセグメンターYuEは、意味的に強化された音声セグメンテーション器を使用することで、学習コストを削減し、収束を加速します。歌詞の意味情報をより深く理解し、それを音楽信号と組み合わせることで、歌詞によりマッチした音楽を生成することができます。
• 二重単語分割技術YuEは、LLaMaデコーダのみのアーキテクチャを変更することなく、ボーカルと楽器の同期モデリングを実現するデュアルセグメンテーション技術を提案した。このモデルは、リードボーカルを生成すると同時に適切な伴奏を生成することができ、両者のリズムとメロディーの調和を保証する。
• 歌詞連鎖思考世代YuEは、歌詞連鎖に基づく思考生成技術を導入し、歌詞の条件に従いながら楽曲全体を段階的に生成することを可能にする。これにより、モデルは長い文脈情報をより適切に処理できるようになり、生成された楽曲の全体的な構造的一貫性が維持される。
• 3段階のトレーニングプログラムYuEは、拡張性、音楽性、歌詞のコントロール性を向上させるために、3段階のトレーニングプログラムを採用しています。具体的には以下のとおりです。
  • フェーズ1音楽生成の基本パターンを学習させるために、基本モデルを訓練する。
  • フェーズ2多数のサンプルを通してスタイルと感情を整合させることで、モデルを調整し、特定のスタイルと感情を持つ音楽を生成することが可能になります。
  • フェーズ3強化学習などの技術を用いた嗜好補正は、生成された結果をさらに最適化し、生成される音楽が人間の美的基準により合致するようにする。

YuEのプロジェクトアドレス

• プロジェクト公式サイト：https://map-yue.github.io/
• GitHubリポジトリ：https://github.com/multimodal-art-projection/YuE
• ハギングフェイスモデルライブラリ：https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot

YuEの応用シナリオ

• 楽曲音楽制作者はYuEを使ってメロディーや伴奏を素早く生成し、創作意欲を刺激することができます。ユーザーが提供した歌詞に基づいて、感情やスタイルのニーズに合ったパーソナライズされた楽曲を生成します。
• 映画およびビデオ制作映画、テレビシリーズ、短編動画向けに、シーンごとの感情や雰囲気に合わせたBGMを作成します。広告用のキャッチーな着信音を作成し、ブランドメッセージを効果的に伝えます。
• ゲーム音楽ゲームのシーンに合ったBGMを生成することで、ゲームへの没入感を高めます。
• ソーシャルメディアコンテンツTikTokやInstagramなどのプラットフォーム上のショート動画向けに、独自のBGMを作成します。