project
InspireMusic - アリババ傘下のTongyi Labsが開発したオープンソースの音楽生成技術
InspireMusicは、アリババ傘下のTongyi Labsが開発したオープンソースの音楽生成技術で、人工知能を用いてユーザー向けに高品質な音楽を生成します。マルチモーダル大規模モデル技術に基づいており、シンプルなテキストによる説明や音声プロンプトに対応しています。
InspireMusicとは何ですか？
InspireMusicは、アリババ傘下のTongyi Labsが開発したオープンソースの音楽生成技術で、人工知能を用いてユーザー向けに高品質な音楽を生成します。マルチモーダル大規模モデル技術をベースとしており、シンプルなテキスト説明や音声プロンプトを用いて、様々なスタイルの音楽を迅速に生成できます。InspireMusicの中核となるアーキテクチャは、音声トークナイザー、自己回帰型Transformerモデル、拡散モデル（CFM）、およびボコーダーで構成されており、テキストから音楽への変換や音楽の継続といった機能を実現しています。
InspireMusicの主な機能
- テキストから音楽を生成するユーザーは、簡単なテキストによる説明を通して、自分のニーズに合った楽曲を制作できる。
- 音楽の構造とスタイルの制御音楽ジャンル、感情表現、複雑な音楽構造などをタグ付けすることで、生成される音楽を制御できます。
- 高品質な音声出力複数のサンプリングレート（24kHzや48kHzなど）に対応しており、高音質な音声を生成できます。
- 長時間の音声生成5分を超える音声ファイルの生成に対応しています。
- 柔軟な推論パターンさまざまなユーザーのニーズに応えるため、高速モード（高速生成）と高品質モードを提供しています。
- モデルトレーニングおよびチューニングツールこれは、研究者や開発者に対し、音楽生成モデルのトレーニングと最適化のための豊富なツールを提供する。
InspireMusicの技術原則
- オーディオトークナイザー高圧縮率のシングルコードブックWavTokenizerを使用することで、入力音声の連続的な特徴量が離散的な音声トークンに変換されます。これにより、音声データはモデルが処理できる形式に変換されます。
- 自己回帰トランスフォーマーモデルQwenモデルに基づいて初期化された自己回帰型Transformerモデルは、テキストプロンプトに基づいて音声トークンを予測するために使用されます。このモデルはテキストの説明を理解し、それに合った音楽シーケンスを生成できます。
- 条件付きフローマッチング（CFM）モデル音声の潜在的特徴は、常微分方程式に基づく拡散モデルを用いて再構築される。CFMモデルは、生成された音声トークンから高品質な音声特徴を復元することができ、音楽の一貫性と自然さを向上させる。
- Vocoder再構築された音声特徴は、最終的な音楽作品を出力するために、高品質の音声波形に変換される。
InspireMusicプロジェクトの住所
- GitHubリポジトリ：https://github.com/FunAudioLLM/InspireMusic
- オンラインでデモを体験してください：https://huggingface.co/spaces/FunAudioLLM/InspireMusic
InspireMusicの応用事例
- 楽曲：ユーザーは、簡単なテキストによる説明を通して、自分のニーズに合った楽曲を制作できる。
- 音声生成と処理複数のサンプリングレート（24kHzや48kHzなど）に対応しており、プロの音楽制作に適した高音質オーディオを生成できます。
- 音楽好き音楽愛好家は、プロの音楽制作スキルを必要とせず、簡単なテキスト説明や音声プロンプトを通して、多様な音楽作品を容易に作成できる。
- パーソナライズされた音楽体験ユーザーは、自身の好みに応じて特定の感情表現や音楽構造に合った音楽を生成できるため、音楽制作の自由度と柔軟性が向上する。