SongCreatorは、楽曲を理解、生成、編集できるAI音楽モデルです。

SongCreatorとは何ですか？

SongCreatorは、清華大学深圳国際大学院、香港中文大学などが共同開発したAI音楽生成モデルです。歌詞からボーカルと伴奏を含む完全な楽曲を生成できます。デュアルシーケンス言語モデル（DSLM）とアテンションマスキング戦略に基づき、編集や生成など、さまざまな楽曲生成タスクを理解し、実行します。SongCreatorは、特に歌詞から楽曲、歌詞からボーカルへの変換タスクにおいて、複数のタスクで優れた性能を発揮し、生成された楽曲のボーカルと伴奏の音響条件を個別に制御できます。

SongCreatorの主な機能

歌詞提供された歌詞に基づいて、ボーカルと伴奏を含む完全な楽曲を生成します。
歌詞とボーカルボーカルパートは歌詞に基づいて生成されますが、伴奏は含まれません。
歌の伴奏伴奏が与えられたら、その伴奏と調和して完全な楽曲を形成するようなボーカルパートを生成してください。
ボーカルから歌へボーカルパートが与えられたら、伴奏を生成して完全な楽曲を完成させてください。
楽曲編集既存の楽曲の特定の部分を、元の楽曲との整合性を保ちつつ、ターゲットとなる歌詞に合うように修正する。
音声編集伴奏を変えずに、曲のボーカル部分だけを編集する。
音楽の継続伴奏やボーカル曲に基づいて、連続した楽曲部分を生成する。
無条件の音楽生成歌詞のない音楽やボーカルを生成します。

SongCreatorの技術的原則

二項連鎖言語モデル（DSLM）このモデルはDSLMを用いて、ボーカルと伴奏から情報を抽出します。ボーカル用と伴奏用の2つのデコーダーを備え、動的な双方向クロスアテンションモジュールを通して、それらの相互作用を捉えます。
注意マスキング戦略私たちは一連の注意マスキング戦略を設計しました。これらの戦略により、モデルは編集、理解、生成といった様々な楽曲生成タスクにおいて一貫した動作を実現できます。
マルチタスクトレーニングマルチタスク訓練に基づき、作曲、編曲、理解力を向上させ、様々な複雑な音楽的シナリオに対応できるようにする。
条件信号歌詞、ボーカルプロンプト、伴奏プロンプトなど、さまざまなオプション入力を受け付けるため、楽曲生成において高い柔軟性と制御性を実現しています。
セマンティックトークンBEST-RQモデルは、ラベルなしデータセットを用いて、ベクトル量子化に基づいて楽曲から意味トークンを抽出するように学習されました。これらのトークンには、楽曲を再構築するために必要な意味的および音響的な詳細情報が含まれています。
潜在拡散モデル（LDM）LDMは、意味トークンを高音質の楽曲オーディオにデコードするために使用されます。このモデルは、変分オートエンコーダー（VAE）と拡散モデルで構成されており、高忠実度で音楽的な楽曲を生成するために使用されます。

SongCreatorプロジェクトのアドレス

プロジェクト公式サイト：songcreator.github.io
arXiv技術論文：https://arxiv.org/pdf/2409.06029

SongCreatorの応用事例

音楽制作音楽プロデューサーや作曲家は、楽曲のデモを作成したり、迅速にプロトタイプを作成したり、創作過程の中でインスピレーションを得たりします。
教育と学習音楽教育においては、楽曲の構成を理解し、作曲や編曲を学ぶための教材として用いられる。
エンターテインメントとゲームビデオゲームやインタラクティブメディアでは、プレイヤーの没入感を高めるために、ゲームの状況に基づいてリアルタイムでBGMを生成することができる。
コンテンツ作成動画コンテンツ制作者やポッドキャスターは、プロのミュージシャンを雇わなくても、自分のプロジェクトのためにオリジナルの音楽を作成することができる。
広告とマーケティング広告業界は、ブランドイメージや広告コンセプトに合ったサウンドトラックを迅速に作成することができる。