SongGen - 上海AI研究所、北京航空航天大学、香港中文大学が共同開発した楽曲生成モデル。 - AiBoss

SongGenとは何ですか？

SongGenは、上海AI研究所、北京航空航天大学、香港中文大学が共同開発した、テキストから楽曲を生成する単段自己回帰型Transformerモデルです。SongGenは、歌詞と説明文（楽器編成、スタイル、感情など）を入力として受け取り、2つの出力モードをサポートしています。1つはボーカルと伴奏をミックスした音声を直接生成するミックスモード、もう1つはボーカルと伴奏を別々に合成して編集を容易にするデュアルトラックモードです。革新的な音声トークン化戦略と学習方法に基づき、SongGenは生成される楽曲の自然さとボーカルの明瞭さを大幅に向上させ、従来の多段階方式における煩雑な学習および推論プロセスの問題を解決します。SongGenのオープンソース性と高品質なデータセットは、今後の音楽生成研究における新たなベンチマークとなるでしょう。

SongGenの主な機能

きめ細かな制御ユーザーは、歌詞や説明文（楽器、スタイル、感情など）に基づいて生成される楽曲を制御できます。
サウンドクローニング3秒間の参照音声に基づいてサウンドクローニングをサポートしており、生成された楽曲に特定の歌手の音色を持たせることが可能です。
2つの生成モード「ミックスモード」（ボーカルと伴奏をミックスした音声を直接生成）と「デュアルトラックモード」（ボーカルと伴奏を別々に合成し、後編集を容易にする）の2つのモードを搭載しています。
高品質な音声出力最適化された音声トークン化とトレーニング戦略に基づき、自然でクリアなボーカルの楽曲が生成されます。

SongGenの技術原則

自己回帰生成フレームワーク自己回帰型Transformerデコーダーに基づき、歌詞と説明文は条件付き入力としてエンコードされ、音声タグの生成はクロスアテンションメカニズムによって誘導される。
音声トークン化X-Codecは、音声信号を個別の音声トークンにエンコードし、コードブック遅延モードに基づいて複数のコードシーケンスを処理し、効率的な生成をサポートします。
ハイブリッドモードとデュアルトラックモード：
- ハイブリッドモード混合音声タグを直接生成するとともに、人間の声の明瞭度を高めるために、補助的な人間の声の音声タグ予測ターゲット（Mixed Pro）を導入しています。
- デュアルトラックモードボーカルおよび伴奏マーカーは、フレームレベルでのアライメントを確保し、生成品質を向上させるために、パラレルモードまたはインターレースモードに基づいて生成されます。
条件付き入力エンコーディング：
- 歌詞エンコードVoiceBPEの単語分割器は、歌詞を音素レベルのトークンに変換し、小型のTransformerエンコーダーに基づいて重要な発音情報を抽出します。
- 音声エンコーディングMERTモデルは、参照音声の音色特徴を抽出し、サウンドクローニングをサポートします。
- テキスト説明エンコーディングFLAN-T5モデルは、記述テキストを特徴ベクトルにエンコードすることで、音楽スタイル、感情、その他の側面を制御することを可能にする。
トレーニング戦略：
- 多段階トレーニングこれには、モードアライメント、リファレンスレスサウンドのサポート、高品質な微調整が含まれ、モデルのパフォーマンスを段階的に向上させます。
- コース学習音声の詳細をモデルが学習できるように、コード損失の重みを徐々に調整します。
- データ前処理複数のデータソースから音声を収集し、ボーカルと伴奏を分離し、高品質の歌詞と説明テキストのデータセットを生成する、自動化されたデータ前処理パイプラインを開発する。

SongGenのプロジェクトアドレス

GitHubリポジトリ：https://github.com/LiuZH-19/SongGen
arXiv技術論文：https://arxiv.org/pdf/2502.13128

SongGenの応用シナリオ

楽曲楽曲のプロトタイプを素早く生成し、さまざまなスタイルを探求し、歌詞に合わせた伴奏を生成し、制作プロセスを加速させます。
動画のBGMショートビデオ、広告、映画向けのBGMを生成し、コンテンツに合わせてスタイルを調整し、視覚効果を高めます。
教育支援それは、学生が楽曲構成を理解し、楽曲制作を通して言語の発音を学び、創造性を刺激するのに役立ちます。
パーソナライズされた体験ユーザーの入力に基づいてカスタマイズされた楽曲を生成し、音声クローン技術を用いて「パーソナライズされた歌手」を作り出すことで、エンターテイメント性を向上させる。
ビジネスアプリケーション広告やプロモーションで使用するために、著作権で保護された音楽素材を置き換える、ブランド向けのオリジナル音楽を制作します。