project
NotaGen - 中央音楽学院、北京航空航天大学、清華大学などが共同開発した音楽生成モデル。
NotaGenは、中央音楽学院、北京航空航天大学、清華大学などの機関によって開発された音楽生成モデルです。大規模言語モデル（LLM）を模倣したトレーニングパラダイムに基づいて、高品質のクラシック音楽の楽譜を生成します。NotaGenは…
NotaGenとは何ですか？
NotaGenは、中央音楽学院、北京航空航天大学、清華大学などの機関によって開発された音楽生成モデルです。大規模言語モデル（LLM）を模倣した学習パラダイムに基づいて、高品質のクラシック音楽の楽譜を生成します。NotaGenは、事前学習、微調整、強化学習を組み合わせて使用します。事前学習段階では160万曲以上の楽曲を使用し、微調整段階では約9,000曲の高品質なクラシック作品を使用し、「時代・作曲家・楽器」の手がかりに基づいて条件付きで楽譜を生成します。強化学習段階では、CLaMP²モデルとは異なり、生成された音楽にフィードバックを提供するCLaMP-DPOメソッドを導入し、手動による注釈や事前定義された報酬を必要とせずに、音楽性と制御性を最適化します。 NotaGenは、主観的なA/Bテストにおいてベースラインモデルを凌駕し、人間の作品の音楽的な美しさに近づき、記号音楽生成の芸術性を大幅に向上させる。
NotaGenの主な機能
- 高品質なクラシック音楽の楽譜を作成する時代（バロック、古典派、ロマン派など）、作曲家（バッハ、モーツァルト、ショパンなど）、楽器（鍵盤楽器、弦楽四重奏、オーケストラなど）に基づいて、特定のスタイルに準拠した楽譜を生成します。
- 音楽性を高める事前学習、微調整、強化学習を組み合わせることで、美しいメロディー、滑らかなハーモニー、一貫性のある構造など、非常に音楽的な作品を生み出します。
- 制御可能な発電ユーザーは、「時代 - 作曲家 - 楽器」などの条件を使用することで、生成される音楽のスタイルや特徴を制御できます。
- 複数のモデルサイズに対応さまざまなハードウェアやアプリケーションシナリオに対応できるよう、異なるパラメータサイズ（NotaGen-small、NotaGen-medium、NotaGen-largeなど）を持つモデルを提供します。
NotaGenの技術原則
- 事前トレーニングこのモデルは、幅広いスタイルと楽器を網羅する160万曲以上の楽曲で事前学習されています。言語モデルにおける「言語理解」段階と同様に、膨大なデータに基づいて音楽の基本的な構造とパターンを学習します。次の記号を符号化および予測するために、ABC記号などの記号的な音楽表現を使用して学習されます。
- 微調整約9,000曲の高品質なクラシック作品を対象に微調整を行い、バロック、古典派、ロマン派などの特定の様式や作曲家に最適化することで、それらの様式に合った楽曲を生成できるようにしました。「時代・作曲家・楽器」というプロンプトを用いることで条件付き生成機能を強化し、特定の様式に対するモデルの理解力と生成能力を向上させました。
- 強化学習CLaMP-DPO（Contrastive Language-Music Pretraining with Direct Preference Optimization）手法に基づく対照学習モデルCLaMP²は、手動による注釈や事前定義された報酬を必要とせずに、生成される音楽の品質と一貫性を最適化するためのフィードバックを提供します。生成された音楽サンプルは、CLaMP²スコアに基づいて「選択」と「拒否」に分類されます。その後、DPOアルゴリズムを使用してモデルを最適化し、生成される音楽の音楽性と制御性を向上させます。
- 象徴的な音楽表現楽譜はABC記号を用いて表現されるため、エンコードと生成プロセスが簡素化され、多声部の楽曲生成も容易になります。全休符を削除し、小節番号を追加することでデータを最適化し、生成効率と品質を向上させています。
- モデルアーキテクチャ階層型Transformerデコーダー（パッチレベルデコーダーと文字レベルデコーダーを含む）は、それぞれ音楽断片と記号生成を処理します。CLaMP²によるマルチモーダルフィードバックと組み合わせることで、生成された音楽の全体的な特徴（スタイル、ハーモニー、構造など）を最適化します。
NotaGenのプロジェクトアドレス
- プロジェクト公式サイト：https://electricalexis.github.io/notagen
- GitHubリポジトリ：https://github.com/ElectricAlexis/NotaGen
- ハギングフェイスモデルライブラリ：https://huggingface.co/ElectricAlexis/NotaGen
- arXiv技術論文：https://arxiv.org/pdf/2502.18008
NotaGenのアプリケーションシナリオ
- 音楽制作支援作曲家にとってインスピレーションの源となり、特定のスタイルに合った楽譜の草稿を素早く生成できるため、制作時間を節約できます。
- 音楽教育これは、学生がさまざまな音楽時代の様式的な特徴を理解するのに役立ち、教育用の楽譜を作成します。
- 音楽制作映画やゲームなどのBGMやスコアを素早く生成できるため、制作効率が向上します。
- 音楽演奏オーケストラ、合唱団、その他の団体がリハーサルや公演で使用するための高品質な楽譜を作成します。
- 音楽エンターテイメントインタラクティブなデモンストレーションを通して、ユーザーはリアルタイムで音楽を生成し、創作の喜びを体験できます。