CLaMP 3 - 清華大学チームが開発した音楽情報検索フレームワーク - AiBoss

CLaMP 3とは何ですか？

CLaMP 3は、清華大学人工知能学院の朱文武教授の研究チームが開発した、マルチモーダルかつ多言語対応の音楽情報検索フレームワークです。対照学習に基づき、楽譜（ABC記号など）、音声（MERT特徴量など）、演奏信号（MIDIテキスト形式など）を、複数の言語のテキスト記述と共通の表現空間に整合させます。CLaMP 3は27言語に対応し、100言語まで一般化できるため、テキストから音楽、画像から音楽への検索、ゼロショット音楽分類、音楽の意味的類似性評価といった、クロスモーダルな検索タスクに適しています。

CLaMP 3の主な機能

クロスモーダル音楽検索：
- テキストから音楽への検索テキストによる説明と意味的に一致する音楽を検索します（100言語に対応）。
- 画像から音楽への検索生成された説明文（BLIPモデルによって生成されたキャプションなど）に基づいて、画像に一致する音楽を検索する。
- クロスモーダル音楽検索楽譜、MIDI、音声など、さまざまな音楽表現形式間で検索できます。例えば、音声を使って楽譜を検索したり、楽譜を使って音声を検索したりできます。
ゼロサンプル音楽分類ラベル付きデータは不要です。音楽は意味的な類似性に基づいて、特定のカテゴリ（スタイル、ムードなど）に分類できます。
音楽のおすすめ音楽推薦は意味的な類似性に基づいており、同じモダリティ内（例えば、オーディオからオーディオなど）での推薦をサポートします。

CLaMP 3の技術的原理

マルチモーダルデータアライメントこのアプローチは、楽譜、MIDI、音声など、さまざまな形式の音楽データと多言語テキストを、共通のセマンティック空間に統合します。対照学習に基づき、モデルは異なる形式のデータを類似のベクトル表現にマッピングすることを学習し、クロスモーダル検索を可能にします。
対照学習フレームワークこのモデルは、対照学習（CLIPの変種など）を用いて学習されます。モデルは、正例のサンプルペア（音楽とその対応するテキストなど）と負例のサンプルペア（ランダムにペアリングされたサンプル）を用いることで、意味的に関連のあるデータと関連のないデータを区別することを学習し、表現空間を最適化します。
多言語対応XLM-R（多言語事前学習済みモデル）をベースに、多言語テキスト埋め込みを実現し、27言語での学習をサポートし、100言語への汎化性能を備えています。
大規模データセットでのトレーニングこのモデルは、27言語と194か国を網羅する231万件の高品質な音楽とテキストのペアを含む大規模データセット（M4-RAGなど）でトレーニングされています。
特徴抽出と表現：
- 楽譜インターリーブABC表記を使用してください。
- MIDI: MIDIテキスト形式（MTF）に変換します。
- オーディオMERT特徴量を抽出する。

CLaMP 3プロジェクトの住所

プロジェクト公式サイト：https://sanderwood.github.io/clamp3/
GitHubリポジトリ：https://github.com/sanderwood/clamp3
ハギングフェイスモデルライブラリ：https://huggingface.co/sander-wood/clamp3
arXiv技術論文：https://arxiv.org/pdf/2502.10362
オンラインでデモを体験してください：https://huggingface.co/spaces/sander-wood/clamp3

CLaMP 3の応用シナリオ

音楽のおすすめテキストによる説明や音楽の断片に基づいて、意味的に類似した音楽を推薦し、パーソナライズされた推薦をサポートします。
音楽制作支援：テキストからそれに合った音楽を生成することで、クリエイターはインスピレーションを得たり、自身の音楽スタイルを調整したりすることができる。
音楽教育関連する音声、楽譜、または教材を検索できます。多言語学習をサポートします。
音楽の分類と分析音楽のスタイルや雰囲気などをゼロショット分類することで、音楽の意味的類似性を評価する。
マルチメディア制作動画や画像に適切な音楽を組み合わせることで、コンテンツ制作の効率を向上させることができます。