DITTO-2 - Adobeとカリフォルニア大学バークレー校が共同開発した音楽生成モデル - AiBoss

DITTO-2とは何ですか？

DITTO-2は、Adobeとカリフォルニア大学の研究者が共同開発した革新的な音楽生成モデルです。拡散モデルの推論時間を最適化することで、高速かつ制御可能な音楽生成を実現します。推論時間最適化（ITO）に基づき、モデル蒸留技術（一貫性モデル（CM）や一貫性軌跡モデル（CTM）など）を活用することで、リアルタイムを超える生成速度を実現しています。DITTO-2は、音楽復元、拡張、強度制御、メロディー制御、音楽構造制御など、様々な音楽生成タスクに対応しています。また、無条件拡散モデルを高度なテキスト制御機能を備えたモデルに変換し、CLAPスコアを最大化することで、高品質なテキストから音楽への変換を実現します。

DITTO-2の主な機能

音楽の修復と拡張DITTO-2は音楽のインペインティングとアウトペインティングに対応しており、既存の音楽クリップを塗りつぶしたり、拡張したりすることができます。
強度制御ユーザーは、音楽の音量変化曲線を指定できます。例えば、音量を低から高へ、または高から低へ変化させることができます。
メロディーコントロールDITTO-2は、基準となるメロディーを入力することで、それに合った楽曲を生成できます。
音楽構造の制御これは、セクションAとBの長さを定義するなど、音楽の構造を制御するのに役立ちます。
テキストから音楽を生成するDITTO-2は、無条件拡散モデルを高度なテキスト制御機能を備えたモデルに変換し、CLAPスコアを最大化することで高品質なテキストから音楽への生成を実現します。
効率的な推論と最適化DITTO-2は、モデル蒸留技術（コンシステントモデルCMやコンシステント軌道モデルCTMなど）を用いることで、生成速度をリアルタイムよりも速くすると同時に、接着性や生成品質の制御性を向上させています。

DITTO-2の技術原理

拡散モデル蒸留DITTO-2は、一貫性モデル（CM）と一貫性軌跡モデル（CTM）という2つのモデル蒸留技術を採用しています。CMは、学習済みモデルとその指数移動平均コピー間の局所的一貫性損失を最小化することで学習された、新しい単一ステップのサンプリングネットワークに、基本拡散モデルを蒸留します。CTMはCMの機能をさらに拡張し、拡散軌跡上の任意の2点間のジャンプを可能にすることで、より効率的なサンプリングパスを提供します。
推論時間の最適化 (ITO)DITTO-2は、推論時間最適化（ITO）を用いて、生成プロセス中にモデルの状態をリアルタイムで調整し、制御条件や目標により適合させます。ITOの中核は、初期ノイズ潜在変数を最適化し、特徴抽出関数、マッチング損失関数、最適化アルゴリズム（勾配降下法など）を通してモデルの状態を調整することで、音楽の強度、メロディー、構造などを正確に制御することです。
プロキシ最適化とマルチステップデコードDITTO-2は、最適化プロセスと最終的な復号プロセスを分離する代理最適化方式を採用しています。最適化フェーズでは、シングルステップサンプリングを用いて潜在的なノイズ変数を迅速に推定し、復号フェーズでは、マルチステップサンプリングによって高品質な音楽を生成します。この分離方式により、高速な推論を維持しながら、生成される音楽の品質を大幅に向上させることができます。
効率的なトレーニングと応用DITTO-2は学習コストが低く、A100 GPU上で約30時間の学習で済みます。また、DITTO-2は、音楽の復元、拡張、強度制御、メロディー制御、音楽構造制御など、さまざまな音楽生成タスクをサポートしています。

DITTO-2プロジェクトの住所

プロジェクト公式サイト：https://ditto-music.github.io/ditto2
arXiv技術論文：https://arxiv.org/pdf/2405.20289

DITTO-2の応用事例

音楽の作曲と生成DITTO-2は、テキストによる説明から高品質な音楽を生成できます。このモデルは、説明文に合致する音楽を生成可能です。
リアルタイム音楽生成DITTO-2はリアルタイム音楽よりも高速に音楽を生成するため、リアルタイム音楽制作やライブパフォーマンスなど、迅速な音楽生成が求められる場面に適しています。
音楽教育者と学生DITTO-2は、生徒が音楽理論をより深く理解し学習できるよう、リアルタイムでサンプル音楽を生成できます。教師は、特定のメロディーやコード進行を入力することで、授業のデモンストレーション用のサンプル音楽を素早く生成できます。
オーディオブックおよびマルチメディアコンテンツ制作者DITTO-2はテキストによる説明を音楽に変換する機能をサポートしており、オーディオブック、ポッドキャスト、マルチメディアプロジェクト用のBGMを生成できます。