Magenta RealTime 2 - Googleのオープンソースのリアルタイム音楽生成モデル、Magenta。

Magenta RealTime 2とは何ですか？

Magenta RealTime 2 (MRT2) は、Google の Magenta チームによる第 2 世代のオープンソースのローカルリアルタイム音楽生成モデルです。フレームごとの生成アーキテクチャに基づいて、MRT2 は実際の制御レイテンシーを約 200 ミリ秒に抑え、各フレームの処理時間を 40 ミリ秒とすることで、AI が実際の楽器演奏に近い速度で入力の変化に反応することを可能にします。このモデルには、mrt2_base (2.4B パラメータ、高品質) と mrt2_small (230M パラメータ、高速) の 2 つのバージョンがあり、どちらも Apple Silicon 向けに最適化されています。小型モデルは、M1 以降のチップでリアルタイムに実行できます。MRT2 はオープンソースの重み付け戦略を採用しており、音楽クリエイターや開発者の参入障壁を下げるために、Jam および DAW 用の無料プラグインが付属しています。

Magenta RealTime 2の主な特徴

• 低遅延リアルタイム生成音声はフレームごとに生成され、各フレームの処理時間は40ミリ秒です。実際の制御遅延は約200ミリ秒で、これは前世代の3秒の遅延の15分の1に短縮されており、真のリアルタイムインタラクションを実現しています。
• マルチモーダル制御入力テキストによる説明、音声によるスタイル指示、MIDIノート入力、ドラムキットのオン/オフ制御などに対応しており、ユーザーは様々な方法で音楽のスタイルや方向性をリアルタイムでコントロールできます。
• 連続音符が続くこのモデルは、ノート入力の変化を継続的に追跡し、生成されるコンテンツをリアルタイムで調整し、ユーザーのパフォーマンスの動的な変化に適応することができます。
• オートストラムインテリジェントピックオートストラムモードでは、AIが弦を弾くタイミングや音を出すタイミングを自動的に判断します。オフにすると、ユーザーは音を出すタイミングを正確に指定でき、自動化と細かな制御のバランスを取ることができます。
• ドラムトラックの切り替えドラムあり・ドラムなしの出力切り替えに対応しており、マルチトラックアレンジメントのシナリオに適しており、さまざまな楽器編成のニーズに柔軟に対応します。
• デュアルスケールモデルの選択異なるハードウェア性能レベルに対応するため、mrt2_base（2.4Bパラメータ、音質優先）とmrt2_small（230Mパラメータ、速度優先）の2つの仕様が用意されています。
• Apple Siliconのネイティブ最適化mrt2_smallはMシリーズチップ向けに高度に最適化されており、M1以降のモデルでリアルタイムに動作可能ですが、mrt2_baseはM2 Max以上のモデルをサポートしています。

Magenta RealTime 2 の技術的原理

• コーデック言語モデルアーキテクチャMRT2はコーデック言語モデルパラダイムに属します。その核心となるアイデアは、連続的な音声信号を予測可能なトークンシーケンスに離散化し、自己回帰アプローチによってフレームごとに生成することです。このモデルはSpectroStreamオーディオコーデックを使用して48kHzステレオ音声をコンパクトな潜在表現に圧縮し、25Hzのフレームレートで音声トークンを出力します。この離散化戦略により、シーケンス長と計算複雑度が大幅に削減され、民生用ハードウェア上でのリアルタイム推論が可能になります。
• フレームごとの自己回帰生成メカニズム前世代は、約3秒の遅延を伴う2秒のオーディオブロックバッチ処理設計を採用していましたが、MRT2はフレームごとの生成アーキテクチャを採用しています。各フレームの処理時間はわずか40ミリ秒です。現在の入力条件（MIDI、テキスト、オーディオスタイル）を受け取ると、モデルは直ちに次のフレームのオーディオタグ分布を予測し、デコードして出力します。ストリーミング自己回帰アプローチにより、実際の制御遅延は約200ミリ秒に圧縮され、前世代の1/15に短縮され、楽器の応答に対する人間の知覚閾値に近づきます。
• SpectroStreamオーディオコーデックSpectroStreamは、MRT2のオーディオフロントエンドとバックエンドの両方の役割を担い、48kHzのステレオ波形をモデルが処理できる個別のトークンにエンコードし、それを可聴オーディオにデコードする役割を担っています。このコーデックは、音楽信号の高周波構造とステレオ位相情報に最適化されており、高度に圧縮された空間でも音色、空間性、倍音の詳細が保持されるように設計されているため、リアルタイム環境における音質の基本的な保証となります。

Magenta RealTime 2 の使い方

• Jamアプリを体験しよう無料のJamアプリをダウンロードし、音楽スタイルの説明を入力すると、モデルの生成が開始されます。下のキーボードを使用してピッチを調整してください。キーボードはマウス、MacBookのキーボード、またはMIDIキーボードからの入力に対応しています。
• DAWで通話MRT2プラグインをインストールすることで、一般的なデジタルオーディオワークステーション（DAW）でモデルを直接呼び出し、AIによる音楽制作ワークフローに統合できます。
• Pythonライブラリ開発開発者の実行 pip install magenta-rt Pythonライブラリをインストールして、APIを介してMRT2を独自の音楽アプリケーションやインタラクティブデバイスに統合してください。
• ローカルエッジ展開クラウドに依存することなく、C++/MLX推論エンジンを使用して、Apple Silicon Mac上で完全オフラインのローカル推論を実現します。

Magenta RealTime 2の主な利点

• 極めて低い遅延200ミリ秒という低遅延により、AIは楽器演奏における人間の知覚閾値に近い速度で応答することができ、真の「即興アンサンブル演奏」を可能にする。
• 完全にローカルで実行Apple SiliconとMLXフレームワークに基づいて最適化されており、すべての推論処理はネットワーク接続なしでローカルで実行されるため、プライバシーと低遅延の安定性が確保されます。
• オープンソースのエコシステムモデルの重みはオープンソースであり、Pythonライブラリ、スタンドアロンアプリケーション、DAWプラグインという3つのアクセス方法を提供することで、一般ユーザーからプロの開発者まで、あらゆるニーズに対応します。
• 多次元リアルタイム制御テキスト、オーディオ、MIDI、ドラムキットのオン/オフ制御を同時にサポートし、リアルタイム生成の分野で最も豊富なインタラクティブ制御機能を提供します。

Magenta RealTime 2 のプロジェクトアドレス

• プロジェクト公式サイト：https://magenta.withgoogle.com/magenta-realtime-2
• GitHubリポジトリ：https://github.com/magenta/magenta-realtime
• ハギングフェイスモデルライブラリ：https://huggingface.co/google/magenta-realtime-2

Magenta RealTime 2と類似製品との比較

Magenta RealTime 2のアプリケーションシナリオ

• ライブ即興演奏ミュージシャンはMIDIキーボードを使ってMRT2とリアルタイムで演奏できます。AIは演奏された音符とスタイルの指示に基づいて伴奏や対応する音楽フレーズをリアルタイムで生成するため、ジャズや電子音楽など、即興演奏が重視される音楽シーンで活用できます。
• リアルタイムの音楽アレンジ支援MRT2プラグインをDAWにロードすると、AIがコード進行やスタイルの説明を調整する際のアレンジ効果についてリアルタイムでフィードバックを提供し、創造的な反復プロセスを加速します。
• インタラクティブな音楽インスタレーション開発者たちは、オープンソースのPythonライブラリとその低遅延性を活用して、美術館、展示会、あるいは舞台上でインタラクティブなサウンドインスタレーションを構築し、観客の動きをリアルタイムで音楽に変換できるようにしている。
• 音楽教育と実践学生はJamアプリを通して演奏スタイルの説明を入力し、AIがリアルタイムで伴奏を生成する。これにより、ソロ練習や、さまざまなバンド編成でのアンサンブル体験をシミュレーションすることができる。