Chroma 1.0 - FlashLabsがオープンソース化した、リアルタイムのエンドツーエンド音声対話モデル。

Chroma 1.0とは何ですか？

Chroma 1.0は、FlashLabs初のオープンソースリアルタイムエンドツーエンド音声対話モデルであり、低遅延の対話、高忠実度のパーソナライズされた音声クローニング、そして強力な会話機能を兼ね備えています。このモデルは、音声理解と音声生成を密接に連携させ、1:2のテキスト・音声トークンスケジューリング戦略を採用することで、1秒未満の低遅延出力を実現しています。わずか数秒の参照音声だけで、話者の声の特徴を高い精度で再現でき、人間のベースラインよりも10.96%高い話者類似度を達成しています。わずか40億個のパラメータで、推論タスクと音声対話タスクにおいて優れた性能を発揮し、効率性とパフォーマンスのバランスを実現しています。

Chroma 1.0の主な機能

• リアルタイム音声対話エンドツーエンドの遅延が1秒未満という低遅延の音声対話に対応しており、リアルタイムの対話シナリオに適しています。
• 高忠実度音声クローンこのモデルは、わずか数秒の参照音声だけで、人間の声に非常に近いパーソナライズされた音声合成を実現し、音色の再現精度は人間の基準値よりも10.96%高い。
• 優れた会話能力このモデルは、理解力、推論力、そして音声対話を行う能力を備えており、物語の論理展開や事実の判断といった複雑な対話タスクをサポートする。
• ストリーミング世代ストリーミング出力アーキテクチャを採用し、連続対話をサポートし、リアルタイム再生よりも高速にコンテンツを生成します（RTF値は0.43）。
• マルチモーダル融合テキスト入力と音声入力を組み合わせ、話し方のリズムやイントネーションといった非言語情報を保持することで、より自然な対話を実現します。

Chroma 1.0の技術的原理

• 音声理解と音声生成の密結合音声理解モジュール（Chroma Reasoner）と音声生成モジュール（Chroma Backbone、Chroma Decoder、Chroma Codec Decoder）を緊密に統合することで、意味状態表現による低遅延ストリーミング出力を実現しています。
• 1:2 テキスト音声変換トークンスケジューリング戦略生成プロセスにおいて、各テキストトークンは2つのオーディオコードブックトークンに対応するため、オーディオとテキストを同期的に生成することができ、遅延を大幅に削減できます。
• 高忠実度音声クローン入力シーケンスに参照音声とそれに対応するテキストを埋め込むことで、モデルは特定の話者の声の特徴を学習し、再現することができる。
• マルチモーダル注意メカニズムマルチモーダル回転位置符号化（TM-RoPE）とクロスモーダル注意および時間的アライメントを用いることで、音声とテキストの時間的アライメントを確保し、会話の自然さを向上させます。
• 離散音響表現と因果的CNNこのモデルは、離散的な音響コードブックを使用して音声を表現し、因果畳み込みニューラルネットワーク（Causal CNN）を介して波形再構成を実行し、リアルタイムのストリーミング出力をサポートします。

Chroma 1.0プロジェクトのアドレス

• GitHubリポジトリ：https://github.com/FlashLabs-AI-Corp/FlashLabs-Chroma
• ハギングフェイスモデルライブラリ：https://huggingface.co/FlashLabs/Chroma-4B
• arXiv技術論文：https://arxiv.org/pdf/2601.11141

Chroma 1.0の応用事例

• インテリジェントな顧客サービスリアルタイムの音声対話サービスをユーザーに提供し、顧客のニーズに迅速に対応し、パーソナライズされた音声回答を提供し、ユーザーエクスペリエンスを向上させます。
• 音声アシスタントスマートホームやスマートデバイスに統合することができ、自然な音声対話による便利な操作が可能になります。
• バーチャルストリーマーニュース放送、ライブストリーミング、その他の分野で使用され、高音質の音声を生成し、特定のアンカーのスタイルをシミュレートし、コンテンツの多様性を高めます。
• 音声コンテンツ制作これは、オーディオブックやオーディオストーリーなどの高品質なオーディオコンテンツをコンテンツ制作者が作成するのを支援し、それによって制作効率を向上させます。
• 教育このアプリは、言語学習者にパーソナライズされた音声対話練習、発音とイントネーションに関するリアルタイムのフィードバックを提供し、言語学習の効果を高めます。