Baichuan-Audio - Baichuan Intelligenceのオープンソースのエンドツーエンド音声対話モデル

白川オーディオとは何ですか？

Baichuan-Audioは、Baichuan Intelligenceが開発したエンドツーエンドの音声言語モデルです。音声理解機能と音声生成機能をシームレスに統合し、高品質で制御可能なリアルタイムの中国語・英語バイリンガル対話を実現します。Baichuan-Audioは、マルチコードブック離散化技術を用いて音声信号を離散シンボルに変換し、意味情報と音響情報を保持します。また、独立した音声ヘッダーによって音声特徴処理能力を強化しています。このモデルは、2段階の事前学習戦略とインターリーブデータ学習を組み合わせることで、音声モデリングと言語理解能力のバランスを取っています。Baichuan-Audioは、リアルタイム音声対話、質問応答、自動音声認識（ASR）、テキスト音声合成（TTS）などのタスクにおいて優れた性能を発揮します。Baichuan-Audioのオープンソースの学習データとモデルは、音声対話研究にとって重要なリソースとなります。

白川オーディオの主な機能

• リアルタイム音声対話スムーズな音声操作をサポートし、ユーザーの音声コマンドを理解し、自然な音声応答を生成します。
• 音声理解と音声生成音声認識（ASR）とテキスト読み上げ（TTS）機能を組み合わせることで、音声入力から音声出力へのシームレスな変換を実現します。
• 多言語対応中国語と英語の両方で高品質な会話をサポートし、多言語音声翻訳機能も備えています。
• 音声Q&A複雑な音声コマンドや質問にも対応でき、正確な音声応答を提供できます。
• 音声コンテンツの生成テキストガイダンスに基づいて整列された音声コンテンツを生成し、音声出力の意味的な一貫性を確保します。

白川オーディオの技術原理

• 音声トークン化マルチコードブック離散化技術に基づき、連続音声信号を離散音声トークンに変換します。音声特徴はWhisper Large Encoderを用いて抽出され、意味情報と音響情報は8層残差ベクトル量子化（RVQ）技術を用いて保持されます。
• 独立オーディオヘッドこのモデルは、オーディオタグを処理し、オーディオの特徴を捉える能力を高めるために、独立したオーディオヘッドを備えて設計されています。
• エンドツーエンドのフレームワークこのモデルは、音声入力を処理して音声出力を生成するためにエンドツーエンドのアーキテクチャを採用しており、従来のカスケード型モデルで必要となる音声からテキストへの変換と音声への変換を複数回行う必要がない。
• 2段階の事前トレーニング戦略音声モデリングと言語理解能力のバランスを取るため、Baichuan-Audioは2段階の事前学習戦略を採用しています。第1段階では言語モデルのパラメータを固定し、音声関連のコンポーネントを学習します。第2段階では、すべてのパラメータを解放して共同学習を行います。
• インターリーブデータトレーニングこのモデルは、異種モダリティ間の知識伝達と音声生成能力を強化するために、インターリーブデータ（音声とテキストのインターリーブデータや、テキスト音声変換データのインターリーブデータなど）を用いて事前学習されています。
• ストリームマッチデコーダーフローマッチングに基づくデコーダーは、音声トークンを高品質のメルスペクトログラムにデコードし、その後、HiFi-GANボコーダーを使用して自然な音声を合成するために使用されます。

白川オーディオのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/baichuan-inc/Baichuan-Audio
• ハギングフェイスモデルライブラリ：https://huggingface.co/baichuan-inc/Baichuan-Audio
• arXiv技術論文：https://arxiv.org/pdf/2502.17239

白川オーディオの応用シナリオ

• リアルタイム音声対話流暢な音声対話に対応し、音声コマンドをリアルタイムで理解し、自然な音声応答を生成します。
• 音声Q&A複雑な音声コマンドや質問にも対応でき、正確な音声応答を提供できます。
• 多言語対応中国語と英語の両方で高品質な会話をサポートし、音声翻訳機能も備えています。
• 音声コンテンツの生成テキストのガイダンスに基づいて、意味的な一貫性を確保するために、整列された音声コンテンツを生成してください。
• クロスモーダル機能音声認識（ASR）とテキスト読み上げ（TTS）を組み合わせることで、音声入力から音声出力へのシームレスな変換を実現します。