Fun-CosyVoice 3.5 - Alibaba Tongyi Labsが開発した音声生成モデル

Fun-CosyVoice 3.5とは何ですか？

Fun-CosyVoice 3.5は、アリババ同義研究所の音声チームがリリースした最新の音声生成モデルで、多言語の音色再現と細かな表現制御に重点を置いています。このモデルの最も注目すべき革新は、FreeStyle自然言語制御機能にあります。ユーザーは専門的なパラメータを習得する必要はなく、「もっとしっかり話して」や「もっとゆっくり話して」といった会話コマンドを直接使用して、音声効果を正確に調整し、「1つの文から自由に音声を生成」することができます。Fun-CosyVoice 3.5は、タイ語、インドネシア語、ポルトガル語、ベトナム語のサポートを追加し、13言語に対応しています。珍しい文字の誤読率は15.2%から5.3%に減少し、トークナイザーのフレームレート最適化により、最初のパケットの遅延が35%削減されました。

Fun-CosyVoice 3.5の主な機能

• FreeStyle自然言語制御「声のトーンをもう少し強く」「声のトーンを少し下げてゆっくり話して」「感情の起伏を加えて」といった会話形式のコマンドを使って、音声効果を直接指示できるため、専門的なパラメーターを習得する必要なく、正確な調整が可能です。
• 多言語音声再生このアプリはタイ語、インドネシア語、ポルトガル語、ベトナム語に対応し、対応言語は合計13言語となりました。業界トップクラスの単語誤り率（WER）と話者類似性（SpkSim）の指標を維持しています。
• 発音精度の向上珍しい文字の読み間違い率は15.2%から5.3%へと大幅に低下し、長文の読み上げもより安定して流暢になり、どもりや間違いも減少した。
• 低遅延最適化トークナイザーのフレームレートは半減し、最初のパケットの遅延は35%削減されるため、リアルタイムの音声対話シナリオにより適したものとなる。
• 強化学習による最適化言語モデルはDiffRO+GRPO戦略を用いて韻律を最適化し、音声生成はFlow-GRPO技術を用いて音質と音色の再現性を向上させている。

Fun-CosyVoice 3.5の技術的原則

• DiffRO + GRPO 韻律最適化言語モデルでは、強化学習が導入されており、DiffRO（差分報酬最適化）とGRPO（一般化報酬ペナルティ最適化）戦略を組み合わせることで、持続時間と韻律に対するマルチチャネル報酬メカニズムを追加し、それによって音声の自然さとリズムを向上させています。
• Flow-GRPO音質向上機能音声生成部分では、Flow-GRPO技術が用いられています。フローマッチングフレームワークと強化学習最適化を組み合わせることで、音色の再現性や全体的な音質が大幅に向上します。
• トークナイザーのフレームレート最適化トークナイザーのフレームレートを半減することで、計算オーバーヘッドを効果的に削減し、生成品質を維持しながら最初のパケットの遅延を35%削減することに成功しました。
• エンドツーエンドの音声合成アーキテクチャCosyVoiceシリーズのエンドツーエンド音声合成フレームワークをベースに、テキストエンコーディング、音響モデリング、ボコーダーを統合することで、テキストから音声への直接生成を実現し、中間段階でのエラーを低減します。
• マルチタスク共同訓練マルチタスク学習フレームワークを用いることで、音声認識、音色クローニング、スタイル制御といった複数の目的が同時に最適化され、複雑なシナリオにおけるモデルの汎化能力が向上する。

Fun-CosyVoice 3.5の使い方

• Alibaba Cloud Bailian Platform経由で呼び出しAlibaba Cloud Bailianコンソールにアクセスし、音声合成サービスを有効化して、呼び出し用のAPIキーを取得し、オンラインデバッグとバッチ生成をサポートします。
• APIインターフェース呼び出し公式APIインターフェースを使用して、テキストコンテンツ、ターゲットトーンID、およびFreeStyle制御コマンド（「もっと静かに話す」など）を渡すと、生成された音声ファイルが返されます。

Fun-CosyVoice 3.5のアプリケーションシナリオ

• インテリジェントな顧客サービスと音声アシスタント低遅延によりリアルタイムの会話が可能になり、FreeStyleコントロールはユーザーの感情に応じて声のトーンを調整できるため、サービスの温かさとユーザー満足度が向上します。
• オーディオコンテンツ制作ポッドキャスト、オーディオブック、ニュース放送などの場面では、自然言語コマンドによって読み上げスタイルを素早く調整できるため、一人の人間が複数の役割を演じたり、統一されたブランドボイスを維持したりすることが可能になります。
• バーチャルアンカーとデジタルヒューマン声の音色を正確に再現する能力は、特定の人物の声を複製することを可能にし、感情表現と組み合わせることで、表現力豊かなライブ／ショートビデオの吹き替えを生み出すことができる。
• ゲームやアニメーションの声優13言語のローカライズに対応し、キャラクターボイスを迅速に生成することで、多言語版の制作コストと時間を削減します。
• 教育と語学学習珍しい漢字も正確に発音して学習を支援するほか、多言語対応なので外国語の発音デモンストレーションや口頭練習にも活用できます。
• アクセシビリティサービス視覚障害者向けに高品質な音声読み上げ機能を提供し、個々のニーズに合わせた音声カスタマイズや読み上げ速度の調整をサポートします。