Kyutai TTS - Kyutai Labsによるストリーミングテキスト読み上げ技術 - AiBoss

九大TTSとは何ですか？

Kyutai TTSは、フランスの人工知能研究機関であるKyutai Labsが開発したストリーミングテキスト音声合成（TTS）技術です。テキスト入力完了を待たずに音声生成を開始し、極めて低いレイテンシー（わずか220ミリ秒）で、テキストをリアルタイムで自然で流暢な音声に変換できる革新的な音声合成システムです。ストリーミングテキスト伝送に対応し、インテリジェントカスタマーサービス、リアルタイム翻訳、ライブストリーミングなどのリアルタイムインタラクティブシナリオで優れたパフォーマンスを発揮します。英語とフランス語に対応し、10秒間の音声サンプルを使用して話者の音色とイントネーションを再現する音声クローニング機能を備えています。Kyutai TTSは長文テキスト生成にも対応しており、従来のTTSシステムの時間的制約を克服し、ニュース放送やオーディオブックなどのシナリオに適しています。

九大TTSの主な機能

ストリーミングテキスト送信テキストストリーミングに対応しているため、完全なテキストがなくても音声生成を開始でき、インテリジェントな顧客サービス、リアルタイム翻訳、ライブストリーミングといったリアルタイムのインタラクティブなシナリオに適しています。
低遅延Kyutai TTSは、単一のNVIDIA L40S GPUを使用することで、わずか350ミリ秒の遅延で32件のリクエストを同時に処理できるため、多数のユーザーリクエストに迅速に対応できます。
高忠実度サウンド10秒間の音声サンプルを使用した音声クローンをサポートし、話者類似度77.1%（英語）および78.7%（フランス語）、単語誤り率（WER）2.82%および3.29%で、自然で流暢な音声を生成します。
長文生成従来の音声合成システムの30秒という制限を打ち破り、長文の記事にも対応できるため、ニュース放送やオーディオブックなどの用途に適している。
多言語対応現在、英語とフランス語に対応しています。

九大TTSの技術原理

遅延流量モデリング（DSM）Kyutai TTSの中核となるアーキテクチャはDSMであり、音声とテキストを時間的に同期した2つのデータストリームとして扱います。テキストストリームは音声ストリームに対して数フレーム遅れて送信されるため、モデルは「少し先の音声を予測」することができ、生成される音声の精度と自然さが向上します。推論中、モデルは完全な音声入力を待つことなく、時間的に段階的に進行するため、ストリーミング生成が可能になります。
オーディオコーデックこのモデルは、カスタムの因果オーディオコーデック（Mimiなど）を使用して、音声を低フレームレートの離散トークンにエンコードし、リアルタイムストリーミングをサポートします。これにより、モデルは高品質な音声出力を維持しながら、効率的なリアルタイム生成を実現できます。
高い同時実行性と低遅延Kyutai TTSは、単一のNVIDIA L40S GPU上で、わずか350ミリ秒の遅延で32件のリクエストを同時に処理できます。
音声クローンとパーソナライゼーションこのモデルは、10秒間の音声サンプルを使用して音声を複製し、元の音声のピッチ、イントネーション、音色、録音品質を一致させる機能をサポートしています。
単語のタイムスタンプKyutai TTSは、各単語に正確なタイムスタンプを付けて音声を生成するため、リアルタイムの字幕表示やインタラクティブなアプリケーションが可能になります。

九州大TTSプロジェクトの住所

プロジェクト公式サイト：https://kyutai.org/next/tts

九大TTSの応用事例

インテリジェントな顧客サービスKyutai TTSの低遅延機能により、インテリジェントな顧客サービスシナリオにおいて、ユーザーが質問をした際に、ユーザーが話し終えるのを待つことなく、即座に音声応答を生成できるため、インタラクションの効率性とユーザーエクスペリエンスが大幅に向上します。
リアルタイム翻訳国境を越えたビジネス交渉や国際的な学術交流といった場面において、Kyutai TTSは翻訳されたテキストを迅速に音声に変換し、円滑なコミュニケーションを実現します。
ビデオ会議とライブストリーミングKyutai TTSは、ビデオ会議やライブ配信向けにリアルタイムの字幕生成機能を提供します。迅速かつ正確に同期字幕を生成することで、視聴者がコンテンツをより理解しやすくなります。
教育Kyutai TTSは、視覚障害のある方々に高品質なテキスト読み上げサービスを提供し、情報へのアクセス向上を支援します。また、オンライン教育プラットフォームにも活用でき、学生に魅力的な教材を提供し、学習体験を向上させることができます。
メディア制作Kyutai TTSは長文記事の音声生成に対応しており、ニュース放送やオーディオブック制作などの場面に適しています。
音声ナビゲーション九大TTSの高い同時処理能力は、車載ナビゲーションや公共交通機関の音声案内といったシナリオをサポートし、ユーザーに明瞭かつタイムリーな音声放送を提供します。