IndexTTS - Bilibiliが提供するテキスト読み上げモデルで、中国語の文字発音におけるピンイン補正をサポートしています。

IndexTTSとは何ですか？

IndexTTSは、Bilibiliが提供する産業グレードの制御可能なテキスト音声合成（TTS）システムです。XTTSとTortoiseモデルをベースに開発され、GPTスタイルの生成技術を取り入れることで、テキストを自然で流暢な音声に効率的に変換します。IndexTTSの強みは、中国語テキストの処理能力にあります。中国語の文字の発音に合わせてピンイン補正をサポートし、句読点によるポーズの精密な制御を可能にすることで、多音文字や長音文字の発音問題を効果的に解決します。中国語の文字とピンインを組み合わせたハイブリッドモデリングアプローチを採用し、音声生成を最適化しています。性能面では、IndexTTSは単語誤り率（WER）がわずか1.3%、話者類似度（SS）が0.776、主観的音質スコア（MOS）が4.01と、優れた性能を誇ります。 25,000時間分の中国語音声と9,000時間分の英語音声を含む大量のデータを使用して学習されており、高音質と高音域を実現しています。

最新の自社開発次世代音声合成モデル「IndexTTS2」は、正確な音声再生時間と感情表現を実現し、音色と感情表現の個別調整に対応。複数の言語とスタイルで自然で流暢な音声を生成できます。動画吹き替え、語学学習など幅広い分野で活用されており、感情表現とテキスト精度において業界トップレベルの性能を誇ります。

IndexTTSの主な機能

• ピンインの修正と一時停止の制御IndexTTSは中国語のテキストを処理する際、ピンインを通して中国語の文字の発音を修正し、句読点を使って任意の位置でのポーズを正確に制御することで、より自然で流暢な音声出力を実現します。
• 音質最適化コンフォーマーベースの条件付きエンコーダとBigVGAN2音声デコーダの導入により、音質と音色の類似性が大幅に向上し、MOSスコア4.01を達成しました。
• 多言語対応現在は中国語と英語に対応しており、将来的にはさらに多くの言語に対応する予定です。

IndexTTSの技術的原理

• ハイブリッドモデリング手法中国語のシナリオでは、IndexTTSは文字とピンインを組み合わせたハイブリッドモデリング手法を採用しています。中国語の文字とピンインを組み合わせることで、システムは多声文字や長音文字の発音エラーを迅速に修正でき、音声合成の精度と制御性を向上させます。
• 音声エンコードおよびデコード最適化IndexTTSは、コンフォーマーベースの条件付きエンコーダーとBigVGAN2音声デコーダーを導入しています。コンフォーマーエンコーダーは音声の音色特性をより正確に捉え、BigVGAN2デコーダーは音質と音色の類似性を向上させます。
• ゼロサンプル音声クローニングIndexTTSは、ゼロサンプル音声クローニングに優れており、ターゲットとなる音声サンプルがなくても高品質な音声を生成します。話者類似度（SS）は最大0.776、MOSスコアは4.01を達成し、既存のシステムをはるかに凌駕しています。
• 効率的な訓練と推論本システムは数万時間分のデータで学習されており、学習プロセスはシンプルかつ安定しており、推論速度も高速です。XTTS、CosyVoice2、Fish-Speech、F5-TTSなどのシステムと比較すると、IndexTTSは自然さ、コンテンツの一貫性、ゼロショット音声クローニングの点で優れています。

IndexTTSプロジェクトのアドレス

• IndexTTS：
  • GitHubリポジトリ：https://github.com/index-tts/index-tts
  • arXiv技術論文：https://arxiv.org/pdf/2502.05512
• IndexTTS2：
  • プロジェクト公式サイト：https://index-tts.github.io/index-tts2.github.io/
  • ハギングフェイスモデルライブラリ：https://huggingface.co/IndexTeam/IndexTTS-2
  • arXiv技術論文：https://arxiv.org/pdf/2506.21619

IndexTTSの応用シナリオ

• コンテンツ制作と動画吹き替えIndexTTSは、自然で流暢な音声コンテンツを迅速に生成できるため、ビデオ制作者は録音時間を節約し、ビデオの吹き替え作業を迅速に完了できます。
• オーディオブックとオンライン教育中国語と英語の両方で高品質な音声合成をサポートし、オーディオブックやオンライン教育プラットフォーム向けに自然な音声読み上げサービスを提供することで、ユーザーエクスペリエンスを向上させます。
• インテリジェントな顧客サービスと音声アシスタントIndexTTSは、ゼロサンプル音声クローン機能と高い自然さを備えているため、インテリジェントな顧客サービスや音声アシスタントのシナリオに適しており、さまざまな話し方や速度に迅速に対応できます。
• マルチメディアとエンターテイメントマルチメディアおよびエンターテインメント分野では、IndexTTSはゲームの音声や仮想キャラクターの会話など、パーソナライズされた音声コンテンツを生成するために使用でき、ユーザーにより没入感のある体験を提供することができます。
• アクセシビリティ技術IndexTTSは、効率的な音声合成機能と低いエラー率により、視覚障害者への音声支援を提供し、情報へのアクセスを向上させることができます。