MegaTTS 3 - ByteDanceが浙江大学と共同開発したゼロショット音声合成システム

MegaTTS 3とは何ですか？

MegaTTS 3は、ByteDanceが浙江大学と共同開発したゼロショット方式のテキスト音声合成システムです。わずか0.45バイトのパラメータを用いた軽量拡散モデルを採用することで、高品質な音声を効率的に生成します。音声を内容、音色、韻律などの属性に分解し、それぞれを個別にモデル化します。中国語、英語、中国語と英語の混合音声合成に対応し、わずか数秒の音声サンプルからターゲット音声を模倣する超高音質な音声クローン機能を備えています。また、アクセントの強さ調整などの制御可能な機能もサポートしています。MegaTTS 3は、音声合成、音声編集、多言語音声合成など、様々な用途に活用できます。

MegaTTS 3の主な機能

• ゼロサンプル合成対象話者の特定の音声データを必要とせず、最小限の指示で対象話者の音声を生成できるため、迅速な音声クローン作成が可能となる。
• 多言語対応中国語、英語、および中国語と英語の混合音声合成をサポートしており、さまざまな言語シナリオのニーズに対応します。
• 高品質な音声出力生成された音声は自然で流暢であり、音質もクリアで、対象話者の音声と非常に高い類似性を持つ。
• トーンコントロールこの機能を使うと、生成される音声の音色を調整して、対象とする話者の音声に近づけたり、特定の音色効果を追加したりすることができます。
• リズム調整話し方の速度や抑揚など、発話のリズムを制御する機能をサポートし、より表現力豊かな発話を可能にします。
• アクセントの強さの調整パラメーターを調整することで、アクセントの強さが異なる音声を生成し、様々な言語スタイルをシミュレートすることができる。
• 迅速クローニングわずか数秒の音声サンプルから対象話者の音声を迅速に生成でき、効率的な音声クローンを実現します。

MegaTTS 3の技術原理

• 軽量拡散モデルMegaTTS 3は、わずか0.45B個のパラメータを持つ軽量拡散モデル（TTS拡散トランスフォーマー）を採用し、高効率かつ高品質な音声生成を実現しています。この拡散モデルは、ノイズを段階的に追加・除去することで目標音声を生成し、その中核は順方向処理（ノイズの追加）と逆方向処理（ノイズ除去）から構成されています。逆方向処理はデータサンプルの生成に使用されます。
• 音声分解とモデリングMegaTTS 3は、音声を内容、音色、韻律、位相などのさまざまな属性に分解し、それぞれの属性をモデル化するための適切なモジュールを設計します。
  • 音色モデリング音色は時間とともにゆっくりと変化するグローバルな特性であるため、音色をモデル化するにはグローバルベクトルを使用します。
  • プロソディモデリング韻律は文の中で急速に変化するため、潜在コード言語モデルを用いて韻律の分布を適合させます。この言語モデルは、局所的な依存関係と長距離的な依存関係の両方を捉えることができます。
  • コンテンツモデリング: スペクトログラムを生成するために、VQGANベースの音響モデルが使用されます。
  • 位相モデリングこのフェーズはGANベースのボコーダーによって適切に構築され、フェーズをモデル化するために言語モデルは必要ありません。
• データとトレーニングMegaTTS 3は、20,000時間分の音声データを含む大規模なマルチドメインデータセットで学習されています。これにより、ゼロショット音声合成、音声編集、および多言語音声合成タスクにおいて、非常に優れた性能を発揮します。
• スパースアライメントアルゴリズムMegaTTS 3では、潜在拡散変換（DiT）を誘導するための疎なアライメント境界を提供する疎なアライメントアルゴリズムが導入され、探索空間を縮小することなくアライメントの難易度を低減し、高い自然さを実現しています。

MegaTTS 3プロジェクトのアドレス

• GitHubリポジトリ：https://github.com/bytedance/MegaTTS3
• ハギングフェイスモデルライブラリ：https://huggingface.co/ByteDance/MegaTTS3

MegaTTS 3の応用シナリオ

• 学術研究研究者はこれを利用して音声合成技術をテストしたり、潜在変数の影響を分析したりすることができる。
• 教育支援教科書を音声化してオーディオブックを作成し、学習体験を向上させましょう。
• コンテンツ作成動画やポッドキャストのナレーションを自動生成することで、手動録音のコストを削減できます。
• 音声対話開発者はこれをデバイスに組み込むことで、中国語と英語の音声会話を可能にすることができる。