MoE-TTS - Kunlun Techが発表した音声合成フレームワーク - AiBoss

MoE-TTSとは何ですか？

MoE-TTSは、崑崙万威音声チームが発表した、文字記述のための初のMOEベースの音声合成フレームワークであり、オープンドメインのテキスト記述の理解度向上を目的として特別に設計されています。このモデルは、事前学習済みの大規模言語モデル（LLM）と音声エキスパートモジュールを、エキスパート混合（MoE）アーキテクチャで組み合わせたものです。学習中は、テキストモジュールのパラメータは固定され、音声モジュールのパラメータのみが更新されるため、LLMの強力なテキスト理解能力を維持しつつ、音声生成の精度が向上します。実験結果によると、MoE-TTSは、記述により近い音声を生成する点で既存の商用モデルを大幅に上回り、特に複雑なオープンドメインの記述の処理に優れています。

MoE-TTSの主な機能

オープン・ドメイン・テキストの理解能力の向上複雑でオープンなテキスト記述を正確に理解し、それに合った音声を生成することができ、訓練データに登場しない記述にも対応できる。
自然言語説明ドライバーユーザーは、自然言語による説明（例えば、「活気のある10代の声」や「ニューヨーク訛りの俳優の声」など）を通して、声のスタイルや特徴を正確に制御できます。
高品質な音声生成生成された音声は、自然さ、感情表現、スタイルの一貫性において非常に優れた性能を発揮し、従来の音声合成モデルを大幅に上回っています。
異種モダリティ間の知識伝達事前学習済みの言語モデルが持つ強力なテキスト理解能力を音声生成タスクに応用することで、モデルが複雑な意味を理解し表現する能力が向上する。

MoE-TTS技術原則

ベースモデルとして事前学習済みのLLMを使用事前学習済みのテキストLLMをベースモデルとして、強力なテキスト理解能力を維持するためにパラメータを固定しています。
モーダルルーティング戦略モーダルルーティングメカニズムに基づき、テキストタグと音声タグはそれぞれテキストエキスパートモジュールと音声エキスパートモジュールに割り当てられ、モーダル間の干渉を回避します。
フリーズテキストエキスパートモジュールトレーニング中は、音声エキスパートモジュールのパラメータのみが更新され、テキストエキスパートモジュールのパラメータは固定されるため、トレーニングおよび推論中に事前学習済みの知識が保持されます。
モダリティ認識型トランスフォーマーコンポーネントTransformer層のコアコンポーネント（層正規化、フィードフォワードネットワーク、マルチヘッドアテンションなど）は、モダリティ認識型MoE層に変換され、モデルが異なるモダリティを処理する能力をさらに向上させます。
音声生成モジュール拡散モデル（例えば、Elucidated Diffusion Models）とVAEGANコンポーネントを組み合わせることで、離散的な音声トークンを高品質な連続音声波形に変換します。

MoE-TTSプロジェクトの住所

技術論文：https://teal-aquarius-c17.notion.site/MoE-TTS-Enhancing-Out-of-Domain-Text-Understanding-for-Description-based-TTS-via-Mixture-of-Experts-24e44360bf708040bff3dffe2eef805e#24e44360bf70800c9290cce2d2d14dfe

MoE-TTSの応用シナリオ

バーチャルアシスタントとインテリジェントな顧客サービスこれにより、仮想アシスタントやインテリジェントなカスタマーサービスの音声応答が、まるで本物の人間が話しているかのように自然で流暢になり、ユーザーエクスペリエンスが大幅に向上します。
オーディオコンテンツ制作オーディオブックやポッドキャストなど向けに、多様なスタイルと豊かな感情表現を備えた高品質な音声を生成し、コンテンツをより魅力的なものにします。
デジタルヒューマンとバーチャルキャラクターの声優キャラクター設定に基づいてパーソナライズされた音声が生成され、デジタルヒューマンやバーチャルキャラクターに瞬時に命を吹き込み、リアリティと表現力を向上させます。
教育と訓練多言語・多スタイルの音声生成をサポートし、教育コンテンツの多様化を促進し、学習をより楽しく効率的なものにします。
ゲームとインタラクティブエンターテインメントリアルタイムでシーンに合った音声を生成することで、ゲームのインタラクティブ性を高め、キャラクターの会話を生き生きとリアルにし、没入感を最大限に高めます。