DragonV2.1 - マイクロソフトのゼロショットテキスト読み上げモデル

DragonV2.1とは何ですか？

DragonV2.1（DragonV2.1Neural）は、マイクロソフトの最新のゼロショットテキスト音声合成（TTS）モデルです。Transformerアーキテクチャに基づいており、多言語対応とゼロショット音声クローニングをサポートし、わずか5～90秒のプロンプトから自然で表現力豊かな音声を生成します。このモデルは、発音精度、音声の自然さ、および制御性を大幅に向上させています。DragonV1と比較して、単語誤り率（WER）は平均12.8%削減されています。SSML音素タグ付けとカスタム辞書をサポートしており、発音とアクセントを精密に制御できます。このモデルは、音声合成のコンプライアンスとセキュリティを確保するために、ウォーターマーキング技術を統合しています。

DragonV2.1の主な機能

• 多言語対応100種類以上のAzure TTS言語環境をサポートし、複数の言語で音声合成を行うことで、様々なユーザーのニーズに対応できます。
• 感情表現とアクセントの適応状況に応じて声の感情やアクセントを調整することで、声に表現力と個性が加わります。
• ゼロサンプル音声クローニングわずか5秒から90秒の音声プロンプトだけで、ユーザー自身のAI音声コピーを迅速に生成できるため、音声クローン作成のハードルが大幅に低下する。
• 迅速な生成300ミリ秒未満の低遅延と0.05未満のリアルタイム係数（RTF）で、短時間で高品質な音声合成結果を生成できるため、リアルタイムアプリケーションシナリオに適しています。
• 発音コントロールSSML（音声合成マークアップ言語）における音素タグの使用をサポートしており、ユーザーは国際音声記号（IPA）音素タグとカスタム辞書を通して音声の発音を正確に制御できます。
• カスタム辞書ユーザーは独自の辞書を作成し、特定の単語の発音を定義することで、音声合成の精度を高めることができます。
• 言語とアクセントの制御複数の言語と、イギリス英語（en-GB）やアメリカ英語（en-US）などの特定のアクセントの生成をサポートしています。
• 透かし技術自動生成された音声出力には自動的に透かしが追加され、音声合成コンテンツの不正使用を効果的に防止します。

DragonV2.1の技術的原則

• トランスフォーマーアーキテクチャDragonV2.1は、自然言語処理や音声合成で広く用いられているTransformerモデルをベースとした深層学習アーキテクチャです。Transformerは自己注意機構に基づいて入力データを処理し、長距離依存関係を捉えることで、より自然で一貫性のある音声を生成します。
• マルチヘッド注意機構Transformerのマルチヘッドアテンション機構により、モデルは入力データの異なる部分を異なる視点から注目することができ、音声の特徴を捉えるモデルの能力が向上します。
• SSMLのサポートSSMLは音声合成を記述するために使用されるマークアップ言語です。DragonV2.1はSSMLの音素タグとカスタム辞書をサポートしています。ユーザーはSSMLを通して音声の発音、イントネーション、リズムなどを正確に制御し、音声合成の精度と自然さを確保できます。

DragonV2.1プロジェクトのアドレス

• プロジェクト公式サイト：https://techcommunity.microsoft.com/blog/azure-ai-services-blog/personal-voice-upgraded-to-v2-1-in-azure-ai-speech-more-expressive-than-ever-bef/4435233

DragonV2.1の応用シナリオ

• 動画コンテンツ制作動画向けに多言語吹き替えとリアルタイム字幕を生成し、オリジナルの俳優の声質を維持しながら、世界中の視聴者の視聴体験を向上させます。
• インテリジェントな顧客サービスとチャットボット自然で表現力豊かな音声応答を生成し、多言語に対応し、ユーザーエクスペリエンスを向上させ、顧客サービスコストを削減します。
• 教育と訓練このシステムは、複数の言語で音声を生成し、語学学習者が発音やリスニングスキルを練習するのを支援するとともに、オンラインコースのインタラクティブ性を向上させます。
• スマートアシスタントスマートホーム機器や車載システム向けに自然な音声対話機能を提供し、多言語に対応し、ユーザーの利便性を向上させます。
• 企業とブランド広告やマーケティングのためのブランドボイスを作成し、多言語に対応することで、ブランド認知度とグローバル市場へのリーチを向上させます。