Orpheus TTSは、複数の音声スタイルをサポートするオープンソースのAI音声合成システムです。

Orpheus TTSとは何ですか？

Orpheus TTSは、Llama-3bアーキテクチャをベースとしたオープンソースのテキスト音声合成（TTS）システムです。Orpheus TTSは、自然で感情豊かな、人間に近い音声の生成をサポートし、ゼロショット音声クローニング機能を搭載しているため、事前学習は不要で、特定の音声パターンを模倣できます。レイテンシは約200ミリ秒と非常に短いため、リアルタイムアプリケーションにも適しています。Orpheus TTSは、様々な事前学習済みモデルとファインチューニング済みモデルを提供しており、ユーザーは限られたデータに基づいて学習をカスタマイズし、様々なシナリオにおける音声合成のニーズに対応できます。

Orpheus TTSの主な機能

人間に近いレベルの会話自然な音色、感情、リズムを提供します。
ゼロサンプル音声クローニング事前に学習済みのクローン音声は必要ありません。
感情とトーンを導く: シンプルなラベルに基づいて、音声や感情表現を制御する。
低遅延リアルタイムアプリケーションにおけるストリーミング遅延は約200ミリ秒ですが、入力ストリーミング処理によって遅延を約100ミリ秒まで短縮できます。
複数の音声スタイルに対応様々なプリセット音声スタイル（「タラ」「リア」など）が用意されており、ユーザーはニーズに応じて異なる音声キャラクターを選択して合成することができます。

Orpheus TTSの技術原理

ラマ建築に基づくLlama-3bは、強力な言語理解機能と生成機能を組み合わせることで、音声合成における自然言語の複雑さをより適切に処理するための、基盤となるモデルアーキテクチャとして機能します。
大規模データトレーニングこのモデルは、10万時間以上の英語の音声データと数十億個のテキストタグを用いて事前学習されており、大量の音声データとテキストデータに基づいて、英語のリズム、イントネーション、感情表現を学習しています。
非ストリーム単語分割器およびSNACデコーダ非ストリーミング（CNNベース）の単語分割器とSNACデコーダーを使用することで、改良されたデコーダーに基づいた途切れのないストリーミング音声合成を実現し、従来の方法で発生する可能性のある音声の「ポップノイズ」問題を回避します。
リアルタイムストリーミング推論高効率なvLLM（非従来型言語モデル）実装に基づいており、GPU上で高速に音声を生成し、リアルタイムの出力および入力ストリーミング処理をサポートし、低遅延のリアルタイムアプリケーションのニーズを満たすことができます。
感情表現とイントネーションに関する指導このモデルは、感情タグと音声テキストペアをトレーニングデータに組み込むことで、さまざまな感情状態における音声の特徴を学習し、ユーザーがラベル付けした音声の感情やイントネーションの制御をサポートします。

Orpheus TTSプロジェクトのアドレス

プロジェクト公式サイト：https://canopylabs.ai/model-releases
GitHubリポジトリ：https://github.com/canopyai/Orpheus-TTS
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/canopylabs/orpheus-tts

Orpheus TTSの応用シナリオ

オーディオブックとポッドキャストテキストを自然な音声に変換して、音声コンテンツを生成します。
バーチャルアシスタント自然な音声対話が可能で、リアルタイムの対話をサポートします。
ゲームゲームキャラクターにパーソナライズされた音声を生成し、没入感を高めます。
教育する授業を補助し、生徒のリスニング能力向上を支援する。
アクセシビリティ視覚障害者が音声を通じて情報を入手できるよう支援する。