PersonaPlex - NVIDIAの全二重音声認識AIモデル

PersonaPlexとは何ですか？

NVIDIA PersonaPlexは、NVIDIAが開発した全二重対話型AIモデルです。音声と音声を同時に聞き取り、自然な会話における中断、間、応答を適切に処理できます。ユーザーは音声やテキストによる指示でAIのペルソナや声をカスタマイズでき、インテリジェントアシスタントからカスタマーサービス担当者まで、さまざまな役割を担わせることができます。このモデルは、実世界の対話データと合成対話データを組み合わせて学習されており、優れた会話の自然さとタスク遂行能力を備えています。PersonaPlexは、教育、カスタマーサービス、緊急対応など、さまざまなシナリオで卓越したパフォーマンスを発揮し、ユーザーに真に自然で人間らしい対話体験を提供します。PersonaPlex-7B-v1モデルは現在オープンソースとして開発者向けに公開されています。

PersonaPlexの主な機能

• 全二重対話機能PersonaPlexは、聞き取りと発話を同時に行うことができ、リアルタイムの対話に対応し、会話中の割り込み、間、応答を自然に処理するため、会話がよりスムーズで自然になります。
• キャラクターと音声のカスタマイズユーザーは、テキストプロンプトを通じて役割（スマートアシスタント、カスタマーサービス担当者、架空のキャラクターなど）を定義し、音声プロンプトを通じてさまざまな音声スタイルやトーンを選択することで、高度にパーソナライズされたインタラクションを実現できます。
• 自然な対話行動会話の自然なリズムをサポートし、割り込み、応答（「うんうん」「わかった」など）、適切な間合いなどを含め、会話をより人間らしいやり取りのように感じさせます。
• タスク遵守能力テキストプロンプトに基づいて特定のタスクを実行することをサポートし、顧客サービスの提供、質問への回答、技術的な議論の実施などを行い、会話全体を通して一貫した役割遂行を維持します。

PersonaPlexの技術原則

• 全二重アーキテクチャPersonaPlexは全二重通信方式を採用しており、ユーザーの音声入力と音声出力を同時に処理できるため、従来のカスケード方式（ASR→LLM→TTS）における遅延を回避できます。このモデルはユーザーが話している間に内部状態を更新するため、即時のストリーミング応答と低遅延のインタラクションを実現します。
• ハイブリッドプロンプトアーキテクチャ：
  • 音声ガイダンス音声埋め込みは、声の特徴、話し方、リズムを捉えます。
  • テキストプロンプト登場人物、背景情報、会話の文脈を自然言語で記述してください。
  • ジョイント加工音声とテキストによる指示は同時に処理され、一貫性のあるキャラクター演技が生成される。
• トランスフォーマーアーキテクチャMimi音声エンコーダは、音声をテキストトークンに変換します。時間変換器と深度変換器は、対話の内容と動作を処理し、一時停止と中断のタイミングを決定します。Mimi音声デコーダは、テキストトークンを音声出力に変換し、24kHzのサンプリングレートをサポートします。
• トレーニングデータこのモデルは、Fisher Englishコーパスから抽出した7303件の実際の対話（1217時間分）を用いて、GPT-OSS-120Bを介してキャラクター描写を生成します。言語モデルを使用して対話スクリプトを生成し、Chatterbox TTSによって音声を合成することで、様々なシナリオやキャラクターに対応します。実際の対話と合成された対話を組み合わせたトレーニングにより、モデルは自然な話し方のパターンを学習し、タスクの要件を満たすことができます。

PersonaPlexプロジェクトの住所

• プロジェクト公式サイト：https://research.nvidia.com/labs/adlr/personaplex/
• GitHubリポジトリ：https://github.com/NVIDIA/personaplex
• ハギングフェイスモデルライブラリ：https://huggingface.co/nvidia/personaplex-7b-v1

PersonaPlexの応用シナリオ

• 教育賢明な教師として、私は生徒たちが知識をより深く理解できるよう、明快で魅力的な回答や提案を提供します。
• 顧客サービスこのモデルは、銀行のカスタマーサービス担当者や医療機関の受付係として機能し、テキストによる指示に基づいて顧客の問題を解決し、専門的かつ共感的なサービスを提供することができる。
• エンターテイメントとソーシャル様々な架空のキャラクターをシミュレートしたり、自由な形式のチャットを行ったりすることで、ユーザーに楽しくパーソナライズされたソーシャル体験を提供する。
• 緊急対応宇宙ミッションなどの緊急事態を想定したシミュレーションにおいて、専門家として技術的なサポートと緊急対応に関する助言を提供する。
• 医療相談医療現場では、患者情報の記録、専門的なアドバイスの提供、医療スタッフの日常業務のサポートに役立ちます。