上海交通大学が発表した、包括的な口頭対話と感情表現モデル「Jiaojiao」

焦角とは何ですか？

上海交通大学聴覚認知・計算音響学研究所が開発したJiaojiaoは、世界初の純粋な学術研究に基づく独自開発の音声対話感情モデルです。Jiaojiaoは、複数人対話、多言語コミュニケーション、方言理解、ロールプレイング、感情的なインタラクション、知識ベースの質問応答など、強力な機能を備えています。中国語、英語、日本語、フランス語など複数の言語に対応し、中国語の方言も正確に認識できます。革新的な技術に基づき、Jiaojiaoはエンドツーエンドの音声対話、多言語理解、複数人インタラクション、リアルタイム音声クローニングを実現しています。Jiaojiaoは強力な音声インタラクション能力を発揮し、インテリジェント音声アシスタントの分野に新たなブレークスルーをもたらします。

ジャオジャオの主な機能

• 複数人での対話複数のユーザーと同時に自然で流暢な会話を行うことができ、各ユーザーの身元とコンテンツを正確に識別し、パーソナライズされた応答を提供することができます。
• 多言語コミュニケーション中国語、英語、日本語、フランス語の4つの主要言語に対応しており、多言語応答機能も備えています。
• ロールプレイングと感情的な交流対話の内容と文脈に基づいてユーザーの感情を理解し、感情に訴えかける応答を生成する。
• 知識に関するQ&Aそれは、古代の詩の暗唱、科学原理の説明、文学的名作の解釈など、幅広い知識分野を網羅している。
• リアルタイム音色クローニング高忠実度な音声模倣技術を提供し、複数の声優スタイルに対応し、音声とユーザー自身の声とのリアルタイムかつシームレスな切り替えを可能にします。

交差の技術的原理

• エンドツーエンドの音声対話堅牢な音声エンコーダに基づき、音声入力ストリーミングエンコーダから得られた離散シーケンスをテキストシーケンス空間にアライメントします。高品質データを用いた大規模な微調整を必要とせず、大規模テキストモデルの基本的な汎化能力を維持・活用することで、リアルタイムの知識質問応答を実現します。
• 多言語理解と生成革新的なクロスモーダルアライメントメカニズムに基づき、多言語音声信号を特徴空間内の対応するテキストに正確にマッピングし、暗黙的表現学習を用いて言語固有の情報を保持し、深層言語モデルのコンテキストモデリング機能を組み合わせることで、異言語シナリオにおけるシームレスな切り替えと効率的な意味理解を実現します。
• 複数人対話モデリング現実世界のシナリオをシミュレートし、モデルの対話処理能力を強化するために、複数人による対話データを構築します。エンドツーエンドのモデルを使用して、コンテキスト情報を統合し、パーソナライズされた応答と要約を生成し、自然で一貫性のある複数人間のやり取りを実現します。
• 感情の理解と表現システムは、文脈情報に基づいて思考連鎖技術を用いて対話シナリオに適合する全体的な感情表現を生成し、それを用いて鮮やかな感情表現の音声応答を生成し、対話のリアリティを高める。
• リアルタイムでの音色クローン作成と切り替え高忠実度音声模倣技術を提供し、思考連鎖技術を用いて制御信号を推論し、複数の役割を演じ分ける音声演技スタイルと、音声とユーザー自身の声とのリアルタイムかつシームレスな切り替えをサポートします。
• 柔軟な拡張性強力なアライメント戦略により、テキストと音声のモダリティを任意に接合および融合することが可能になり、大規模なテキストモデルにさまざまな拡張メカニズム（Web検索、RAG検索拡張生成など）を統合するための統一されたスケーラブルなインターフェースが提供されます。

引き渡し先のプロジェクト住所

• 裁判住所の申請：https://wj.sjtu.edu.cn/q/4FiP8hsB

ジャオジャオの応用シナリオ

• 教育指導生徒一人ひとりに合わせた学習指導を提供し、生徒の質問に答え、教師の授業を支援する。
• 家族との交流家族の集まりで楽しませたり、盛り上げたりすること、また、家族の話し相手になって会話をすることで、日々の退屈を紛らわせること。
• ビジネスコミュニケーション会議議事録および要約の作成を支援し、多言語間のビジネスコミュニケーションをサポートする。
• カスタマーサポートお客様からのお問い合わせには迅速に対応し、専門的な回答を提供し、サービス効率の向上に努めています。
• 娯楽と交友ロールプレイングに参加することは、精神的な支えとなり、生活に楽しみを加えてくれる。