CleanS2S - 音声をストリーミング再生し、音声を音声に変換する対話型インテリジェントエージェントのプロトタイプ。音声を聞きながら同時に話すことができる。 - AiBoss

CleanS2Sとは何ですか？

CleanS2Sは、ストリーミング音声間通信（S2S）対話型エージェントのプロトタイプであり、高品質なリアルタイム音声対話体験を提供します。CleanS2Sプロジェクトは単一ファイルで実装されているため、設定と理解が容易で、ユーザーや研究者は言語ユーザーインターフェース（LUI）の強力な機能を迅速に体験し、S2Sパイプラインの可能性を探ることができます。CleanS2Sは全二重通信をサポートしており、ユーザーとエージェントが同時に聞き取りと発話を行うことが可能です。また、より自然な会話を実現するために、割り込み機能もサポートしています。CleanS2SはWeb検索と検索拡張（RAG）モデルを統合しており、エージェントがインターネット情報にアクセスして、より豊富で正確な回答を提供できます。このプロジェクトは音声対話技術の発展を促進することを目的としており、様々な実用的なアプリケーションシナリオに適しています。

CleanS2Sの主な機能

単一ファイル実装音声対話プロセス全体を単一のファイルに統合することで、プロジェクト構造の設定と理解を簡素化します。
リアルタイムストリーミングインタラクションWebSockets技術を用いることで、リアルタイムの音声ストリーミングが実現し、ユーザーはインテリジェントエージェントとリアルタイムで対話できるようになる。
全二重相互作用ユーザーとインテリジェントエージェントが同時に聞き取りと発話を行うことをサポートし、人間同士の会話に似た自然な会話体験を提供します。
サポートの中断ユーザーが会話のどの時点であれ、新しい音声入力でエージェントを中断した場合、エージェントは現在の処理を停止し、新しい入力に応答します。
ウェブ検索とRAGの統合統合されたウェブ検索とRAGモデルに基づき、インテリジェントな身体はインターネット情報にアクセスして統合し、より豊富な回答を提供することができる。

CleanS2Sの技術原則

ASR（自動音声認識）ユーザーの音声入力をテキストに変換します。
LLM（大規模言語モデル）変換されたテキストを処理し、対応するテキストコンテンツを生成します。
TTS（テキスト読み上げ）生成されたテキスト応答を音声出力に変換します。
WebSockets音声およびテキスト情報のリアルタイムストリーミングに使用され、全二重通信をサポートします。
マルチスレッドとキュー機構ストリーミング処理中のデータ送信および処理がブロックされないようにしてください。

CleanS2Sプロジェクトの住所

GitHubリポジトリ：https://github.com/opendilab/CleanS2S

CleanS2Sの応用事例

顧客サービス仮想カスタマーサービスアシスタントとして、顧客からの問い合わせや苦情に対応し、24時間365日途切れることのないサービスを提供します。
スマートホームコントロールスマートホームシステムに統合することで、音声コマンドを使って照明、温度制御、セキュリティシステムなどの家庭内のスマートデバイスを制御できます。
教育支援言語学習アシスタントとして、発音、リスニング、スピーキングの練習を支援し、即座にフィードバックを提供します。
健康相談医療分野においては、医師と患者間のコミュニケーションを円滑にするため、基本的な健康相談や情報照会サービスを提供する。
車載システム車両システムに統合することで、ナビゲーション、エンターテインメント、通信機能を提供し、運転の安全性を向上させることができる。