AB
AB
AiBoss

すべてのカテゴリ

project

FireRedChat - 小紅書（Xiaohongshu）が開発した全二重音声対話システム

FireRedChatは、小紅書インテリジェントオーディオチームが開発した全二重音声対話システムです。リアルタイムの双方向対話機能を備え、制御された割り込みをサポートしています。文字起こし制御モジュール、対話モジュール、対話モジュールなどを含むモジュール設計を採用しています。

FireRedChatとは何ですか？

FireRedChatは、小紅書インテリジェントオーディオチームが開発した全二重音声対話システムです。リアルタイムの双方向対話機能を備え、制御された割り込みをサポートしています。モジュール設計を採用し、文字起こし制御モジュール、対話モジュール、対話マネージャで構成され、柔軟な展開のためにカスケードおよびセミカスケードアーキテクチャをサポートしています。リアルタイム通信にはLiveKit RTCサーバーを使用し、インテリジェントエージェントの応答を処理するAIエージェントボットサーバーと連携させ、WebUIを介してユーザーインターフェースを提供します。また、マルチノードホスティング用のRedisサーバー、音声合成用のTTSサーバー、自動音声認識用のASRサーバーも搭載しています。

FireRedChatの主な機能

  • 全二重音声対話ユーザーとAIエージェント間のリアルタイム双方向対話をサポートし、両者が同時に発言できるだけでなく、制御された割り込みも可能にすることで、インタラクションのスムーズさを向上させます。
  • プライバシー保護と民営化の展開このシステムは完全な自己管理をサポートし、外部APIに依存せず、データセキュリティを確保し、ユーザーが展開環境を独自に制御できるようにします。
  • モジュール設計本システムは、文字起こし制御、対話モジュール、対話マネージャーなど複数のモジュールで構成されており、柔軟なカスケード型およびセミカスケード型のアーキテクチャをサポートしているため、カスタマイズや拡張が容易です。
  • 低遅延通信LiveKit RTCサーバーをベースとしたリアルタイム通信を実現し、高効率処理モジュールと組み合わせることで低遅延の通信を確保し、産業グレードの基準に迫る性能を発揮します。
  • 音声活動検出と意味解析本システムは、ストリーミングによるパーソナライズされた音声活動検出（pVAD）と意味的終了検出（EoT）を採用することで、背景雑音を効果的に抑制し、主要話者の音声セグメントを正確にマークし、ユーザーによる割り込みの成功率と対話の自然さを向上させます。

FireRedChatの技術原則

  • リアルタイム通信技術本システムは、LiveKit RTCサーバーをコアとして低遅延のリアルタイム音声/映像通信を実現し、複数ユーザーによる同時操作をサポートします。
  • スマートエージェントレスポンスAIエージェントボットサーバーを介してユーザー入力を処理し、自然言語処理技術と組み合わせることで、インテリジェントで自然な音声応答を生成します。
  • 音声認識と音声合成このシステムは、自動音声認識を可能にするASRサーバーを統合しており、ユーザーの音声をテキストに変換します。その後、TTSサーバーがプロキシからのテキスト応答を音声出力に変換します。
  • 音声アクティビティ検出このシステムは、ストリーミング方式のパーソナライズされた音声活動検出（pVAD）技術を利用して、主要話者の音声セグメントを正確に識別し、背景雑音や非対象話者の音声を抑制します。
  • 意味的終点検出意味解析は、ユーザーが話し終えたかどうかを判断するのに役立ち、発話の中断による誤判断を回避し、対話の自然さを向上させます。
  • モジュール式建築このシステムは、連携して動作する複数の独立したモジュールで構成されており、柔軟なカスケード展開およびセミカスケード展開をサポートし、拡張と保守を容易にします。
  • データの永続化とホスティングRedis Serverを利用して、インスタンス間のデータ永続性を実現し、マルチノードホスティングをサポートし、システムの高い可用性と安定性を確保します。

FireRedChatプロジェクトのアドレス

  • Gtihub倉庫：https://github.com/FireRedTeam/FireRedChat
  • arXiv技術論文：https://arxiv.org/pdf/2509.06502
  • オンライン体験：https://fireredteam.github.io/demos/firered_chat

FireRedChatの応用事例

  • インテリジェントな顧客サービスユーザーにリアルタイムの音声サポートを提供し、顧客の問題に迅速に対応することで、サービス効率と顧客満足度を向上させる。
  • バーチャルアシスタントスマートホームやスマートオフィスといったシナリオでは、音声対話の中核として機能し、機器の制御や情報検索などの機能を実現する。
  • 教育オンライン教育プラットフォーム上で使用され、リアルタイムの双方向音声授業を提供し、学習体験を向上させる。
  • 金融業界金融コンサルティングや取引支援などの場面において、安全かつ効率的な音声対話サービスを提供します。
  • 健康管理音声による対話を通じて医療相談や遠隔診断を支援し、医療サービスの利便性を向上させる。
  • 政府関係政府のホットラインや公共サービスといった場面では、政府の効率性を向上させるために、インテリジェント音声サービスが提供される。
戻る