WorldCupVoice - オープンソースのAI搭載リアルタイムスポーツ解説システム

WorldCupVoiceとは何ですか？

WorldCupVoiceは、オープンソースのAI搭載リアルタイムスポーツ解説システムです。Agora RTCのライブストリームに接続することで、ビジュアルモデルが試合映像を分析し、リアルタイムの音声解説を生成します。生成された音声解説はライブストリームスタジオに送信され、視聴者は同時に聞くことができます。このシステムは、OpenAI TTS、ElevenLabs、Fish Audioなど、複数の音声エンジンをサポートしており、英語、フランス語、中国語など、複数の言語で解説スタイルを設定できます。ワールドカップのようなスポーツイベント向けに特別に設計されたこのシステムは、視覚障害のあるユーザーのアクセシビリティニーズにも対応しており、スタジアムのレイアウトなど、従来の解説では見落とされがちな情報を提供します。

WorldCupVoiceの主な機能

• リアルタイムAI解説このシステムは、Agora RTCのライブストリームからビデオフレームをサンプリングし、ビジュアルモデルを使用して試合映像を分析し、リアルタイムの音声解説を生成して、ライブストリームルームに送信する。
• マルチボイスエンジンのサポートOpenAI TTS、ElevenLabs、およびFish Audioに対応しています。
• 多言語解説英語、フランス語、中国語を含む複数の言語に対応しており、国ごとに異なるナレーションスタイルを設定できます。
• ライブストリームへのアクセスRTMP → Agora Media Gateway → RTCチャンネル経由でストリーミング。OBS、ローカルビデオ、クラウドストリーミングなど、複数のソースに対応。
• ブラウザの表示インターフェースNext.jsをベースにしたフロントエンドで、ライブビデオ、AI生成の音声ナレーション、リアルタイム字幕を同期再生し、ナレーターの状態を監視する。
• コスト管理メカニズム明示的なAIの開始/停止制御、視聴者の心拍数検出、および厳格なセッションタイムアウトにより、AIリソースの無制限な消費を防ぎます。
• 視覚障害者支援モードスタジアムレベルの空間的な詳細情報を提供することで、従来の人間による解説者が見落としがちな情報を補うことができる。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

WorldCupVoiceの使い方

• 環境準備AgoraアプリID/証明書、OpenAI APIキーを設定し、バックエンドキーを生成します。
• フロントエンドスタートアップ：pnpm install → 設定 .env.local → pnpm dev。
• バックエンドスタートアップ：cd server → Python仮想環境を作成する → pip install → TTSプロバイダーの設定 → uvicorn app.main:app。
• ストリーミング設定Agora Media Gateway REST API を介して RTMP ストリーミングキーを生成し、OBS またはローカルの ffmpeg を使用してストリーミングします。
• 説明開始ブラウザでライブストリームにアクセスし、「AIを開始」をクリックしてAIコメンテーターを起動してください。

WorldCupVoiceの主な利点

• リアルタイムAIと視聴者は同じRTCストリームを視聴し、解説の遅延は制御可能です。
• アクセシビリティデザイン視覚障害のあるユーザーに対し、従来の説明では伝えきれない空間的な詳細情報を提供する。
• 複数の音声スタイルプロのスポーツ実況スタイル（ElevenLabs）、中国のミーム実況スタイル（Fish Audio）、および戦術分析スタイルに対応しています。
• コスト管理可能セッションレベルでの開始/停止制御、ハートビートメカニズム、およびAIリソースの無駄遣いを避けるためのハードタイムアウト。
• オープンソースで拡張性があるMITライセンスでは、AIのコンテキストに独自の競技データを組み込むことが許可されています。

WorldCupVoiceプロジェクトの住所

• GitHubリポジトリ：https://github.com/zicojiao/worldcupvoice

WorldCupVoiceと類似製品との比較

WorldCupVoiceの応用事例