Muse Voice Transcribe - Meta初のリアルタイム音声認識モデル - AiBoss

Muse Voice Transcribeとは何ですか？

Muse Voice Transcribeは、Meta初のリアルタイム音声認識モデルであり、ストリーミング自動音声認識、話者セグメンテーション、エンドポイント検出を統合しています。このモデルは70以上の言語とネイティブコード切り替えをサポートし、1時間を超える長さの音声ファイルや20人以上の同時会話を処理でき、ストリーミング文字起こしと音声セグメンテーションのベンチマークでトップにランクインしています。強化学習ベースの適応型レイテンシー技術に基づき、Muse Voice Transcribeは速度と精度を動的にバランスさせます。Muse Voice TranscribeはMeta AIとMuse Codeに統合され、AIシステムのリアルタイム認識レイヤーとして位置付けられています。

Muse Voice Transcribeの主な機能

リアルタイムストリーミングASRこのモデルは音声を処理し、音声セグメント全体が終了するまで待つことなく、80ミリ秒単位でリアルタイムにテキストを出力します。
話者区分20人以上の異なる話者を自動的に識別してタグ付けし、誰がいつ話したかを区別します。
音声エンドポイント検出発話の開始時刻と終了時刻を正確に判定し、自然な間合いと途切れることのない対話を可能にします。
多言語能力とコードスイッチング70以上の言語に対応し、中国語と英語の混合を含むあらゆるコードスイッチングをネイティブでサポートしています。
長時間の音声通話と複数人での会議1時間以上の音声を連続処理し、後処理なしで完全な文字起こしを出力することができます。

Muse Voice Transcribeの技術原理

自己回帰型マルチモーダルアーキテクチャMuse Sparkシリーズの自己回帰モデルに基づき、音声ストリームをフレームごとにソフトトークンに変換し、テキストトークンと統一的にモデル化することで、音声からテキストへのエンドツーエンドの生成を実現します。
ストリーミングオーディオトークンメカニズム80msごとの音声セグメントはソフトトークンとしてエンコードされ、モデルはそれを予測します... <|next_audio|> 次のセグメントを聴き続けるかどうかは、受信後に決定してください。 <|empty_audio|> そして残りのテキストが即座に出力され、真のストリーミング推論が実現される。
タスク拡張特殊トークンASRに基づいて導入されました <|start_of_turn|> そして <|speaker_{A-Z}|> 話者切り替え認識を実現するために、以下を導入します。 <|speech_onset|> そして <|speech_endpoint|> エンドポイント検出が実装されており、すべてのタスクは同じストリーミングトレーニングフレームワークを共有しています。
強化学習適応遅延強化学習（RL）を用いて単語誤り率報酬と遅延報酬を乗算的に組み合わせることで、モデルは各単語の認識難易度に基づいて、より多くの文脈を待つか、すぐに出力するかを動的に決定し、速度と精度のパレート最適性を実現します。

Muse Voice Transcribeの使い方

エントリを選択本サービスへのアクセス方法は、Meta Model API、Mac版Meta AI、またはMuse Codeの3種類があります。
音声を開始Muse Codeで押す ⌘ + v キーボードショートカットを使用するか、Mac版Meta AIの音声ボタンをクリックして、音声入力を開始してください。
アプリケーション間での利用MacアプリケーションでFnキーを長押しすると、Meta AIが起動して音声文字起こしが完了します。
API呼び出しMeta Model API を通じた従量課金制 (1000 分あたり 3 ドル) で、独自のアプリケーションやワークフローに統合できます。

Muse Voice Transcribeの主な利点

リアルタイムストリーミングASR音声処理は80ミリ秒単位で行われ、真の低遅延リアルタイム文字起こしを実現します。
複数話者による話者区分20人以上の話者の識別をネイティブでサポートしており、後処理なしで各文を正確に割り当てることができます。
適応遅延強化学習によって各単語の待ち時間を動的に調整することで、速度と精度のパレート最適性を実現する。
シームレスなコード切り替え文中または文間での言語切り替えをネイティブにサポートし、中国語と英語を組み合わせたような混合表現も正確に認識します。
超長時間の音声処理1時間以上の連続音声入力に対応しており、長時間の会議やインタビューに適しています。
音声エンドポイント検出音声の開始を自動的にマークする（<|speech_onset|>）そして終了（<|speech_endpoint|>ユーザーが話し終えたタイミングを正確に判断できる。
まずはベンチマークテストを実施同社は、音声認識ストリーミングと音声分割のベンチマークの両方で1位を獲得した。

Muse Voice Transcribeプロジェクトのアドレス

プロジェクト公式サイト：https://research.meta.ai/blog/introducing-muse-voice-transcribe

Muse Voice Transcribeと類似製品の比較

比較対象寸法	Muse Voice Transcribe (Meta)	Gemini 3.1 Flash Live (Google)
製品ポジショニング	特殊なリアルタイム音声認識およびASRモデル	汎用的なリアルタイムマルチモーダル対話モデルにおいて、音声認識（ASR）は入力機能の一つに過ぎない。
中核となる能力	ストリーミング音声認識、話者セグメンテーション、音声エンドポイント検出	リアルタイム双方向音声対話（ASR + TTS）、マルチモーダル（音声/動画/画像/テキスト）、関数呼び出し
単語エラー率	AA-WER Streaming Index 3.1%人工分析が1位にランクイン	具体的なASRのWER値は公表されていません。低遅延ストリーミングASRとスムーズな対話に重点が置かれています。
話者区分	ネイティブサポート 20人以上講演者、DER 17.5%	複数の話者による発話の分離を明示的にサポートするものではなく、単一発話／複数発話のリアルタイム対話に重点を置いている。
遅延戦略	適応遅延強化学習を用いることで、各単語の待ち時間が動的に調整される。	Sub-200ms 超高速応答を実現するため、初期トークンの遅延時間を修正しました。
長時間の音声処理	ネイティブサポート 1時間以上連続音声、分割不要	Pure Audio セッションのデフォルト 15分制限事項：セッション継続メカニズムが必要です。
コードスイッチング	文内および文間の任意のコードスイッチングをネイティブにサポートし、中国語と英語が混在した文章を正確に認識します。	90以上の言語に対応しているが、コードスイッチングのための特別な最適化は重視していない。
純粋な文字起こしの費用	時給0.18ドル	音声入力時給0.30ドル + テキスト出力約時給0.07ドル約時給0.37ドル
出力能力	テキストの書き起こしのみ + 話者タグ付け (`<\|speaker_A\|>`）	テキスト＋音声合成（TTS）＋ツール呼び出し＋構造化出力＋リアルタイム検索

Muse Voice Transcribeの応用事例

多国籍会議のリアルタイム議事録20人以上が同時に発言する状況や、1時間を超える長時間の会議にも対応し、発言者を自動的に識別し、中国語と英語が混在する議論内容を正確に文字起こしします。
AI音声アシスタント/エージェントリアルタイム認識レイヤーとして、低遅延のストリーミングASRと正確な音声エンドポイント検出を提供し、AIアシスタントがユーザーの発話開始と終了を認識できるようにします。
ポッドキャストとインタビューの字幕生成数時間にも及ぶ音声素材を処理でき、複数人による対話の分割をネイティブにサポートし、ポストプロダクションにおける手動による話者注釈の必要性を排除します。
多言語カスタマーサービス品質検査このシステムは、カスタマーサービス担当者と顧客の間で行われる多言語会話をリアルタイムで文字起こしし、文脈上の好みを活用することで専門用語の認識精度を向上させ、データを自動的にアーカイブします。
開発者向け音声入力ツール Mac版のMeta AIまたはMuse Codeでは、Fnキーを使用することで、あらゆるアプリケーションで音声認識プログラミング、文書作成、メッセージ送信などの機能をグローバルに利用できます。