Seed LiveInterpret 2.0 - ByteDance傘下のSeedが立ち上げた同時通訳モデル。

Seed LiveInterpret 2.0とは何ですか？

Seed LiveInterpret 2.0は、ByteDanceのSeedチームが開発したエンドツーエンドの同時通訳モデルで、中国語と英語の双方向翻訳に対応しています。人間と同等の翻訳精度と極めて低いレイテンシを誇り、聞きながらリアルタイムで翻訳が可能です。全二重音声生成・理解フレームワークに基づき、複数人による音声入力に対応し、事前に音声サンプルを収集することなく、話者の音色をリアルタイムで再現できます。複雑なシナリオでも翻訳精度は70%を超え、一人のプレゼンテーションでは80%を超えます。音声間の平均レイテンシはわずか2～3秒で、従来のシステムより60%以上低くなっています。Seed LiveInterpret 2.0は、翻訳品質とレイテンシのバランスをインテリジェントに調整し、さまざまな音声入力条件に適応します。このモデルはVolcano Engineを通じて公開されています。

Seed LiveInterpret 2.0の主な機能

• 高忠実度、超低遅延の音声間翻訳中国語と英語間の双方向翻訳をサポートし、遅延時間はわずか2～3秒と、プロの人間による同時通訳に匹敵するレベルに達しています。
• ゼロサンプル音の複製この技術は、話者の声の特徴をリアルタイムで抽出し、事前にサンプルを収集する必要なく声を再現できるため、コミュニケーションの自然さを向上させる。
• 翻訳品質と遅延の賢明なバランス音声の明瞭さと流暢さに基づいて、出力リズムが自動的に調整され、翻訳品質とリアルタイム性能の最適なバランスが確保されます。
• 正確な文脈理解複雑な状況（複数人での対話や中国語と英語が混在する状況など）においても、質の高い理解と翻訳を実現でき、潜在的な誤りを修正することも可能です。
• リアルタイム音声処理複数人による音声入力に対応しており、ユーザーは人間の同時通訳者のように「聞きながら同時に話す」ことができ、翻訳された音声を直接出力できます。

Seed LiveInterpret 2.0の技術的原理

• 全二重音声理解および生成フレームワークSeed LiveInterpret 2.0は、全二重エンドツーエンドの音声生成・理解フレームワークを採用しており、音声入力の処理と翻訳音声出力の生成を同時に行うことができます。これにより、人間の同時通訳者のように、極めて低い遅延で「聞き取りと発話」が可能となり、原文言語の音声入力をリアルタイムで受信し、翻訳された音声をターゲット言語で直接出力します。
• マルチモーダル大規模言語モデル（MLM）このモデルは、マルチモーダル大規模言語モデル（LLM）に基づいており、大規模な事前学習とマルチタスク継続学習（CT）を通じて、音声エンコーダと言語モデルを組み合わせています。事前学習データは、音声からテキストへの変換、テキストから音声への合成、およびプレーンテキスト処理タスクを網羅しており、モデルの音声理解および音声生成能力を向上させます。
• 教師ありファインチューニング（SFT）マルチモーダルな事前学習に基づいて、モデルは高品質の手動ラベル付きデータを用いた教師あり微調整を受けます。これにより、モデルはより正確な翻訳タイミングと精度を学習することができ、特に複雑なシナリオにおいて同時通訳のパフォーマンスを大幅に向上させます。
• 強化学習（RL）レイテンシをさらに短縮し、翻訳品質を向上させるため、本モデルは強化学習を採用しています。プロセス報酬モデル（単回報酬）と結果報酬モデル（複数回報酬）を構築することで、モデルは学習中に翻訳戦略を動的に調整し、翻訳品質とレイテンシのバランスを取ることができます。強化学習により、モデルのレイテンシが大幅に短縮されるとともに、翻訳品質もさらに向上します。
• ゼロサンプル音の複製Seed LiveInterpret 2.0は、ゼロサンプル音声複製に対応しています。つまり、話者の音声サンプルを事前に収集することなく、リアルタイムの対話を通して話者の声の特徴を抽出し、その特徴を用いてリアルタイムで外国語を「話す」ことができます。これにより、コミュニケーションの自然さと没入感が向上します。
• 翻訳品質と遅延の賢明なバランスこのモデルは、入力音声の明瞭さ、流暢さ、複雑さに基づいて、翻訳出力の速度を自動的に調整できます。入力音声が流暢で明瞭な場合は、モデルは迅速に反応します。入力音声が流暢でない場合は、適切な内容になるまで翻訳を開始せず、翻訳精度を高めます。
• 複雑な状況における正確な理解Seed LiveInterpret 2.0は、音声認識におけるチームの長年の専門知識を活用し、複数人での会話、中国語と英語の混在、不明瞭な発話、語順の乱れといった複雑な状況下でも、高品質な理解と翻訳を実現します。潜在的なエラーを修正することで、翻訳の正確性と自然さを保証します。

Seed LiveInterpret 2.0プロジェクトのアドレス

• プロジェクト公式サイト：https://seed.bytedance.com/zh/seed_liveinterpret
• arXiv技術論文：https://arxiv.org/pdf/2507.17527

Seed LiveInterpret 2.0のアプリケーションシナリオ

• 国際会議：国際会議において、Seed LiveInterpret 2.0は講演者の発言をリアルタイムで翻訳できるため、言語的背景の異なる参加者が会議の内容をより深く理解するのに役立ちます。
• 多言語ライブ配信多言語ライブストリーミングの場面では、Seed LiveInterpret 2.0は視聴者向けにリアルタイム翻訳を提供し、言語の壁を取り払うことができます。
• 遠隔学習遠隔教育の分野において、Seed LiveInterpret 2.0は、言語の壁を越えた学生と教師の交流を支援します。例えば、国際的なオンラインコースでは、学生は教師の説明をリアルタイムで聞き、ディスカッションに参加でき、教師は学生の質問を理解して迅速に対応できます。
• 国境を越えたビジネス交流多国籍企業の会議や交渉において、Seed LiveInterpret 2.0は両者間の会話をリアルタイムで翻訳し、コミュニケーションの正確性と効率性を確保します。
• 観光と文化交流観光や文化交流活動において、Seed LiveInterpret 2.0は、観光客が地元住民とより円滑にコミュニケーションを取り、文化的背景や歴史的情報を理解するのに役立ちます。