Hibiki - 九大研究所のリアルタイム音声翻訳モデル - AiBoss

響とは何ですか？

Hibikiは、Kyutai Labsが開発した同時音声翻訳用のオープンソースデコーダーモデルで、ある言語の音声を別の言語の音声またはテキストにリアルタイムで翻訳できます。マルチストリーム言語モデルアーキテクチャに基づき、Hibikiはソース音声とターゲット音声を同時に処理し、テキストタグとオーディオタグを共同で生成することで、音声間翻訳（S2ST）と音声テキスト翻訳（S2TT）を実現します。Hibikiは弱教師あり学習法を採用し、テキスト翻訳システムのパープレキシティに基づいて最適な単語レベルの遅延を特定し、整合された合成データで学習を行います。Hibikiモデルは、フランス語から英語への翻訳タスクにおいて非常に優れた性能を発揮し、高い翻訳品質、話者忠実度、自然さを実現しています。バッチ翻訳とデバイス上でのリアルタイム展開をサポートしており、高い実用性を備えています。

響の主な機能

リアルタイム音声間翻訳（S2ST）この技術は、話者の音色やイントネーションを維持しながら、ある言語の音声を別の言語の音声にリアルタイムで翻訳することができます。
リアルタイム音声テキスト変換（S2TT）音声をリアルタイムで対象言語のテキストに翻訳し、より柔軟な利用方法を提供します。
低遅延翻訳文脈情報をリアルタイムで蓄積することで、翻訳コンテンツは極めて低い遅延でブロックごとに生成され、人間の解釈レベルに迫ります。
高忠実度生成された音声は自然で流暢であり、元の音声の音色やイントネーションと非常に高い類似性を持つため、プロの通訳者による通訳に近いユーザー体験を提供します。
バッチ処理とリアルタイム処理の両方のデプロイメントに対応しています。推論プロセスはシンプルで、バッチ処理とリアルタイムのデバイス展開をサポートしており、大規模なアプリケーションに適しています。

響の技術原理

マルチストリーム言語モデルアーキテクチャ：
- 同期処理同時にソース音声を受信し、ターゲット音声を生成し、マルチストリームアーキテクチャに基づいて2つのオーディオストリームを共同でモデル化する。
- テキストと音声のタグこのモデルは、テキストと音声タグの階層構造を予測し、音声テキスト変換と音声音声変換を可能にする。
- 因果オーディオコーデック: 事前学習済みの因果オーディオコーデック（Mimiなど）を使用して、音声を低フレームレートの離散トークンにエンコードし、リアルタイムストリーミングをサポートします。
弱教師あり学習とコンテキストアライメント：
- 合成データ生成この手法は、翻訳された単言語音声から書き起こされたテキストと、対象となる音声の再合成によって、整合した合成データを生成することを含む。
- コンテキストアライメント: 既存のテキスト翻訳システムのパープレキシティを使用して単語レベルのアライメントを計算し、生成されたターゲット音声がソース音声と文脈的に同期していることを確認します。
- サイレント挿入と位置合わせを考慮した音声合成ターゲット音声は、無音を挿入するか、アライメントを考慮したTTSモデルを使用することで再合成され、ターゲット音声の遅延がリアルタイム翻訳の要件を満たすようにします。
話者類似性と分類器不要のガイダンス：
- 話者類似性マーカー訓練データは話者間の類似性に基づいて分類およびラベル付けされるため、データフィルタリングが不要となり、推論時に類似性の高いサンプルが優先される。
- 分類器不要のガイダンス条件付きラベルの重みを調整することで、モデルによる話者類似性の制御が強化され、音声の忠実度がさらに向上する。
効率的な推論プロセス：
- 温度サンプリング温度サンプリング技術と因果関係に基づくオーディオコーデックを組み合わせることで、ストリーミング入出力を実現できる。
- バッチ処理とリアルタイム展開推論プロセスはシンプルかつ効率的で、バッチ処理とリアルタイムのデバイス展開をサポートしており、大規模なアプリケーションシナリオに適しています。

響のプロジェクト住所

GitHubリポジトリ：https://github.com/kyutai-labs/hibiki
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/kyutai/hibiki
arXiv技術論文：https://arxiv.org/pdf/2502.03382

Hibikiの活用事例

国際会議異なる言語でのスピーチをリアルタイムで翻訳することで、参加者は内容を即座に理解することができます。
オンライン教育教師の講義をリアルタイムで翻訳することで、生徒にとって障壁のない学習を促進する。
旅行ツアーガイドの説明をリアルタイムで翻訳したり、地元の人々と交流したりすることで、旅行体験が向上します。
ニュースインタビューこれは記者がインタビュー内容を迅速に翻訳するのに役立ち、報道効率を向上させます。
顧客サービス多言語対応の顧客サービスコミュニケーションを可能にし、顧客満足度を向上させます。