Gummy - Tongyiのエンドツーエンド音声翻訳モデルは、ストリーミング方式でリアルタイムに結果を生成できます。

グミとは何ですか？

Gummyは、Tongyi Labが2024年のYunqi Conferenceで発表したエンドツーエンドの音声翻訳モデルです。このモデルは、リアルタイムストリーミングで音声認識と翻訳結果を生成し、中国語、英語、広東語、日本語、韓国語、フランス語、ドイツ語、ロシア語、イタリア語、スペイン語など10以上の言語の音声入力をサポートし、ターゲット言語に翻訳します。エンドツーエンドのアプローチにより、Gummyモデルは翻訳の遅延を削減し、翻訳品質を向上させ、複数のテストセットで最先端（SOTA）の結果を達成しています。Gummyは、多言語混合翻訳、用語介入、ドメイン固有の提案などの商用アプリケーションをサポートし、ソース言語を指定することなく、多国籍会議などのシナリオでさまざまな言語からターゲット言語への流暢な翻訳を可能にします。

グミの主な機能

• 多言語対応Gummyは、中国語、英語、広東語、日本語、韓国語、フランス語、ドイツ語、ロシア語、イタリア語、スペイン語など、10以上の言語の音声入力に対応し、リアルタイムで目的の言語に翻訳できます。
• エンドツーエンド翻訳従来のカスケード型システムとは異なり、Gummyはエンドツーエンド設計を採用しており、中間的なテキスト段階に頼ることなく、音声をターゲット言語に直接翻訳します。
• 低遅延翻訳Gummyの翻訳遅延時間は0.5秒未満に短縮され、これは人間の専門家による同時通訳の遅延時間よりも速い。
• 高品質な翻訳Gummyは、業界で認められている複数のオープンソーステストスイートにおいて、SOTA（最先端）の翻訳品質を達成しました。
• ストリーミング翻訳Gummyは同時翻訳に対応しており、聞きながら同時に翻訳できるため、リアルタイムのコミュニケーションシーンに最適です。

グミの技術原理

• エンドツーエンド設計Gummyモデルは、エンドツーエンドのアーキテクチャを採用し、ソース言語の音声入力をターゲット言語のテキスト出力にマッピングすることで、開発プロセスを簡素化し、システムパフォーマンスを向上させます。
• 深層ニューラルネットワークディープラーニング技術、特にディープニューラルネットワークに基づいて、音声とテキスト間の複雑なマッピング関係を学習します。
• リアルタイムストリーミング処理リアルタイムの音声認識と翻訳をサポートしており、同時音声認識と翻訳が可能です。
• 待機と予測のメカニズムこのモデルは、翻訳のタイミングを自動的に決定し、翻訳の品質と遅延を最適化するための特別なメカニズムを採用しています。

Gummyのプロジェクトアドレス

• プロジェクト公式サイトtongyi.aliyun.comで入手可能なGummy音声翻訳モデルは、Tongyiアプリで一部ダウンロード可能です。

Gummyの活用事例

• リアルタイム音声翻訳Gummyモデルは、会議でのスピーチをリアルタイムで翻訳することができ、国際会議や多言語交渉などにおいて同時通訳サービスを提供します。
• 教育と訓練教育分野において、Gummyは多言語の教育コンテンツをリアルタイムで翻訳することで言語学習を支援し、生徒と教師が言語の壁を克服するのを助けています。
• 観光と航海このサービスは、旅行者がさまざまな言語を話す現地の人々とコミュニケーションをとるのに役立つリアルタイムの音声翻訳機能を提供したり、ナビゲーション中に多言語での案内を提供したりします。
• 顧客サービス顧客サービス分野において、Gummyは多言語対応の顧客サービスアシスタントとして、迅速かつ正確な言語サポートを提供することで、顧客満足度の向上に貢献しています。
• 医療相談医療分野において、Gummyは医師と患者間のコミュニケーションを円滑にするため、多言語対応の医療相談翻訳サービスを提供しています。