RTranslator - オープンソースのオフライン、リアルタイム、多言語翻訳アプリケーション。 - AiBoss

RTranslatorとは何ですか？

RTranslatorは、Androidデバイス向けに設計された、オープンソースの無料オフラインリアルタイム翻訳アプリケーションです。MetaのNLLB翻訳モデルやOpenAIのWhisper音声認識など、高度なAI技術に基づいており、高品質な多言語翻訳を実現します。会話モードではリアルタイムの音声通信が可能で、トランシーバーモードでは短時間の会話を楽しむことができます。また、テキスト翻訳モードも搭載しており、文章コンテンツの翻訳にも適しています。RTranslatorは多言語に対応し、完全オフラインで動作し、ユーザーのプライバシーを保護します。RTranslatorをスムーズに動作させるには、最低6GBのRAMを搭載したスマートフォンが必要です。

RTranslatorの主な機能

対話モードRTranslatorの主要機能は、同じアプリケーションをインストールしているユーザー同士がリアルタイムで音声会話できるようにすることです。ユーザーの音声がキャプチャされ、テキストに変換され、相手の言語に翻訳された後、相手のデバイスで再生されることで、双方向のコミュニケーションが実現します。
トランシーバーモード道順を尋ねたり、サービス担当者とやり取りしたりするなど、短時間で簡単な会話に適しています。ユーザーは交互に話す必要があり、電話機は話された言語を認識して別の言語に翻訳し、スピーカーから再生します。
テキスト翻訳モードユーザーがテキストを入力または貼り付け、翻訳元の言語と翻訳先の言語を選択する、従来型のテキスト翻訳サービスを提供しています。
バックグラウンドで実行中RTranslatorはバックグラウンドで動作するため、ユーザーは他のアプリを使用している間や、スマートフォンがスタンバイモードになっている間でも作業を続けることができます。
プライバシー保護翻訳と音声認識の処理はすべてユーザーのデバイス上で行われ、クラウドサービスに依存しないため、ユーザーのプライバシーを保護できます。
多言語対応英語、中国語、日本語、韓国語、フランス語、ドイツ語など、世界中の主要言語を含む複数の言語をサポートしています。

RTranslatorの技術的原理

音声認識Whisperは、OpenAIのWhisperモデルをベースにしたオープンソースの音声認識システムで、ユーザーの音声入力をテキストに変換します。
テキスト翻訳Meta社のNLLB（No Language Left Behind）モデルに基づくテキスト翻訳は、ある言語のテキストを別の言語に変換します。
テキスト読み上げ（TTS）翻訳されたテキストは、Google TTSなどの携帯電話システムのTTSエンジンを使用して音声出力に変換されます。
Bluetooth接続会話モードでは、RTranslatorはBluetooth経由でヘッドホンなどのデバイスに接続し、会話中にリアルタイムで翻訳された音声を受信して再生します。
ローカル処理音声認識、翻訳、テキスト読み上げといったすべての処理は、インターネット接続を必要とせず、ユーザーのデバイス上で実行されるため、プライバシーとデータセキュリティが確保されます。
モデル最適化開発者は、メモリ消費量を削減し、実行速度を向上させるために、ONNX形式への変換、INT8量子化、モデル分離など、AIモデルを最適化します。
多言語対応RTranslatorは複数の言語をサポートしており、NLLBおよびWhisperモデルのトレーニングにより、複数の言語の翻訳と認識を処理できます。

RTranslatorプロジェクトのアドレス

GitHubリポジトリ：https://github.com/niedev/RTranslator

RTranslatorの応用事例

国外旅行旅行者は、言語の壁を気にすることなく、海外旅行中に地元の人々とリアルタイムでコミュニケーションをとることができます。
ビジネスミーティングビジネスプロフェッショナルは、海外のパートナーとの効果的なコミュニケーションを確保するために、国際会議や交渉の際にRTranslatorを使用します。
言語学習言語学習者は、目標言語のネイティブスピーカーと会話することで、リスニングとスピーキングのスキルを練習します。
社会的交流国際的なソーシャル活動において、ユーザーはRTranslatorを使って様々な国の友人とコミュニケーションをとる。
緊急病院や警察署など、緊急のコミュニケーションが必要な状況では、RTranslatorは言語の壁を迅速に克服するのに役立ちます。
教育環境教師と生徒は、多文化的な教育環境におけるコミュニケーションと相互理解を促進するためにRTranslatorを使用します。