Reverb ASR - Rev.によるオープンソースの自動音声認識および話者分離モデル。

Reverb ASRとは何ですか？

Reverb ASRは、Rev. Inc.が開発したオープンソースの自動音声認識および話者分離モデルで、20万時間分の手動で書き起こされた英語データで学習されています。このモデルは長時間の音声認識に優れており、ポッドキャストや決算説明会などのシナリオに適しています。Reverb ASRでは、出力テキストの書き起こしレベルをユーザーが制御でき、完全な書き起こしから書き起こしなしまでさまざまなスタイルをサポートし、正確な書き起こしと読みやすさの向上というニーズを満たします。Reverb ASRは、アテンションデコーディングやCTCプレフィックスビームサーチなど、複数のデコーディングモードを提供し、さまざまな認識タスクに適応します。長時間の音声認識において、Reverb ASRはOpenAIのWhisperやNVIDIAのCanary-1Bなどの既存のオープンソースモデルを凌駕します。

Reverb ASRの主な機能

• 高精度音声認識Reverb ASRは、英語の音声を効率的かつ正確にテキストに変換します。
• 逐語的な制御ユーザーは、必要に応じて、逐語的な出力の度合いを、完全な逐語的出力から非言語的出力まで調整でき、さまざまな使用シナリオに対応できます。
• 複数のデコードモードアテンションデコーディング、CTCグリーディサーチ、CTCプレフィックスビームサーチ、アテンション再分割、ジョイントデコーディングなど、複数のデコーディングモードをサポートしています。
• 長尺音声処理ポッドキャストや会議議事録など、長時間の音声入力の処理に長けている。
• スピーカーの分離話者分離技術は、異なる話者を区別し識別するのに役立ちます。

リバーブASRの技術的原理

• データセットReverb ASRのトレーニングデータセットは、人間の専門家によって書き起こされた20万時間分の英語音声で構成されており、さまざまな分野、アクセント、録音条件を網羅しています。
• 共同CTC/アテンションアーキテクチャReverb ASRは、コネクショニスト時間分類（CTC）とアテンションメカニズムを組み合わせたアーキテクチャに基づいています。これにより、音声認識時に、音声のシーケンス特性と文脈情報の両方を考慮することができます。
• エンコーダ・デコーダアーキテクチャこのモデルは、18層の畳み込みエンコーダと6層の双方向アテンションデコーダを使用しており、これにより長期的な依存関係と短期的な音声特徴を捉えることができます。
• 言語固有のレイヤーReverb ASRは、エンコーダーとデコーダーの最初と最後のレイヤーに言語固有のレイヤーを使用することで、出力の単語ごとの正確性を制御しやすくしています。
• モデル量子化ASRモデルのInt8量子化バージョンを提供することで、推論速度を向上させ、メモリ使用量を削減し、速度とメモリに敏感なアプリケーションに適しています。
• 複数のデコードモードReverb ASRは、グリーディCTCデコード、CTCプレフィックスビームサーチ（アテンション再分割の有無を問わず）、アテンションデコード、およびCTC/アテンション結合デコードなど、複数のデコードモードをサポートしています。

Reverb ASRプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/revdotcom/reverb/tree/main/asr
• HuggingFace オンラインデモ：https://huggingface.co/spaces/Revai/reverb-asr-demo
• arXiv技術論文：https://arxiv.org/pdf/2410.03930v1

Reverb ASRの応用事例

• ポッドキャスト制作ポッドキャストコンテンツを自動的に文字起こしし、編集やコンテンツ管理を容易にします。
• 会議議事録ビジネス会議や学術セミナー中に、会議議事録をリアルタイムで作成します。
• 裁判記録法廷手続きの正確性を確保するため、裁判手続きの記録を正確に提供する。
• 音声コンテンツ制作これはコンテンツ制作者が音声をテキストに変換するのを支援し、作業効率を向上させます。
• 言語学習言語学習者の発音とリスニングの練習を支援し、リアルタイムでフィードバックを提供します。
• メディア監視ラジオ、テレビ、その他のメディアの音声コンテンツを監視することで、ニュース分析や世論調査を容易にすることができる。
• 顧客サービスコールセンターにおける顧客との会話を自動的に録音・分析し、サービス品質を向上させる。