Reka Flash 3 - Reka AIによるオープンソースの推論モデル

Reka Flash 3とは何ですか？

Reka Flash 3は、Reka AIが開発したオープンソースの推論モデルで、21億個のパラメータを誇ります。テキスト、画像、動画、音声など、マルチモーダルな入力に対応し、最大32,000トークンのコンテキスト長を処理できます。一般的な対話、コーディング支援、指示の追従といったシナリオに適しており、フル精度でのサイズは39GB（fp16）ですが、4ビット量子化後には11GBまで圧縮できるため、デバイスへの展開が容易です。

Reka Flash 3の主な機能

• マルチモーダル入力のサポートReka Flash 3は、テキスト、画像、動画、音声など、さまざまな種類の入力データを処理できます。
• 高効率な推論能力Reka Flash 3は最も多くの 32,000トークン コンテキストの長さにより、長文の文書や複雑なタスク、例えば長文の論文、コードスニペット、複雑な複数ステップの問題などを処理することが可能です。
• 多言語対応Reka Flash 3は多言語対応において優れた性能を発揮し、特に英語に重点を置いており、WMT’23ではCOMETスコア83.2を獲得するなど、様々な言語を使用するユーザーのニーズを満たしています。

Reka Flash 3の技術原理

• モジュール式エンコーダ・デコーダアーキテクチャReka Flash 3は、モジュール式のエンコーダー・デコーダーアーキテクチャを採用しています。エンコーダーは、テキスト、画像、動画、音声など、さまざまな入力データを処理し、高次元ベクトル表現に変換します。デコーダーは、エンコーダーの出力に基づいてテキスト出力を生成します。
• 強化学習トレーニングReka Flash 3のトレーニングは、公開されているデータセットと合成データセットを組み合わせ、強化学習にREINFORCE Leave One-Out（RLOO）法を採用しています。これにより、能力と効率性のバランスが取れ、モデルがより質の高いコンテンツを理解・生成できるようになります。
• 予算執行メカニズム: 特定の <reasoning> ラベルを使用することで、ユーザーはモデルの推論ステップを制限でき、限られた計算リソースでもモデルが効率的かつ一貫したパフォーマンスを維持できるようになります。

Reka Flash 3 プロジェクトアドレス

• ハギングフェイスモデルライブラリ：https://huggingface.co/RekaAI/reka-flash-3

Reka Flash 3の応用シナリオ

• 一般的な会話Reka Flash 3は、自然で流暢な会話を可能にし、話し相手や情報検索などのサービスを提供します。
• コーディング支援このモデルは、開発者がコードを記述したり、コードの問題をデバッグしたり、コードの最適化に関する提案を提供したりするのに役立ちます。
• 指示に従ってくださいReka Flash 3は、レポートの生成やデータ分析など、さまざまなタスクを完了するために、複雑な命令を理解して実行することができます。
• インターネット検索支援Reka Flash 3は、ウェブ検索機能を利用して追加情報を取得し、質問への回答に役立てることができます。