Qwen2.5-Omni - アリババのオープンソースのエンドツーエンドのマルチモーダルモデル - AiBoss

Qwen2.5-Omniとは何ですか？

Qwen2.5-Omniは、Alibabaがオープンソース化したQwenシリーズの主力マルチモーダルモデルです。70億個のパラメータを持つQwen2.5-Omniは、テキスト、画像、音声、動画入力を処理する強力なマルチモーダル知覚機能を誇ります。ストリーミングテキスト生成と自然音声合成出力をサポートし、リアルタイムの音声およびビデオチャットを実現します。Qwen2.5-Omniは独自のThinker-Talkerアーキテクチャを採用しています。Thinkerはマルチモーダル入力を処理および理解し、高レベルの表現とテキストを生成し、Talkerはこれらの表現とテキストを流暢な音声出力に変換します。このモデルは、マルチモーダルタスク（OmniBenchなど）で最先端のパフォーマンスを実現し、GoogleのGemini-1.5-Proなどの類似モデルをあらゆる面で大幅に上回ります。また、音声認識、翻訳、音声理解などの単一モーダルタスクでも非常に優れたパフォーマンスを発揮します。 Qwen2.5-OmniはQwen Chatで無料トライアル版が利用可能で、このモデルは現在オープンソース化されているため、開発者や企業はダウンロードして商用目的で使用したり、スマートフォンやその他のスマートデバイスに展開したりすることができます。

Qwen2.5-Omniの主な機能

テキスト処理自然言語による対話、コマンド、長文テキストなど、さまざまなテキスト入力を理解・処理でき、複数の言語に対応しています。
画像認識画像コンテンツの認識と理解をサポートします。
音声処理音声認識機能を備え、音声をテキストに変換し、音声コマンドを理解し、自然で流暢な音声出力を生成します。
動画の理解動画入力の処理、動画内の視覚情報と音声情報の同時分析、動画コンテンツの理解や動画による質疑応答などの機能の実現をサポートします。
リアルタイムの音声およびビデオチャット音声およびビデオストリームのリアルタイム処理をサポートし、スムーズな音声およびビデオチャット機能を実現します。

Qwen2.5-Omniの技術的原理

シンカー・トーカー・アーキテクチャThinker-Talkerアーキテクチャに基づき、このモデルは主に2つの部分に分かれています。Thinkerはモデルの「頭脳」として機能し、入力テキスト、音声、動画などのマルチモーダル情報を処理・理解し、高レベルのセマンティック表現とそれに対応するテキスト出力を生成します。Talkerはモデルの「口」として機能し、Thinkerによって生成された高レベルの表現とテキストを流暢な音声出力に変換する役割を担います。
時間軸に沿ったマルチモーダル位置埋め込み（TMRoPE）ビデオ入力の音声とタイムスタンプを同期するために、Qwen2.5-Omni は新しい位置埋め込み方式 TMRoPE (Time-aligned Multimodal RoPE) を導入しました。これは、ビデオシーケンスの時間順序を保証するために、音声フレームとビデオフレームをインターリーブ方式で配置します。TMRoPE は、元の回転埋め込みを時間、高さ、幅の 3 つのコンポーネントに分解することに基づいて、マルチモーダル入力の 3D 位置情報 (時間、高さ、幅) をモデルにエンコードします。テキスト入力の場合、同じ ID が使用され、TMRoPE は 1D RoPE と機能的に同等です。音声入力の場合、各 40ms の音声フレームに同じ ID が割り当てられ、絶対的な時間位置エンコードが導入されます。画像入力の場合、各ビジュアルマーカーの時間 ID は一定のままですが、高さと幅の ID は画像内のマーカーの位置に基づいて割り当てられます。ビデオ入力の場合、時間的な位置合わせを保証するために、音声フレームとビデオフレームの時間 ID が交互に配置されます。
ストリーミングとリアルタイムレスポンスブロックベースの処理アプローチに基づき、マルチモーダルデータの長いシーケンスは、個別に処理するために小さなブロックに分解され、処理遅延が削減されます。このモデルは、現在のタグのコンテキストを制限するスライディングウィンドウメカニズムを導入し、ストリーミング生成の効率をさらに最適化します。オーディオおよびビデオエンコーダは、ブロックベースのアテンションメカニズムを使用して、オーディオおよびビデオデータをブロック単位で処理し、各ブロックの処理には約2秒かかります。ストリーミング音声生成では、フローマッチングとBigVGANモデルを使用して、生成されたオーディオタグをブロックごとに波形に変換し、リアルタイムの音声出力をサポートします。
Qwen2.5-Omniの3つのトレーニングフェーズ：
- フェーズ1言語モデルのパラメータを固定し、視覚エンコーダと音声エンコーダのみを訓練し、大量の音声-テキストおよび画像-テキストのペアデータを使用して、モデルのマルチモーダル情報の理解力を向上させます。
- フェーズ2すべてのパラメータの凍結を解除し、画像、動画、音声、テキストなどの混合データを含む、より幅広いデータを使用して学習を行うことで、モデルがマルチモーダル情報を包括的に理解する能力をさらに向上させます。
- フェーズ3トレーニングは、複雑な長配列データを理解するモデルの能力を高めるために、長配列データ（32k）に基づいて行われます。

Qwen2.5-Omniプロジェクトの住所

プロジェクト公式サイト：https://qwenlm.github.io/blog/qwen2.5-omni/
GitHubリポジトリ：https://github.com/QwenLM/Qwen2.5-Omni
ハギングフェイスモデルライブラリ：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
技術論文：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni
オンラインでデモを体験してください：https://huggingface.co/spaces/Qwen/Qwen2.5-Omni-7B-Demo

Qwen2.5-Omniのモデル性能

マルチモーダルタスクOmniBenchなどのマルチモーダルタスクにおいて、高度なレベルを達成している。
単一モダリティタスク音声認識（Common Voice）、翻訳（CoVoST2）、音声理解（MMAU）、画像推論（MMMU、MMStar）、動画理解（MVBench）、音声生成（Seed-tts-evalおよび主観的自然度）など、複数の分野で優れた性能を発揮します。

Qwen2.5-Omniの応用シナリオ

インテリジェントな顧客サービス 音声とテキストによるやり取りに基づいて、ユーザーにリアルタイムの相談および回答サービスを提供します。
バーチャルアシスタント パーソナル仮想アシスタントとして、スケジュール管理、情報検索、リマインダーなど、ユーザーがさまざまなタスクを完了するのを支援します。
教育オンライン教育に利用され、音声解説、インタラクティブな質疑応答、宿題指導などの機能を提供する。
エンターテインメント ゲームや動画などの分野では、音声対話、キャラクターの吹き替え、コンテンツのおすすめといった機能を提供することで、ユーザーのエンゲージメントと没入感を高め、より豊かなエンターテインメント体験を実現します。
スマートオフィス 高品質な会議議事録や音声会議録音用のメモを作成するなど、オフィス業務をサポートし、業務効率を向上させます。