ERNIE-4.5-VL - Baidu Wenxinのオープンソース次世代マルチモーダルAIモデル - AiBoss

ERNIE-4.5-VLとは何ですか？

ERNIE-4.5-VLは、Baidu Wenxinがオープンソース化した新世代のマルチモーダルAIモデルです。3Bの活性化パラメータを持つERNIE-4.5-VL-28B-A3Bアーキテクチャをベースに、視覚言語理解とクロスモーダル推論に重点を置いています。このモデルは、大量の視覚言語データを用いた学習によって意味的整合性を強化し、マルチモーダル強化学習を採用することで安定性を向上させています。また、視覚的位置特定機能と「イメージ思考」機能を追加し、文書解析や動画解析などのシナリオに対応しています。さらに、2ビットのロスレス量子化と128Kの超ロングコンテキストウィンドウをサポートし、メモリ使用量と推論速度を最適化することで、非常に長いテキストコンテンツも処理できます。

ERNIE-4.5-VLの主な機能

マルチモーダルな理解と生成ERNIE-4.5-VLは、テキスト情報と画像情報を同時に処理することができ、画像説明の生成、画像とテキストによる質問応答、画像分類などの機能を実現し、マルチモーダルコンテンツの包括的な理解と作成をサポートします。
文書と図表の理解このモデルは強力な文書解析機能を備えており、複雑な図表やフローチャートなどを処理できるため、製造業、科学研究などの分野における工学図面の理解やデータ分析に広く利用されています。
知的な推論と意思決定視覚的な質問応答や論理的推論といった複雑なマルチモーダル推論タスクをサポートし、テキスト情報と画像情報を組み合わせることで、詳細な分析や意思決定を行うことができます。
多言語でのやり取り100以上の言語での対話に対応しており、多言語による画像説明や、多言語によるテキストと画像の質問応答など、言語を跨いだマルチモーダルなタスクに適しています。
長文処理最大128Kまで対応可能な超ロングコンテキストウィンドウを備えているため、大規模なテキストコンテンツを処理でき、長文ドキュメントの分析や複雑なタスク処理に適しています。
画像に基づく思考機能画像ズームや検索などのツール利用をサポートし、視覚的なタスクにおけるモデルのインタラクティブ性と柔軟性を向上させます。
効率的な展開と最適化2ビット量子化技術により、メモリ使用量を大幅に削減し、推論速度を向上させ、シングルカード展開をサポートし、リソース制約のあるシナリオに適しています。

ERNIE-4.5-VL モデルバージョン

ERNIE-4.5-21B-A3B-Thinking
- パラメータサイズ210億個のパラメータがあり、毎回30億個のパラメータが有効化される。
- 特徴多様な思考様式に対応し、より強力な推論能力を備え、複雑なマルチモーダルタスクの処理に適している。
- コンテキストの長さ128KBのコンテキスト長をサポートします。
ERNIE-4.5-VL-28B-A3B
- パラメータサイズ280億個のパラメータがあり、毎回30億個のパラメータが有効化される。
- 建築本システムは、テキスト、画像、および共有エキスパートを含む異種ハイブリッドエキスパートアーキテクチャ（MoE）を採用し、モーダル分離ルーティングメカニズムを通じて画像認識タスクのパフォーマンスを向上させます。
- パフォーマンスマルチモーダルなタスク、特に視覚認識、文書や図表の理解において、非常に優れた性能を発揮します。
- コンテキストの長さ32KBのコンテキスト長をサポートします。
ERNIE-4.5-Turbo-VL-Preview
- 特徴画像認識、生成、翻訳、および符号化機能が大幅に向上し、初めて32kのコンテキスト長がサポートされ、最初のトークンの遅延が大幅に短縮されました。
- コンテキストの長さ16KBのコンテキスト長をサポートします。
ERNIE-4.5-Turbo-VL-32K-Preview
- 特徴ERNIE-4.5-Turbo-VL-Preview をベースにパフォーマンスをさらに向上させ、より長いコンテキスト長をサポートします。
- コンテキストの長さ32KBのコンテキスト長をサポートします。
ERNIE-4.5-VL-424B-A47B
- パラメータサイズ4240億個のパラメータのうち、470億個のパラメータが有効になっています。
- パフォーマンスマルチモーダル評価ベンチマークにおいて、特に難易度の高い推論タスクにおいて、非常に優れた性能を発揮します。
- 特徴思考モードをサポートし、強力な推論能力を備え、知覚タスクにおいても優れたパフォーマンスを維持する。
ERNIE-4.5-0.3B
- パラメータサイズパラメータ数はわずか3億個。
- 特徴軽量モデルで、エッジデバイスへの展開に適しており、推論速度が速く、大規模モデルに近い性能を発揮します。

ERNIE-4.5-VLの技術原理

異種ハイブリッドエキスパートアーキテクチャ（MoE）ERNIE-4.5-VLは、テキストエキスパート、ビジョンエキスパート、および共有エキスパートにパラメータを分割する、異種ハイブリッドエキスパートアーキテクチャを採用しています。このアーキテクチャにより、モデルは異なるモダリティを処理する際に最適なエキスパートの組み合わせを動的に選択できるため、計算効率とパフォーマンスが向上します。
モード分離ルーティングメカニズムテキストと画像の処理経路を分離し、ルーター直交損失とマルチモーダルバランス損失を導入することで、このモデルはテキストとビジュアルのモダリティを分離したトレーニングを実現し、ビジュアルタスクのパフォーマンスを大幅に向上させます。
2ビットロスレス量子化技術本モデルは「畳み込み符号量子化」アルゴリズムを採用し、2ビット精度でのロスレス推論を実現します。これにより、メモリ使用量を大幅に削減し、推論速度を向上させながら、パフォーマンスを維持することができ、より効率的な展開を可能にします。

ERNIE-4.5-VLのプロジェクトアドレス

GitHubリポジトリ：https://github.com/PaddlePaddle/ERNIE
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/baidu/ernie-45
技術論文：https://yiyan.baidu.com/blog/publication/ERNIE_Technical_Report.pdf

ERNIE-4.5-VLの応用シナリオ

文書と図表の理解複雑なエンジニアリング図面、科学図表、ビジネス文書などを解析するために使用され、ユーザーが重要な情報を迅速に抽出するのに役立ちます。製造業、科学研究、金融など、さまざまな分野で活用されています。
スマートメーターのメンテナンススマートメーターに組み込まれたこのシステムは、電力消費異常に関するテキスト記述をリアルタイムで生成し、障害を報告することで、運用・保守の効率と精度を向上させます。
多言語でのやり取り100以上の言語での対話に対応しており、テキストや画像に関する質疑応答、画像の説明といった多言語タスクに適しており、グローバルなアプリケーション展開を促進します。
インテリジェントな顧客サービステキスト情報と画像情報を組み合わせることで、製品に関する問い合わせ対応やトラブルシューティングなど、より的確なカスタマーサービスサポートをユーザーに提供できます。
コンテンツ作成広告、メディア、クリエイティブ業界に適した、画像の説明文やクリエイティブなコピーなど、高品質なグラフィックおよびテキストコンテンツを生成します。
教育授業を支援するために、テキストと図表を組み合わせて使用し、複雑な科学グラフの説明など、生徒が知識をよりよく理解し学習できるようにする。

すべてのカテゴリ