Shusheng・Wanxiang InternVL 2.5 - Shanghai AI Lab のオープンソースマルチモーダル大規模言語モデルシリーズ - AiBoss

『Scholar's Myriad Phenomena InternVL 2.5』とは何ですか？

Shusheng·Wanxiang InternVL 2.5は、上海AIラボのOpenGVLabチームが発表した、大規模マルチモーダル言語モデル（MLLM）のオープンソースシリーズです。このシリーズは、特にトレーニングとテスト戦略、データ品質において、InternVL 2.0を大幅に強化しています。InternVL 2.5には、さまざまなユースケースとハードウェア要件に対応するため、1Bから78Bまでのサイズのモデルが含まれています。InternVL2_5-78Bは、マルチモーダル理解（MMMU）ベンチマークで70を超えるスコアを獲得した最初のオープンソースモデルであり、ChatGPT-4oやClaude-3.5-Sonnetなどの商用モデルを凌駕しています。InternVL 2.5は、Chained Thinking（CoT）推論技術に基づいてパフォーマンスを向上させ、学際的推論、文書理解、マルチ画像/動画理解など、複数のベンチマークテストで強力なマルチモーダル機能を実証しています。

InnVL 2.5におけるScholar's Worldの主な機能

マルチモーダルな理解さまざまな形式（テキスト、画像、動画）からの情報を処理し、理解する。
学際的な推論複数の分野にわたる複雑な推論と問題解決を行う。
現実世界への理解現実世界のシナリオや出来事を理解し、分析するため。
マルチモーダル幻覚検出現実の視覚情報と架空の視覚情報を識別し、区別する。
視覚的な基盤画像内の実際の物体とテキストの説明を照合してください。
多言語処理複数の言語の理解と生成機能をサポートする。
純粋言語処理テキストの分析、生成、理解といった言語タスクを実行する。

Scholar's World of Things InternVL 2.5 の技術的原理

ViT-MLP-LLMアーキテクチャビジュアルトランスフォーマー（ViT）と大規模言語モデル（LLM）に基づくMLPプロジェクターを組み合わせた手法。
動的な高解像度トレーニング異なる解像度の入力に対応し、複数の画像データや動画データの処理を最適化します。
ピクセル反転演算視覚トークンの数を減らし、モデルの効率を向上させる。
段階的な規模拡大戦略小規模なLLMからトレーニングを開始し、徐々に大規模なモデルへと拡張していく。
ランダムJPEG圧縮インターネット上の画像劣化をシミュレートすることで、ノイズの多い画像に対するモデルの堅牢性を向上させます。
損失の重み付け異なる長さの応答におけるNTP損失のバランスを取り、モデルのトレーニングを最適化する。

Shusheng·Wanxiang InnVL 2.5のプロジェクトアドレス

GitHubリポジトリ：https://github.com/OpenGVLab/InternVL
ハギングフェイスモデルライブラリ：https://huggingface.co/OpenGVLab/InternVL2_5
arXiv技術論文：https://arxiv.org/pdf/2412.05271
オンラインでデモを体験してください：https://huggingface.co/spaces/OpenGVLab/InternVL

Scholar's Universal InternVL 2.5 の応用シナリオ

画像および動画分析画像や動画コンテンツの自動的な注釈付け、分類、理解に用いられ、セキュリティ監視、コンテンツモデレーション、メディアエンターテインメントなどの分野に適用可能です。
視覚的質問応答（VQA）教育、電子商取引、顧客サービスなどの分野では、画像や動画コンテンツに関する質問に答えることで、より豊かなユーザーエクスペリエンスを提供します。
文書理解と情報検索法律、医学、学術研究などの分野における大量の文書から重要な情報を抽出し、複雑なクエリや研究を支援する。
多言語翻訳と理解InternVL 2.5は多言語処理をサポートしており、異言語間コミュニケーション、国際ビジネス、グローバルコンテンツ制作において重要な役割を果たします。
デザインやクリエイティブワークのサポートデザインおよびクリエイティブ業界において、私は建築デザインや広告コンセプトといった複雑な視覚的アイデアの理解と実現を支援しています。