LLaVA-OneVision-1.5 - EvolvingLMMS-Lab オープンソースマルチモーダルモデル

LLaVA-OneVision-1.5とは何ですか？

LLaVA-OneVision-1.5 は、効率的なトレーニングと高品質のデータによって、高性能、低コスト、高い再現性を実現するオープンソースのマルチモーダルモデルです。ビジュアルエンコーダーとして独自開発の RICE-ViT を採用し、2D 回転位置エンコーディングと領域認識型アテンションメカニズムを組み合わせることで、可変入力解像度をサポートし、オブジェクト認識と OCR 機能を強化しています。言語モデルは Qwen3 をベースにしており、3 段階のトレーニングプロセス (言語と画像のアライメント、高品質の知識を用いた中間事前トレーニング、ビジュアル指示のアライメント) で最適化されています。トレーニング中は、計算能力とメモリ効率を向上させるために、オフライン並列データパッケージングとハイブリッド並列戦略が使用されています。データについては、「概念的バランス」戦略を採用し、複数のソースを網羅した 85M の事前トレーニングデータセットが構築されています。22M の指示データは、複数のソースから集約され、統一された形式で 8 つのカテゴリをカバーしています。 LLaVA-OneVision-1.5は、マルチモーダルベンチマークにおいて優れた性能を発揮し、費用対効果が高く、チェーン全体を通して透明性とオープン性を備えており、コミュニティが低コストで再現および拡張を実現できるよう、コード、データ、モデルリソースを提供します。

LLaVA-OneVision-1.5の主な機能

• マルチモーダルな理解と生成画像やテキストなど、複数の形式の情報を処理・理解し、高品質なテキスト説明を生成したり、質問に答えたり、推論を実行したりすることができる。
• 視覚的質問応答（VQA）画像の内容に基づいて質問に答え、物体認識やシーン理解など、幅広い視覚タスクをサポートします。
• 画像の説明生成入力された画像に対して正確かつ詳細な説明文を生成し、ユーザーが画像の内容をよりよく理解できるよう支援します。
• 指示に従い、実行したユーザーが指定した指示に基づいて、画像編集や情報抽出などの対応するタスクを実行し、優れたコマンド汎化能力を備えている。
• クロスモーダル検索テキストに基づいて画像を検索したり、画像に基づいてテキストを検索したりすることができ、クロスモーダルな情報検索を可能にします。
• ロングテール認識機能データ中にあまり頻繁に現れないカテゴリや概念を効果的に識別・理解できるため、モデルの汎化能力が向上する。
• 多言語対応複数の言語での入出力に対応しており、一定程度の言語間理解および生成機能を備えている。
• 知識の向上高品質な知識データを用いて事前学習を行うことで、モデルはより豊富な世界知識を獲得し、複雑なマルチモーダルタスクをより適切に処理できるようになる。
• 効率的な訓練と繁殖効率的なトレーニングプロセスを実現するために、最適化されたトレーニング戦略とデータパッケージング技術を採用し、コミュニティによる再現と拡大を促進するための完全なコードとデータリソースを提供します。

LLaVA-OneVision-1.5の技術原理

• ビジュアルエンコーダー本システムは、独自開発のRICE-ViT（Region-aware Cluster Discrimination Vision Transformer）を視覚的な基盤として採用し、領域認識型アテンションメカニズムと統一された領域クラスタ識別損失によって画像内の局所領域の意味理解を強化するとともに、可変入力解像度をサポートしています。
• プロジェクター設計多層パーセプトロン（MLP）を用いて視覚的特徴を言語モデルのテキスト埋め込み空間にマッピングすることで、視覚的特徴と言語的特徴の効果的な整合を実現できる。
• 言語モデルQwen3を言語基盤として構築されており、強力な言語生成および理解機能を提供するとともに、マルチモーダルなタスクにおけるテキスト処理をサポートします。
• 3段階のトレーニングプロセスこれには、言語と画像の整合、高品質な知識の中期事前学習、および視覚的な指示の整合が含まれ、モデルのマルチモーダル整合能力とタスク汎化能力を段階的に向上させます。
• オフライン並列データパッケージング事前学習データセットは、特徴量主導型の「概念バランス」戦略を用いて構築され、パディングの無駄を削減し、学習効率を向上させるためにオフライン並列データパッケージング技術が使用されています。
• ハイブリッド並列処理とロングコンテキスト最適化トレーニング中は、計算能力の利用効率とGPUメモリ効率を向上させるために、ハイブリッド並列処理（テンソル並列処理、パイプライン並列処理、シーケンス並列処理）とロングコンテキスト最適化技術が使用されます。
• データ構築と最適化大規模な事前学習済みデータセットと指示微調整データセットを構築し、複数ソースの集約、フォーマットの統一、安全なフィルタリングを通じて、データの高品質と多様性を確保しました。

LLaVA-OneVision-1.5プロジェクトの住所

• GitHubアドレス：https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/lmms-lab/llava-onevision-15-68d385fe73b50bd22de23713
• arXiv技術論文：https://arxiv.org/pdf/2509.23661
• オンラインでデモを体験してください：https://huggingface.co/spaces/lmms-lab/LLaVA-OneVision-1.5

LLaVA-OneVision-1.5の応用シナリオ

• インテリジェントな顧客サービスユーザーがアップロードした画像やテキスト情報を理解することで、自動化された顧客サポートを提供し、質問に答え、解決策を提示します。
• コンテンツ作成これは、クリエイターが画像の説明文、クリエイティブなコピー、またはストーリーを作成するのに役立ち、クリエイティブな効率と品質を向上させます。
• 教育支援教育分野では、画像の内容解釈、授業支援、そして生徒が複雑な視覚情報をよりよく理解できるようにするために利用されている。
• 医用画像解析これは、医師が医療画像を解釈したり、予備的な診断の提案を行ったり、画像レポートを作成したりする際に役立ちます。
• インテリジェントドライビング自動運転システムでは、道路状況の把握、意思決定の支援、運転安全性の向上に利用される。
• 画像編集とデザインこの機能により、ユーザーは自分の指示に基づいて画像を編集、トリミング、エフェクトを追加することができ、画像処理の利便性が向上します。