LLaDA-V - 人民大学ヒルハウスAIとアント・フィナンシャルが共同で開発した、マルチモーダルな大規模モデル。 - AiBoss

LLaDA-Vとは何ですか？

LLaDA-Vは、中国人民大学高嶺人工知能学院とAnt Groupが共同開発したマルチモーダル大規模言語モデル（MLLM）です。純粋な拡散モデルアーキテクチャに基づき、視覚的指示の微調整に重点を置いています。LLaDAを基盤として、視覚エンコーダとMLPコネクタを導入し、視覚的特徴を言語埋め込み空間にマッピングすることで、効果的なマルチモーダルアライメントを実現しています。LLaDA-Vは、既存のハイブリッド自己回帰拡散モデルや純粋拡散モデルを凌駕し、マルチモーダル理解において最先端の性能を達成しています。

LLaDA-Vの主な機能

画像の説明生成入力画像に基づいて、詳細な説明文を生成します。
ビジュアルQ&A画像の内容に関連する質問に答えてください。
複数ターンにわたるマルチモーダル対話与えられた画像という文脈の中で複数回の対話を行い、画像と対話履歴に関連した応答を生成する方法を理解する。
複雑な推論タスク：画像とテキストを含む複雑なタスクにおける推論能力。例えば、画像に関連する数学的または論理的な問題を解決する能力など。

LLaDA-Vの技術原理

拡散モデル拡散モデルは、ノイズを段階的に除去することでデータを生成することに基づいています。LLaDA-Vでは、マスク拡散モデルを使用して文中のいくつかの単語をランダムにマスク（特殊なマーカー[M]で置換）し、マスクされた単語の元の内容を予測するようにモデルを訓練します。
視覚的指示の調整このフレームワークは、視覚的指示の微調整に基づいており、ビジョンタワーとMLPコネクタで構成されています。ビジョンタワーはSigLIP 2モデルを使用して画像を視覚表現に変換します。MLPコネクタは、視覚表現を言語モデルの単語埋め込み空間にマッピングすることで、視覚的特徴と言語的特徴を効果的に整合させ、融合させます。
多段階トレーニング戦略第1段階では、MLPコネクタが視覚表現と言語埋め込みを整合するように学習されます。第2段階では、モデル全体が視覚的な指示を理解し、それに従うように微調整されます。第3段階では、モデルのマルチモーダル推論能力がさらに強化され、複雑なマルチモーダル推論タスクを処理できるように学習されます。
双方向注意機構複数ターンの対話において、LLaDA-Vは双方向アテンションメカニズムを使用して、マスクワードを予測する際に対話全体のコンテキストを考慮に入れるようモデルをサポートし、対話の全体的な論理と内容をモデルがよりよく理解できるようにします。

LLaDA-Vプロジェクトの住所

プロジェクト公式サイト：https://ml-gsai.github.io/LLaDA-V
GitHubリポジトリ：https://github.com/ML-GSAI/LLaDA-V
arXiv技術論文：https://arxiv.org/pdf/2505.16933

LLaDA-Vの応用シナリオ

画像の説明生成画像の内容を理解するのに役立つ詳細な説明を自動的に生成します。
ビジュアルQ&A画像に関する質問への回答は、教育や観光などの分野に応用できる。
複数回の対話インテリジェントな顧客サービスや仮想アシスタントなどのシナリオにおいて、複数ラウンド、マルチモーダルな対話を実施する。
複雑な推論画像やテキストを含む複雑な推論タスク（数学の問題を解くなど）を解決する。
複数画像および動画の理解複数の画像や動画コンテンツを分析でき、動画分析や監視などの用途に適しています。