ViDoRAG - 同義大学、中国科学技術大学、上海交通大学が共同開発した、視覚的な文書検索の強化および生成のためのフレームワーク。

ViDoRAGとは何ですか？

ViDoRAGは、アリババ同義研究室が中国科学技術大学および上海交通大学と共同で開発した、視覚文書検索の強化と生成のためのフレームワークです。マルチエージェントの協調と動的な反復推論に基づき、複雑な視覚文書を扱う際の従来の検索および推論手法の限界を克服します。ViDoRAGは、ガウス混合モデル（GMM）を用いたマルチモーダル検索戦略を採用し、検索結果の数を動的に調整し、テキスト情報と視覚情報の統合を最適化します。このフレームワークは、迅速なフィルタリング、詳細なレビュー、最終的な回答生成をそれぞれ担当する、シーカー、インスペクター、アンサーの3つのエージェントで構成されています。反復的な相互作用により回答が段階的に洗練され、生成品質と一貫性が向上します。ViDoRAGは、ViDoSeekベンチマークデータセットにおいて既存の手法を大幅に上回り、平均で10%以上の性能向上を達成し、視覚文書検索および推論タスクにおける効率性と優位性を実証しています。

ViDoRAGの主な機能

• マルチモーダル検索視覚情報とテキスト情報を統合することで、正確な文書検索を実現する。
• 動的反復推論マルチエージェント（探索者、検査者、回答者エージェント）による協調動作により、回答が段階的に洗練され、推論の深さと精度が向上します。
• 複雑な文書の理解シングルホップおよびマルチホップ推論をサポートし、複雑なビジュアルドキュメントコンテンツを処理できます。
• 一貫性保証を生成する回答エージェントは、最終回答の正確性と一貫性を保証します。
• 高効率発電検索結果の数を動的に調整することで、計算負荷を軽減し、生成効率を向上させます。

ViDoRAGの技術原理

• マルチモーダルハイブリッド検索この手法は、テキストとビジュアルによる検索結果を組み合わせ、ガウス混合モデル（GMM）に基づいて検索結果の数を動的に調整します。GMMは、クエリと文書セット間の類似度分布に適合し、最適な検索結果数（上位K件）を動的に決定します。これにより、固定数検索結果に伴うノイズや計算オーバーヘッドを回避し、ビジュアル情報とテキスト情報を効果的に統合し、検索精度を向上させ、無関係な情報による干渉を軽減します。
• 動的反復推論フレームワーク：
  • Seeker Agent関連する画像や文書の断片を迅速に選別し、全体像を把握するための手がかりを提供する役割を担う。
  • Inspector Agentスクリーニング結果を詳細に検討し、フィードバックまたは予備的な回答を提供する。
  • Answer Agentインスペクターからの初期回答を統合し、整合性を検証して、最終回答を生成します。
• 粗密生成戦略グローバルな視点から出発し、徐々にローカルな詳細へと焦点を移していく。マルチエージェントによる協調処理により、粗密な生成プロセスが可能となり、無関係な情報による干渉を低減し、生成効率と精度を向上させる。
• 推論能力が発動しました反復推論とマルチエージェント協調に基づいて、モデルの推論能力が活性化され、特に複雑な視覚文書を扱う際にその効果が発揮され、マルチホップ推論や複雑な文書理解タスクにおけるモデルのパフォーマンスが向上します。
• 動的な回収長さ調整GMMに基づき、検索結果の数は動的に調整され、固定されたTop-K値の制約を回避し、計算オーバーヘッドを削減し、検索効率と生成品質を向上させます。

ViDoRAGのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/Alibaba-NLP/ViDoRAG
• arXiv技術論文：https://arxiv.org/pdf/2502.18017

ViDoRAG アプリケーションシナリオ

• 教育これは、生徒と教師が教科書から図表、データ、テキストコンテンツを素早く検索し、正確な解答や重要な知識ポイントの要約を作成するのに役立ちます。
• 金融業界財務報告書や市場調査資料から重要なデータやグラフを抽出し、分析レポートを作成して投資判断を支援する。
• 健康管理医師が研究を行ったり、患者向け教育資料を作成したりする際に役立つよう、医学文献中の図表やデータを迅速に検索できます。
• 法律業界法律文書から関連条項や判例図表を抽出し、弁護士が事件を分析したり文書を作成したりする際に役立てる。
• エンタープライズ知識管理社内文書から重要な情報を抽出し、従業員からの問い合わせに迅速に対応し、プロジェクトレポートやリスク分析を作成する。