DeepRAG - 中国科学院、中国科学技術大学、およびテンセントWeChat AI部門が共同で開発した、革新的な検索機能強化および生成フレームワーク。

DeepRAGとは何ですか？

DeepRAGは、中国科学院、中国科学技術大学、およびテンセントWeChat AI部門が共同開発した、新しい検索拡張（RAG）フレームワークです。推論および検索タスクにおける大規模言語モデル（LLM）の性能を向上させます。検索強化推論をマルコフ決定過程（MDP）としてモデル化することで、「検索ナラティブ」と「アトミック決定」という2つの主要コンポーネントを導入し、構造化された適応型検索プロセスを実現します。DeepRAGの中核は動的な意思決定にあります。各ステップにおいて、モデルは現在の状態に基づいて推論を行うために、外部知識を検索するか、自身のパラメータ知識のみに依存するかを決定します。

DeepRAGの主な機能

• 動的検索決定DeepRAGは、推論の各ステップにおいて、外部知識を取得するか、モデル自身のパラメータ知識のみに頼るかを動的に判断できます。これにより、不要な情報取得操作を回避し、情報取得効率を向上させ、ノイズと推論遅延を低減します。
• 構造化された検索プロセスDeepRAGは「検索ナラティブ」を導入することで、検索プロセスが構造化され、適応性を持つようにします。このモデルは、以前に取得した情報に基づいて新しいサブクエリを生成し、推論プロセスを段階的に進め、複雑なクエリをより適切に処理します。
• 知識境界の較正DeepRAGは「キャリブレーション連鎖」という手法を用いて、モデルが自身の知識の限界をより正確に特定できるよう支援します。これにより、モデルは外部知識を取得すべきタイミングと、推論のために自身の知識に頼るべきタイミングをより適切に判断できるようになり、結果として回答の精度と信頼性が向上します。
• 検索効率と回答精度を向上させる実験結果によると、DeepRAGは複数のオープンドメインの質問応答データセットにおいて、回答の精度を大幅に向上させ（平均21.99%の向上）、同時に検索回数を削減し、検索効率を最適化することが示されています。
• 汎化能力と堅牢性DeepRAGは、時間制約のある質問応答タスクや分布外の質問応答タスクにおいて、優れた汎化能力と堅牢性を示し、さまざまな質問応答シナリオやデータ分布に適応できる。

DeepRAGの技術原理

• マルコフ決定過程（MDP）モデリングDeepRAGは、検索拡張推論プロセスをMDPとしてモデル化し、元の問題に対する部分的な解決策を表します。状態`st`には、入力問題`x`と現在までのサブクエリ、およびそれらの中間回答が含まれます。これには、2つのサブ決定ステップが含まれます。
  • 解雇決定次のサブクエリの生成を続けるか、最終的な回答を直接生成するかを決定します。
  • 原子的な決定外部知識を取得するか、モデルのパラメータ知識のみに依存するかを決定する。
• トランジションアクションに基づいて状態を更新します。検索が決定された場合、モデルは関連するドキュメントを取得して中間回答を生成します。検索が決定されない場合は、中間回答が直接生成されます。
• 報酬評価状態は、回答の正誤と検索コストに基づいて決定されます。報酬関数は、回答の正誤を最大化しつつ、検索コストを最小化するように設計されます。
• 二分木探索DeepRAGは、各サブクエリに対して推論パスを構築するために、二分木探索アプローチを採用しています。各サブクエリについて、モデルは2つの分岐を生成します。1つの分岐はパラメトリック知識に基づいて直接回答を生成し、もう1つの分岐は外部知識を取得して回答を生成します。このようにして、モデルはさまざまな検索戦略を探索し、最初の質問から最終的な回答までの完全な推論パスを生成します。二分木探索は質問を分解し、検索方法の選択が最終的な回答に与える影響を徹底的に検証します。
• 模倣学習模倣学習の目的は、モデルが効果的な検索パターンを学習できるようにすることです。優先度キューを使用して、潜在的な推論経路を効率的に探索し、検索コストの低い経路を優先します。合成データは二分木を使用して検索され、正しい最終回答に至る推論プロセスが抽出されます。その後、合成データを使用してモデルを微調整し、終了的かつ原子的な決定を行う能力を向上させるとともに、クエリの分解と信頼性の高い中間回答の生成能力を強化します。
• 校正チェーンキャリブレーションチェーン法は、モデル自身の知識境界の認識をさらに最適化します。この方法は、選好データを合成することで、検索が必要なタイミングを判断します。このデータは最適なパスに基づいて生成され、各サブクエリに対する最適な検索戦略を示します。この選好データを用いることで、モデルは微調整され、内部知識境界に基づいたアトミックな意思決定能力が向上します。キャリブレーションチェーン法によって、モデルは外部知識の取得が必要なタイミングをより正確に識別し、自身の知識に基づいて推論を行うことができます。

DeepRAGのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2502.01142

DeepRAGの応用シナリオ

• オープン ドメインの質問DeepRAGは、質問を段階的に分解し、関連情報を動的に取得して正確な回答を生成することで、複雑な複数段階の質問応答タスクを処理できます。
• ナレッジベースQ&A知識ベースを用いた質問応答において、DeepRAGは外部の知識ベース（Wikipediaなど）とモデル自身の知識を組み合わせることで、より正確な回答を提供することができます。
• インテリジェントな顧客サービスとバーチャルアシスタントDeepRAGは、動的な情報検索と推論を通じて、より正確かつ迅速な顧客サポートを提供するインテリジェントな顧客サービスシステムに適用できる。
• 教育と学習支援教育分野において、DeepRAGは生徒と教師がより正確な知識と情報を習得するのに役立ちます。生徒の学習進捗状況とニーズに基づいて、学習教材と演習問題を動的に生成します。
• 医療および健康に関する相談DeepRAGは、最新の医学研究や臨床ガイドラインを取得することで、正確な健康アドバイスを提供し、医療や健康に関する相談に利用できます。