project
MindSearch - 上海人工知能研究所が開発したAI検索フレームワーク
MindSearchは、上海人工知能研究所の共同研究チームによって開発されたオープンソースのAI検索フレームワークです。大規模な情報収集と処理機能を兼ね備えています。InternLM2.5 7B対話モデルを利用することで、MindSearchは以下のようなデータを取得できます。
MindSearchとは何ですか?
MindSearchは、上海人工知能研究所の共同研究チームが開発したオープンソースのAI検索フレームワークです。大規模な情報収集と処理能力を兼ね備えています。InternLM2.5 7B対話モデルを活用することで、MindSearchは300ページ以上のウェブページから関連情報を3分以内に収集でき、人間が通常3時間かかる作業を完了できます。マルチエージェントフレームワークを用いて人間の思考をシミュレートし、検索前に計画を立てることで、情報の精度と網羅性を向上させています。このプロジェクトは完全にオープンソースであり、ユーザーは無料でローカル環境で試用・展開できます。
MindSearchの主な機能
- 複雑なクエリ処理複雑なユーザーの質問を、より小さく扱いやすいサブ質問に分解することで、関連情報をより正確に検索できるようになります。
- 動的グラフ構築有向非巡回グラフ(DAG)を構築することで、問題を解決する際の人間の思考プロセスをシミュレートし、問題を段階的に洗練させ、解決策を探ることができます。
- 並列情報検索マルチエージェントアーキテクチャに基づき、複数のサブ問題の並列探索を実現することで、情報検索の速度と効率を向上させる。
- 階層的検索戦略WebSearcherは、まず広範囲にわたって情報を収集し、次に詳細な閲覧と情報抽出のために最も価値のあるページを選択するという、粗密検索戦略を採用しています。
- コンテキスト管理マルチエージェントシステムにおいてコンテキスト情報を効果的に管理し、情報検索および統合の過程で情報の継続性と完全性を確保する。
- 応答生成取得した情報を統合し、元の複雑なクエリに対して正確で包括的かつ詳細な回答を生成します。
- パフォーマンスの向上クローズドセットおよびオープンセットの質問応答タスクにおいて、上記の機能は、回答の深さと幅の両方を含め、回答の質を大幅に向上させます。
- 人間の好み生成される回答は人間の好みにより合致しており、他のAI検索エンジンと比較して、MindSearchが提供するソリューションは人間の評価者からより好まれる傾向にある。
MindSearchの技術原則
- WebPlanner高度なプランナーとして、ユーザーのクエリを複数のサブ問題に分解し、動的なグラフ構築プロセス(有向非巡回グラフ、DAG)を通じて、多段階の情報探索のメンタルモデルをシミュレートする役割を担っています。
- WebSearcherWebPlannerによって割り当てられたサブ質問に基づいて、インターネットから価値のある情報を取得および集約する階層的な情報検索を実行します。
- マルチエージェントコラボレーションWebPlannerとWebSearcherはそれぞれ独立したエージェントとして機能し、問題の分解と情報検索のタスクをそれぞれ処理することで、タスクの並列処理と情報の効率的な統合を実現します。
- 動的グラフ構築コードの生成と実行によって、問題解決のための論理グラフが動的に構築され、LLMは問題を段階的に洗練させ、関連情報を取得することができる。
- コンテキスト管理複数のエージェント間での効果的なコンテキスト状態転送により、情報検索および統合の過程で重要な情報が失われることがなくなります。
MindSearchのプロジェクトアドレス
- プロジェクト公式サイト:https://mindsearch.netlify.app/
- オンラインデモ:https://mindsearch.openxlab.org.cn/
- arXiv技術論文:https://arxiv.org/abs/2407.20183
MindSearchの応用事例
-
学術研究研究者はMindSearchを利用することで、研究を裏付ける膨大な量の文献を迅速に収集・整理することができる。
-
市場分析企業はMindSearchを利用して、市場データの収集、競合他社情報の分析、業界動向の監視を行うことができます。
-
ニュース報道ジャーナリストはMindSearchを使ってニュースイベントの背景情報を収集し、迅速にレポートを作成することができる。
-
法律調査法律専門家は、MindSearchを使用して関連する法律条項、判例、先例を収集し、法的分析や訴訟準備に役立てることができます。
-
テクニカルサポート技術サポートチームは、MindSearchを使用して、技術的な問題を解決するための方法や手順を迅速に見つけることができます。