AB
AB
AiBoss

すべてのカテゴリ

project

MiniRAG - 香港大学が小規模言語モデルの効率的な展開のための新しいRAGシステムを発表

MiniRAGは、香港大学が開発した、検索機能を強化した新しい生成型言語生成（RAG）システムであり、リソース制約のあるシナリオで小型言語モデル（SLM）を効率的に展開するために設計されています。MiniRAGはこの目標を、以下の2つの主要技術に基づいて達成しています。...

MiniRAGとは何ですか？

香港大学が開発したMiniRAGは、リソース制約のある環境で小型言語モデル（SLM）を効率的に展開するために設計された、新しい検索強化型生成（RAG）システムです。MiniRAGは、2つの主要技術によってこれを実現しています。1つは、テキスト断片と固有表現を組み合わせることで複雑な意味理解への依存度を低減する、意味認識型の異種グラフインデックス機構です。もう1つは、高度な言語機能を必要とせずに効率的な知識発見のためにグラフ構造を利用する、軽量なトポロジー強化型検索手法です。実験では、MiniRAGは大規模言語モデル（LLM）と同等のパフォーマンスを発揮しながら、必要なストレージ容量はわずか25%であることが実証されています。MiniRAGは、実際のデバイス環境における軽量RAGシステムのパフォーマンスを評価するための包括的なベンチマークデータセットを提供し、リソース制約のある環境における効率的でプライベートなRAGシステムの開発を促進します。

MiniRAGの主な機能

  • 効率的な知識検索独自の異種グラフインデックス機構に基づき、大量のデータから最も関連性の高い知識を迅速かつ正確に取得することができ、正確な回答の生成を支援します。
  • 軽量モデルとの互換性小型言語モデル（SLM）向けに特別に設計されているため、パフォーマンスを大きく犠牲にすることなく、コンピューティングリソースとストレージ容量の要求を大幅に削減し、リソースに制約のあるデバイスでの実行により適しています。
  • 優れた推論能力MiniRAGは、クエリ誘導型の推論経路発見メカニズムを活用することで、複雑な多段階推論タスクを処理し、SLM（意味理解モジュール）のセマンティック理解能力が限られている場合でも、効果的に正解を見つけることができます。
  • 非常に適応力が高いMiniRAGは、インスタントメッセージング、個人コンテンツ管理、ローカル文書検索など、さまざまなアプリケーションシナリオに対応でき、ユーザーにパーソナライズされた情報検索および生成サービスを提供します。

MiniRAGの技術原理

  • 意味認識型異種グラフインデックス機構：
    • テキストブロックノード（Vc）原文の文脈的整合性を維持し、検索段階に直接参加し、最も関連性の高い文脈コンテンツが確実に特定されるようにする。
    • エンティティノード（Ve）テキストブロックから抽出された、イベント、場所、時間参照、ドメイン固有の概念などの重要な意味要素は、意味理解の基盤として使用されます。
    • エンティティ間結合（Eα）固有表現間の意味的関係、階層構造、および時空間的依存関係を捉えます。
    • エンティティとテキストのブロック間の接続性（Eβ）: 固有表現とその対応するコンテキストを関連付け、コンテキストの関連性と意味の一貫性を維持する。
    • エッジの意味記述言語モデルに基づいて生成された記述は、接続されたノード間の明確な関係コンテキストを提供し、グラフの意味理解能力を向上させる。
  • 軽量トポロジー強化型検索手法：
    • クエリのセマンティックマッピングエンティティ抽出と軽量な文埋め込みモデルを使用することで、ユーザーが入力したクエリをグラフインデックスデータと照合し、クエリに関連するテキストブロックを特定します。
    • クエリ駆動型推論パス発見インテリジェントなクエリ誘導メカニズムに基づいて、クエリノードとエンティティノード間の意味的関連性およびエンティティ間の構造的一貫性を考慮しながら、異種グラフ内に推論パスが構築される。
    • トポロジー強化型グラフ検索埋め込みベースの類似性検索とグラフトポロジー情報を組み合わせることで、クエリに関連する高品質なエンティティ間の接続を特定し、パス発見メカニズムに基づいて論理的に関連する推論チェーンを抽出します。
    • 関連テキストブロックを検索エンティティとテキストブロックの関連性に基づいて、推論パスに関連するテキストブロックを収集し、入力クエリとテキストブロックおよびそのエッジ記述との間の意味的類似性を計算し、最終的に後続の生成タスクに最も関連性の高いテキストブロックを選択します。
    • 融合強化生成取得された重要な関係性と最適なテキストブロックは、設計された融合戦略に基づいて事前に決定された回答ノードと統合され、包括的で構造化された入力表現が構築されます。この入力表現は、最終的な強化生成プロセスで使用されます。

MiniRAGのプロジェクトアドレス

MiniRAGのアプリケーションシナリオ

  • インスタントメッセージング過去のチャット履歴を迅速に取得し、的確な返信を生成し、知識面でのサポートを提供します。
  • 個人コンテンツ管理個人のメモを検索したり、コンテンツの要約やリマインダーを作成したり、スケジュールを管理したりできます。
  • ローカル文書検索ローカル文書の内容を取得し、複数の文書から情報を統合して、インテリジェントな要約を生成します。
  • プライバシーに配慮したアプリケーション医療情報や財務情報を安全に管理し、プライバシーを保護する質疑応答サービス。
  • エッジデバイスアプリケーションスマートウォッチやスマートスピーカーなどのデバイス上で、迅速な応答とインテリジェントなサービスを提供します。
戻る