LongRAG - 志普、清華大学、中国科学院が共同開発した、堅牢な二視点検索フレームワーク。 - AiBoss

LongRAGとは何ですか？

清華大学、中国科学院、およびZhipuの研究チームによって開発されたLongRAGは、長文質問応答（LCQA）のための、二視点の堅牢な検索強化生成（RAG）フレームワークです。ハイブリッド検索システム、LLM強化情報抽出器、CoT誘導フィルタ、およびLLM強化ジェネレータの4つのコンポーネントに基づいて、長文質問応答における全体的な文脈理解と事実の詳細認識の課題に効果的に対処します。LongRAGは、複数のデータセットにおいて、長文文脈LLM、高度なRAGシステム、およびVanilla RAGなどのベースラインモデルを凌駕し、優れた性能と堅牢性を示しています。LongRAGは、微調整のための自動データ構築パイプラインを提供し、システムの「指示に従う」能力とドメイン適応性を強化します。

LongRAGの主な機能

デュアルビュー情報処理: 長文の文脈に関する疑問を、全体的な情報と事実の詳細という2つの視点から理解し、答えること。
ハイブリッド検索大量のデータから関連性の高い情報を素早く抽出します。
LLM強化情報抽出ツール抽出された断片は、元の長いテキスト段落にマッピングされ、全体的な背景情報と構造情報が抽出されます。
CoTガイドフィルター思考連鎖（CoT）を用いてモデルを導き、問題に関連する情報に焦点を当て、無関係なコンテンツを除外します。
LLM強化ジェネレーター最終的な回答は、グローバルな情報と重要な事実の詳細を組み合わせることによって生成されます。
自動微調整データ構築自動化されたプロセスに基づいて高品質なファインチューニング用データセットを構築し、特定のタスクにおけるモデルのパフォーマンスを向上させる。

LongRAGの技術原理

検索機能強化生成（RAG）RAGフレームワークに基づき、外部知識が取得され、言語モデルによる回答生成を支援する。
グローバル情報と詳細情報の統合このシステムは、地域特有の事実情報に焦点を当てるだけでなく、長文からグローバルな情報を統合することで、より包括的な回答を提供する。
マッピング戦略取得した断片を元の長いテキストにマッピングすることで、文脈情報を復元し、より正確な背景構造を提供する。
連鎖思考（CoT）CoTを全体的な手がかりとして使用することで、モデルは徐々に問題関連の知識に焦点を当てるようになり、それによって証拠の密度が高まります。
フィルタリング戦略CoTのグローバルな手がかりに基づいて、無関係な情報断片はフィルタリングされ、重要な事実の詳細が保持されます。

LongRAGのプロジェクトアドレス

GitHubリポジトリ：https://github.com/QingFei1/LongRAG
arXiv技術論文：https://arxiv.org/pdf/2410.18050

LongRAGの応用シナリオ

カスタマーサービスとサポート顧客サービス分野においては、長文の顧客からの問い合わせや過去のやり取りの記録を理解し、適切に回答することで、より正確な対応と解決策を提供できるようになります。
医療相談医療業界においては、これは大量の患者記録や医学文献を扱い、医師や患者からの病気、治療法、薬に関する複雑な質問に答えることを含む。
法律相談これは、法律専門家が多数の法律文書や判例の分析に基づいて、法律問題に関する詳細な分析と助言を提供するのに役立ちます。
教育と研究教育分野においては、学生や研究者が長文の学術論文や研究報告書をより深く理解し、研究関連の疑問に答えるための補助ツールとして活用される。
企業意思決定支援市場調査レポートや企業の年次報告書などの長文文書を分析し、ビジネス上の意思決定のためのデータサポートと洞察を提供する。