LongCite - 清華大学が開発したオープンソースモデルで、LLM（法学修士）の参考文献の精度を向上させ、誤解を解消する。

LongCiteとは何ですか？

LongCiteは、清華大学が立ち上げたプロジェクトで、長文テキストの質問応答タスクにおける大規模言語モデル（LLM）の信頼性と検証可能性の向上を目的としています。このプロジェクトでは、きめ細かな文レベルの引用を生成することで、モデルの回答の正確性を検証できます。その主要コンポーネントには、LongBench-Cite評価ベンチマーク、CoF自動データ構築プロセス、LongCite-45kデータセット、およびこのデータセットで学習されたLongCite-8BとLongCite-9Bモデルが含まれます。これらのモデルは、長文テキストの内容を理解し、正確な質問応答サービスを提供するとともに、情報の透明性と信頼性を高めるために、直接参照可能なテキスト引用も提供します。

LongCiteの主な機能

• きめ細かい参照を生成するLongCiteは、言語モデルが長文の質問に答える際に文レベルの参照を生成することを可能にし、ユーザーが元のテキスト内の特定の情報に直接アクセスできるようにします。
• 回答の正確性を高めるLongCiteは、モデルの回答が元のテキストにより忠実であることを保証し、モデルが生成する可能性のある「錯覚」（つまり、元のテキストと一致しない情報を生成すること）を軽減します。
• 検証可能性を高めるユーザーは、モデルが提供する詳細な参照情報に基づいて回答の信憑性と正確性を検証できるため、モデルの出力の信頼性が向上する。
• 自動データ構築LongCiteは、CoF（粗粒度から細粒度へ）プロセスを採用し、きめ細かな参照情報を含む高品質な長文の質疑応答データを自動的に生成することで、モデルトレーニングのための豊富な注釈リソースを提供します。
• 評価基準LongCiteは、長文の質問応答における引用生成能力（正確性および引用の質を含む）を測定するためのLongBench-Citeベンチマークを導入しました。

LongCiteの技術原則

• 長文処理機能LongCiteは、非常に長いコンテキストウィンドウを持つ大規模な言語モデル（GLM-4-9B-1M、Gemini 1.5など）をサポートしており、数万語のテキストを処理・理解することができます。
• きめ細かな参照生成LongCiteは、文レベルの引用を生成するモデルを訓練することで、各回答を元のテキストの特定の文まで遡って追跡できるようにし、回答の検証可能性を向上させます。
• 自動データ構築プロセス（CoF）この手法は、自己学習型のアプローチを用いて、長文テキストから質問と回答のペアを自動的に生成します。長文テキストから回答に関連する文ブロックを取得し、ブロックレベルの参照を生成します。これらのブロックレベルの参照に基づいて、各ステートメントを裏付ける特定の文を抽出し、文レベルの参照を生成します。
• 教師ありファインチューニング（SFT）CoFプロセスによって生成された、きめ細かな参照情報を含む高品質なデータセットは、大規模な言語モデルの微調整に使用され、長文の質問応答タスクにおけるパフォーマンスを向上させます。

LongCiteのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/THUDM/LongCite
• ハギングフェイスモデルライブラリ：https://huggingface.co/THUDM
• arXiv技術論文：https://arxiv.org/pdf/2409.02897

LongCiteの応用事例

• 学術研究研究者や学者は、LongCiteを利用して膨大な文献を検索し、研究を裏付ける引用文献付きの詳細な回答を得ています。
• 法律相談法律専門家は、LongCiteを使用して法律文書を分析したり、特定の法律条項や判例引用を取得したり、法律分析や判例調査を支援したりします。
• 財務分析金融アナリストや投資家は、複雑な財務報告書や市場調査を理解し、重要なデータやトレンドに関する正確な情報を得るためにLongCiteを利用しています。
• 医療相談医療従事者は、最新の研究結果に基づいた診断や治療に関する推奨事項の引用文献を入手するために、医学文献の検索にLongCiteを利用しています。
• ニュース報道ジャーナリストや報道機関は、LongCiteを使用して記事内の情報を検証し、公開されたニュースコンテンツの正確性を確保し、信頼できる情報源の引用を提供しています。