FACTS Grounding - 大規模モデルの性能を評価するためにGoogleが立ち上げたベンチマーク。

FACTSグラウンディングとは何ですか？

Google DeepMindが開発したFACTS Groundingは、大規模言語モデル（LLM）の能力を評価するためのベンチマークです。これは、与えられたコンテキストに基づいて、捏造された情報を使用せずに事実に忠実なテキストを生成するモデルの能力を測定します。FACTS Groundingテストスイートには、複数のドメインにわたる1,719の例が含まれており、モデルの応答は最大32,000トークンのドキュメントに基づいている必要があり、要約、質問応答、書き換えなどのタスクを網羅しています。評価にはGemini、GPT-4o、Claudeの3つのモデルが使用され、資格評価と事実精度評価の2段階で実施され、モデルの信頼性と適用性を高めます。

FACTSグラウンディングの主な機能

• 言語モデルの事実の正確性を評価する: 文脈が与えられた場合に、大規模言語モデル（LLM）が事実に忠実なテキストを生成する能力を評価する。
• 「幻想」（捏造された情報）を避けるこのテストモデルの目的は、与えられた文書と一致しない誤った情報、つまり「錯覚」が生じるのを防ぐことである。
• 長文回答の評価このモデルは、最大32,000トークンを含む文書を処理し、それに基づいて長文の回答を生成できることが求められます。
• 複数分野にわたるカバー範囲このデータセットは、金融、テクノロジー、小売、医療、法律など、複数の分野を網羅しており、モデルがさまざまな分野に適用できる能力を評価するものです。

FACTS接地技術原理

• 長時間の入力処理目的は、最大32,000トークンの文書を処理するモデルの能力を評価することであり、そのためには、モデルが長いテキスト情報を理解し、合成して応答を生成する必要がある。
• 文脈的関連性このモデルは、与えられたユーザープロンプトと関連文書に密接に関連するテキストを生成し、応答が提供された文書の内容に完全に基づくことを保証します。
• 自動レビューシステム生成されたテキストがユーザーの要求を満たしているか、また提供された文書に完全に基づいているかを評価するために、自動レビューモデル（Gemini 1.5 Pro、GPT-4o、Claude 3.5 Sonnetなど）を使用します。
• 2段階評価プロセス：
  • 資格評価モデルの応答がユーザーの要求を満たしているかどうかを判断します。
  • 事実の正確性評価回答が提出された文書のみに基づいているかどうか、つまり「虚偽」（捏造された情報）がないかどうかを評価する。
• 集計評価メカニズム複数の評価モデルの結果を統合することで、単一モデルの偏りを軽減し、評価の精度と信頼性を向上させることができる。

FACTSグラウンディングプロジェクトの住所

• プロジェクト公式サイト：https://deepmind.google/discover/blog/facts-grounding
• 技術論文：https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding

FACTS Groundingの適用シナリオ

• 情報検索および質問応答システム質疑応答システムでは、与えられた文書や文脈に基づいて正確な回答が提供されます。
• コンテンツの要約と生成このモデルは文書の要約を生成し、長文の文書を理解し、重要な情報を正確に抽出します。
• 文書の書き換えと再記述元の文書に基づいて内容を言い換えたり書き直したりする必要がある場合は、書き直した内容が事実の正確性を維持していることを確認してください。
• 自動化された顧客サービス顧客サービス分野においては、具体的な情報やポリシー文書に基づいて正確な回答を提供することで、サービスの効率と品質を向上させる。
• 教育と研究教育分野においては、学生や研究者が迅速かつ正確に情報を入手するのに役立ち、学習や研究を支援する。