SuperGPQA - Doubaoの大規模モデルとM-A-Pオープンソースが共同開発した知識推論ベンチマークスイート。 - AiBoss

SuperGPQAとは何ですか？

SuperGPQAは、ByteDanceのDoubao Big ModelチームがM-A-Pと共同で開発した、包括的な知識推論ベンチマークテストスイートです。大学院レベルの285分野を網羅し、26,529問の専門的な問題が含まれています。従来のベンチマークテストの欠点である、対象分野の網羅性の低さ、問題の質の低さ、評価尺度の限定性といった問題を克服するため、SuperGPQAは専門家と大規模言語モデルが協力して構築されており、質の高い、かつ難易度の高い問題を提供しています。SuperGPQAはSTEM分野と非STEM分野の両方を網羅しており、問題の42.33%は数学的計算や厳密な推論を必要とするため、大規模言語モデルの汎化能力と真の推論レベルを効果的に測定できます。

SuperGPQAの主な機能

大規模言語モデル（LLM）の汎化能力に関する包括的な評価SuperGPQAは、285の大学院レベルの分野（ニッチな分野を含む）を網羅しており、様々な分野におけるLLM学生の知識蓄積量と推論能力を包括的に測定することができる。
モデルの真の推論能力を明らかにする問題の42.33%は数学的計算または形式的推論を必要とするため、このテストセットは知識の暗記だけでなく、複雑なタスクにおけるモデルのパフォーマンスを効果的に評価できる。
学際的な分析フレームワークを提供するSuperGPQAは、STEM（科学、技術、工学、数学）分野と非STEM（哲学、文学、歴史など）分野の両方を網羅する幅広い分野を対象としており、異なる分野にわたる研究モデルのパフォーマンスを評価するための統一的なツールを提供します。
ロングテール主題評価のギャップを埋める従来の評価セットは、軽工業、農業、サービス科学などのニッチな分野を網羅していません。SuperGPQAは、すべての分野を網羅することで、この欠点を補っています。
モデル最適化のための参考資料を提供するSuperGPQAでの評価結果に基づき、モデルの欠点を特定し、モデルアーキテクチャと学習方法を最適化しました。

SuperGPQAの技術原則

専門家 - LLM 協働建設：
- ソースフィルタリング専門家は、クラウドソーシングによるラベル付けに伴う低品質のリスクを回避するため、信頼できる情報源（教科書や権威ある実践ウェブサイトなど）からオリジナルの質問を選定・収集する。
- 転写と正規化専門家たちは、すべての問題が統一された学術的な用語と標準的な多肢選択式問題形式を使用するように、元の問題の言語と形式を標準化した。
- 品質検査質問の質の高さと識別力の高さは、ルールに基づいた初期フィルタリング、LLMに基づいた品質チェック（妥当性やドメイン関連性の評価など）、および専門家によるレビューによって保証されます。
マルチモデル協調検証品質検査段階では、データ漏洩のリスクを低減し、質問の信頼性と識別力を向上させるために、複数の高度なLLM（GPT-4、Gemini-flashなど）を使用して多次元テストを実施します。
学際的な意味構造設計t-SNEなどの可視化技術に基づいて質問の意味構造を分析し、工学および科学に関する質問において、異なる分野の言語的特徴が保持され、意味的な類似性が維持されるようにします。
高難易度タスク設計問題の42.33%は数学的な計算や厳密な推論を必要とするため、このテストセットは知識の暗記だけでなく、複雑なタスクにおけるモデルのパフォーマンスを効果的に評価できるようになっている。

SuperGPQAのプロジェクトアドレス

プロジェクト公式サイト：https://supergpqa.github.io/
GitHubリポジトリ：https://github.com/SuperGPQA/SuperGPQA
ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/m-a-p/SuperGPQA
arXiv技術論文：https://arxiv.org/pdf/2502.14739

SuperGPQAの応用シナリオ

モデル性能評価：複数の分野にわたる大規模言語モデルの知識と推論能力を包括的に測定する。
モデル最適化ガイダンスこれは、研究者がモデルの欠陥を特定し、トレーニング戦略を最適化するのに役立ちます。
学際的分析異なる分野におけるモデルの能力に関する比較研究を支援する。
教育研究高度な教育ツールの開発や、教育におけるAIの応用に関する研究に利用される。
産業用途テストインテリジェントな顧客サービスや医療支援などの産業アプリケーション向けのテストツールを提供します。