OlympicArena - 上海交通大学がAI Labなどと共同で立ち上げた、学際的な認知推論ベンチマークフレームワーク。

オリンピックアリーナとは何ですか？

OlympicArenaは、上海交通大学、上海AIラボ、蘇州大学、および上海交通大学生成人工知能研究所（GAIR Lab）が共同で立ち上げた、学際的な認知推論ベンチマークフレームワークです。OlympicArenaには、数学、物理、化学、生物、地理、天文学、コンピュータサイエンスの7つの主要分野を網羅する、国際オリンピック競技大会からの11,163のバイリンガル問題が含まれています。OlympicArenaは、AIモデルの高度な認知推論能力、特に論理的推論と視覚的推論能力を包括的に評価します。OlympicArenaは、解答レベルとプロセスレベルの両方で詳細な評価を行うことで、複雑な問題を解決する際のAIモデルの限界を明らかにし、AI技術を超知能へと導きます。

オリンピックアリーナの主な機能

• 完全報道本研究は、数学、物理学、化学、生物学、地理学、天文学、コンピュータ科学を含む7つの主要分野を網羅し、合計34のサブ分野をカバーしており、複数の分野におけるAIモデルの認知推論能力を包括的に評価する。
• バイリンガルサポートベンチマークテストは中国語と英語の両方で利用可能であり、国際的な適用性を高めている。
• 解答レベルの評価AIモデルが提供する回答を正確に評価するため。
• プロセスレベルの評価問題解決プロセスの各ステップを評価し、AIモデルの推論が論理的かつ正しいことを確認する。
• マルチモーダルサポートこれは、テキストと画像が複雑に絡み合った問題に対応し、マルチモーダル情報を処理するAIモデルの能力を評価します。

オリンピックアリーナの技術的原則

• データ収集とラベル付け質の高い多様な問題を確保するため、62の国際オリンピック競技大会から問題が収集されました。専門チームが問題の抽出とラベル付けを行い、問題の分類、解答タイプのラベル付け、解答手順の注釈付けなどを行いました。ラベル付けされたデータの正確性と一貫性を確保するため、複数段階の検証メカニズムが導入されました。
• 評価方法解答が固定されている問題の場合、モデル出力の正しさはルールマッチングに基づいて検証されます。コード生成が必要な問題の場合、コードの正しさはテストケースを用いて検証されます。モデルによって生成された解法手順は、標準的な解法手順と比較され、各手順の正しさが評価されます。ルールマッチングによる評価が難しい問題の場合、高性能モデル（GPT-4Vなど）が評価器として使用され、モデル出力の正しさが判定されます。
• マルチモーダル処理画像に関する問題の場合、画像認識技術を用いて画像から重要な情報を抽出し、テキスト情報と組み合わせてAIモデルのマルチモーダル処理能力を評価します。AIモデルが画像の内容をよりよく理解できるよう、画像の説明文を生成します。
• データ漏洩検出これは、Nグラム予測技術を用いて、モデルがベンチマーク問題を過去に学習したことがあるかどうかを確認し、ベンチマークテストの公平性を確保するものです。各問題に対してインスタンスレベルのテストを実施し、モデルが問題内の重要な情報を正しく予測しているかどうかを検証します。

オリンピックアリーナのプロジェクト住所

• プロジェクト公式サイト：https://gair-nlp.github.io/OlympicArena/
• GitHubリポジトリ：https://github.com/GAIR-NLP/OlympicArena
• ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/GAIR/OlympicArena
• arXiv技術論文：https://arxiv.org/pdf/2406.12753

オリンピックアリーナの応用事例

• AIモデルのパフォーマンス評価：複数の学際分野におけるAIモデルの認知推論能力を検証する。
• モデルのトレーニングと最適化これはモデルの弱点を特定し、トレーニング戦略の改善に役立ちます。
• 教育と学習支援教育を支援するための、オリンピックレベルの学習リソースを提供します。
• 科学研究と発見科学研究におけるAIの応用を促進し、科学的発見に貢献する。
• 技術競争と課題AI技術の競技プラットフォームとして、イノベーションを促進し、技術開発を推進することを目指しています。