project
Math24o - SuperCLUE：高校生向け数学オリンピック競技会のための、オープンソースの推論能力評価ベンチマーク。
Math24oは、SuperCLUEに類似した、中国のオープンソースの大規模モデル評価ベンチマークであり、高校生のオリンピックレベルの数学的推論能力評価のために設計されています。主に大規模言語モデルの数学的推論能力を評価するために使用されます。2024年の国家標準規格を採用しています。
Math24oとは何ですか？
Math24oは、SuperCLUEの一部である、中国のオープンソースの大規模モデル評価ベンチマークです。高校生の数学オリンピックレベルの推論能力を評価するために設計されており、主に大規模言語モデルの数学的推論能力を評価します。2024年度全国高校数学コンテストの予選ラウンドの問題を使用し、整数または小数の一意の解答を持つ21の難易度の高い問題が含まれています。評価では、モデルの解答を基準解答と自動的に比較し、モデルの精度を客観的に評価します。このベンチマークは、複雑な数学的問題を解決する言語モデルのパフォーマンスを効果的に測定し、関連する研究開発のための強力なツールとなります。
Math24oの主な機能
- 高度な数学問題の評価Math24oは、2024年度全国高校数学コンテストの予選問題を使用しており、関数、数列、幾何学など複数の数学分野を網羅した21の難易度の高い問題解決問題が含まれています。これにより、高校数学コンテストにおけるモデルの推論能力を総合的に評価できます。
- 回答の独自性と客観的な評価すべての評価問題には固有の最終解答があり、その解答は整数または小数でなければなりません。これにより、評価の公平性と信頼性が確保されます。プログラムは、モデルの解答が参照解答と一致するかどうかを自動的に判定し、モデルの精度を客観的に評価します。
- 自動評価プロセスMath24oは、ユーザーがモデルの解答を指定したファイルに保存し、Pythonスクリプトを実行することで、モデルの平均スコアと各問題に対する詳細な評価結果を自動的に取得できる自動評価ツールを提供しています。
- モデル開発のための参考資料を提供する評価ベンチマークは、将来のモデル開発の参考となり、開発者が複雑な数学的タスクにおけるモデルのパフォーマンスを理解するのに役立ち、数学的推論能力におけるモデルのさらなる向上を促進します。
Math24oの技術的実装
- 技術的な実装Math24oは技術的にはPythonプログラミング言語をベースとしており、特定のスクリプトを使用して評価プロセスを自動化しています。これにより、評価プロセス全体がより効率的かつ標準化され、人的介入の可能性が低減されます。
Math24oのプロジェクトアドレス
- GitHubリポジトリ：https://github.com/CLUEbenchmark/Math24o
Math24oモデルの性能評価と比較
テスト結果によると、o3-mini(high)が最も優れた性能を発揮し、85.71点という最高得点を獲得しました。QwQ-32BやDeepSeek-R1などの他のモデルは、それぞれ66.67点と57.14点と比較的低い得点にとどまり、高校数学オリンピック分野における大規模モデルの性能にはまだ改善の余地があることを示しています。
| ランキング | モデル | 機構 | 合計スコア | 使用方法 | 発売日 |
|---|---|---|---|---|---|
| 1 | o3-mini(high) | OpenAI | 85.71 | API | 2025.03.12 |
| 2 | Gemini-2.0-Flash-Thinking-Exp-01-21 | 71.43 | API | 2025.03.12 | |
| 3 | QwQ-Max-Preview | アリババクラウド | 66.67 | 公式サイト | 2025.03.12 |
| 3 | QwQ-32B | アリババクラウド | 66.67 | モデル | 2025.03.12 |
| 3 | o1 | OpenAI | 66.67 | API | 2025.03.12 |
| 4 | DeepSeek-R1 | 詳細な調査 | 57.14 | API | 2025.03.12 |
| 4 | Claude 3.7 Sonnet | Anthropic | 57.14 | POE | 2025.03.12 |
Math24oの応用事例
- 教育Math24oは、教育分野において生徒の数学的能力を評価・向上させるためのツールを提供しています。高校数学オリンピックレベルの問題を用いることで、教師や教育研究者が、複雑な数学問題における生徒の推論能力や問題解決能力を理解するのに役立ちます。
- 学術研究学術研究において、Math24oは、さまざまな大規模言語モデル（LLM）の数学的推論能力を評価・比較するためのベンチマークとして活用できます。研究者はこのベンチマークを用いて、複雑な数学的問題を解決する際のモデルのパフォーマンスを測定し、モデルのパフォーマンス向上と最適化に役立てることができます。
- モデル開発と最適化Math24oは、大規模な言語モデルの開発と最適化において重要な参考資料となります。高校数学オリンピックの問題を用いてモデルの性能をテストすることで、開発者はモデルの長所と短所をより深く理解し、モデルのアーキテクチャと学習戦略を調整し、数学的推論タスクにおけるモデルのパフォーマンスを向上させることができます。
- スマートキャンパス建設Math24oは、スマートキャンパスの構築の一環として活用でき、学校が生徒の数学能力を評価し、向上させるのに役立ちます。
- 教育資源の統合Math24oの質問と評価ツールは、教育リソースプラットフォームに統合することができ、生徒と教師に豊富な学習および指導リソースを提供します。