rStar2-Agent - マイクロソフトのオープンソース数学推論モデル

rStar2-Agentとは何ですか？

rStar2-Agentは、わずか140億個のパラメータを持つMicrosoftのオープンソース数学推論モデルです。エージェント強化学習を用いてトレーニングされたこのモデルは、AIME24数学推論テストで80.6%の精度を達成し、6710億個のパラメータを持つDeepSeek-R1を凌駕しています。このモデルは数学推論に優れ、科学的推論やエージェントツールの使用といったタスクにおいて高い汎化能力を発揮します。効率的なトレーニングインフラストラクチャ、革新的なアルゴリズム、そして独自のトレーニングプロセスという3つの主要な技術的ブレークスルーにより、このモデルは高いパフォーマンスと低い計算コストを実現し、AI推論の分野に新たなアイデアをもたらします。

rStar2-Agentの主な機能

• 効率的な数学的推論AIME24などの数学的推論テストにおいて、140億個のパラメータを用いて80.6%という高い精度を達成し、はるかに多くのパラメータを持つモデルを凌駕し、複雑な数学問題を迅速かつ正確に解くことができる。
• 科学的推論能力GPQA-Diamondの科学的推論ベンチマークテストでは、正答率が60.9%に達し、科学的知識を理解し、それに基づいて推論する能力を示し、科学的な質問への回答への応用を裏付けました。
• スマートツール呼び出し問題の要件に基づいて、コード実行ツールなどの適切なツールを自動的に呼び出すことができ、それによって問題解決の効率を向上させる。
• 高い一般化能力特定の分野で優れた性能を発揮するだけでなく、推論能力を様々な他のタスクや分野に一般化することを可能にし、幅広い応用可能性を示している。

rStar2-Agentの技術的原理

• エージェント強化学習このモデルは、特定のツール環境と相互作用し、環境からのフィードバックに基づいて推論プロセスを調整し、報酬メカニズムを通じてモデルがより良い推論戦略を学習するように導くことで、効率的な学習と推論能力の向上を実現します。
• 高効率なトレーニングインフラこのシステムは、64個のAMD MI300X GPUによる分散アーキテクチャに基づいた、独立した高スループットのコード実行サービスを使用することで、高並列処理のツール呼び出しと高速実行を実現し、効率的かつ安定したトレーニングプロセスを保証します。
• GRPO-RoCアルゴリズムこれは、Resample-on-Correctの展開戦略を統合し、ツールの使用を最適化し、非対称サンプリングメカニズムを通じて高品質の軌跡をフィルタリングすることで、エラー率を低減し、モデル推論の精度と効率性を向上させます。
• 多段階強化学習トレーニングプロセスまず、非推論型の微調整を用いて基本的な能力を育成し、その後、強化学習を段階的に用いて推論能力を徐々に向上させる。64個のGPUを使用することで、1週間以内にトレーニングを完了させ、最高のパフォーマンスを実現するとともに、コストを大幅に削減する。

rStar2-Agentプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/microsoft/rStar
• arXiv技術論文：https://www.arxiv.org/pdf/2508.20722

rStar2-Agentの応用シナリオ

• 教育このシステムは、学生一人ひとりに合わせた学習指導を提供することで学業成績の向上を支援すると同時に、課題や試験を迅速に評価することで教育効率の向上にも貢献します。
• 科学研究分野複雑なデータの分析を支援するとともに、科学モデルの構築と最適化を行い、科学研究における意思決定を強力にサポートします。
• 金融セクター株価の動向を正確に予測し、投資家に科学的な投資アドバイスを提供するとともに、取引データをリアルタイムで監視することで、金融詐欺のリスクを効果的に防止します。
• 工学分野rStar2-Agentは、高品質なプロジェクト完了を確実にするためにエンジニアリング設計スキームを最適化すると同時に、システムの障害をリアルタイムで診断し、エンジニアリング効率を向上させます。
• 日常生活インテリジェントアシスタントとして、ユーザーの健康データに基づいてパーソナライズされたサービスを提供し、科学的な健康管理プランを作成します。