START - アリババが中国科学技術大学と共同で開発した自己学習型推論モデル - AiBoss

STARTとは何ですか？

START（Self-Taught Reasoner with Tools）は、アリババグループと中国科学技術大学が共同開発した、ツールを活用した革新的な推論モデルです。外部ツール（Pythonコード実行ツールなど）を組み合わせることで、大規模言語モデル（LLM）の推論能力を向上させます。STARTは「ヒント推論」技術を用いて推論プロセス中にヒントを挿入し、モデルに外部ツールの利用を促します。また、「ヒントRFT」フレームワークを採用し、自己学習と微調整を行います。Long CoT（Long Chain Reasoning）を基盤とするSTARTは、ツール呼び出しを導入することで、複雑な数学的問題、科学的な質問への回答、プログラミング課題における精度と効率を大幅に向上させています。STARTは複数のベンチマークテストで優れた性能を発揮し、既存のモデルを凌駕し、ロングチェーン推論とツール統合を組み合わせた初のオープンソースモデルとなりました。

STARTの主な機能

複雑な計算と検証: 複雑な数学的計算、論理検証、およびシミュレーションを実行するために、Pythonコード実行エンジンを呼び出します。
自己調整と最適化STARTは、コードを実行して出力を検証するためのツールを使用し、エラーを自動的に検出してデバッグすることで、回答の精度を向上させます。
マルチ戦略探索ヒントは、モデルが複数の推論経路や手法を試すように導き、複雑な問題に直面した際のモデルの柔軟性と適応性を向上させます。
推論効率を向上させるツール呼び出しと自己検証に基づいて、複雑なタスクにおけるモデルの誤動作現象を軽減し、推論効率と信頼性を向上させます。

STARTの技術原則

長連鎖推論長連鎖推論の利点を継承しつつ、問題を複数の中間推論ステップに分解し、人間の深い思考プロセスをシミュレートすることで、複雑なタスクにおけるモデルの推論能力を向上させる。
ツール統合STARTは、外部ツール（Pythonコード実行ツールなど）を呼び出すことで、従来の長鎖推論の欠点を克服します。モデルは推論中にコードを生成し、ツールはそのコードを実行して結果を検証するために使用されます。
Hint-infer推論プロセス中に手動で設計したヒントを挿入することで、モデルが外部ツールを呼び出すように促します。追加のデモンストレーションデータを必要とせずに、特定のノードでツールを呼び出すようにモデルを誘導します。
Hint-RFTヒント推論と棄却サンプル微調整（RFT）を組み合わせることで、モデルによって生成された推論軌跡にスコアを付け、フィルタリングし、修正することで、モデルのツール利用機能をさらに最適化します。
自己学習フレームワークアクティブラーニングの手法に基づき、モデルによって生成された推論軌跡から有用なデータが選択され、微調整に用いられることで、モデルはツールをより効果的に使用する方法を学習できるようになる。
テスト中の膨張推論プロセスの最後にヒントを挿入すると、モデルの思考時間とツール呼び出しの回数が増加し、それによって推論の精度と成功率が向上します。

STARTプロジェクトのアドレス

arXiv技術論文：https://arxiv.org/pdf/2503.04625

STARTの応用シナリオ

数学の問題を解く数学コンテストや高度な数学問題など、複雑な数学問題を解き、コードによる検証によって精度を向上させる。
科学研究支援これは、物理学、化学、生物学などの分野における複雑な計算問題や科学的問題を解決するのに役立ちます。
プログラミングとデバッグコードを生成し、自動的にデバッグすることで、プログラミング上の問題を解決し、開発効率を向上させます。
学際的な問題解決複数の分野の知識を統合し、工学設計やデータ分析といった複雑な課題を解決する。
教育と学習高度な個別指導ツールとして、詳細な問題解決プロセスとフィードバックを提供することで、生徒の数学と科学の学習を支援します。