自動思考 - Kuaishouのオープンソース大規模自動思考モデル

自動思考とは何ですか？

Auto Thinkは、KuaishouのKwaiPilotチームが開発したオープンソースの自動思考モデルで、KwaiCoder-AutoThink-previewによって開発されました。深層思考モデルに内在する「考え過ぎ」の問題に対処するため、このモデルは自動思考モデルのための新しいトレーニングパラダイムを提案しています。従来の強化学習アルゴリズム（GRPO）をベースに、プロセス監視型強化学習手法であるStep-SRPOを導入し、複雑なタスクにおけるモデルのパフォーマンスをさらに向上させています。このモデルは「思考」能力と「非思考」能力を統合し、問題の難易度に応じて思考モードを自動的に切り替えます。この思考モードのトレーニングにより、モデルは複数の「思考」および「非思考」ベンチマークでパフォーマンスの向上を実現しました。一部のコーディングおよび数学タスクでは、自動思考モードを有効にすることで、スコアが最大20ポイント向上しました。

オートシンクの主な機能

• 思考モードを自動的に切り替えるこのモデルは「思考」能力と「非思考」能力を統合し、問題の難易度に応じて思考モードを自動的に切り替えます。簡単な問題の場合は、「高速思考」モードを使用して直接解答を導き出し、不必要な複雑な推論プロセスを回避します。複雑な問題の場合は、「低速思考」モードに切り替えて詳細な推論と分析を行い、より正確な問題解決を実現します。
• 効率とパフォーマンスを向上させる思考モードを自動的に切り替える機能により、複数の「思考型」および「非思考型」ベンチマークにおいて、モデルのパフォーマンスが向上した。一部のコーディングおよび数学的タスクでは、自動思考モードを有効にすることで、スコアが最大20ポイント向上した。

オートシンクの技術的原理

• 最小限の介入省略記号を強調したプロンプトを用いることで、モデルの思考モードをランダムに切り替える能力が活性化される。このプロンプト構造はシンプルながら効果的で、モデルが異なる思考モードを切り替えるように導き、その後の強化学習トレーニングの基礎を提供する。
• 多段階強化学習
  • フェーズ1この段階の目標は、モデルが高速思考モードと低速思考モードの両方を一貫して使用できるようにすることです。「高速思考」は単純な問題を解決するために使用され、「低速思考」は複雑な問題を解決するために使用されます。
  • フェーズ2このトレーニング段階では、モデルが高速思考パターンと低速思考パターンの両方において正しく応答できる能力を最適化します。このトレーニング段階を通して、モデルはさまざまな思考パターン下で問題をより正確に処理できるようになり、全体的なパフォーマンスが向上します。
  • フェーズ3このトレーニング段階では、速い思考と遅い思考という思考プロセスの連鎖出力が洗練されます。この段階を過ぎると、モデルはもはや深く考えるかどうかをランダムに決定するのではなく、問題の難易度に応じて思考モードを自律的に選択できるようになり、より効率的かつ正確な推論プロセスを実現できます。

Auto Thinkのプロジェクトアドレス

• ハギングフェイスモデルライブラリ：https://huggingface.co/Kwaipilot/KwaiCoder-AutoThink-preview

自動思考アプリケーションシナリオ

• ビデオ生成Auto Thinkの自動思考機能は、動画生成プロセスをさらに最適化し、生成される動画コンテンツをさまざまな難易度や複雑さのレベルにより適したものにすることができます。
• コピーライティングオートシンクは、質問の難易度に基づいて思考モードを自動的に切り替えることで、より効率的かつ正確なコピーライティングのアイデアや手法を提供します。
• インテリジェントな顧客サービスAuto Thinkの自動思考機能により、質問の複雑さに基づいてユーザーの操作に迅速かつ正確に対応できるため、ユーザーエクスペリエンスが向上します。
• 精密検索Auto Thinkの自動思考機能は、検索結果をさらに最適化し、ユーザーのニーズにより合致した、より正確な情報を提供することができます。
• パーソナライズされたおすすめ情報オートシンクは、ユーザーの個々のニーズに基づいて思考モードを自動的に切り替えることで、より正確な推奨結果を提供します。