SCoRe - Google DeepMindが開発した複数ラウンド強化学習手法

スコアとは何ですか？

SCoRe（Self-Correction via Reinforcement Learning）は、Google DeepMindが開発した革新的なマルチラウンド強化学習手法で、大規模言語モデル（LLM）の自己修正能力を向上させることを目的としています。モデルが生成したデータで学習することで、外部からの指示なしに誤った回答を自己修正できます。SCoReの学習は2つのフェーズで構成されます。第1フェーズでは、学習中のモード崩壊を防ぐために適切な正則化制約を用いてモデルを初期化します。第2フェーズでは、報酬メカニズムを用いて2回目の試行で効果的な自己修正を促します。実験結果によると、SCoReは数学問題とプログラミングタスクにおいて、それぞれ15.6%と9.1%の自己修正能力向上を実現し、従来の教師あり学習手法を凌駕しています。SCoReの成功は、特に高精度が求められるアプリケーションにおいて、強化学習が大規模モデルのパフォーマンス向上に有効であることを示しています。

SCoReの主な機能

• 自己修正SCoReは、大規模な言語モデルが外部からのフィードバックなしに、自身のエラーを特定して修正することを可能にする。
• 自己生成データによるトレーニングこのモデルは、外部の注釈や教師モデルに頼ることなく、モデル自身が生成したデータに基づいて学習されます。
• パフォーマンスの向上数学およびプログラミング課題におけるモデルの自己修正能力を向上させる。
• 複数ラウンド学習最適な回答を得るために、複数回の試行錯誤を経て、回答は徐々に改善されていく。
• 非常に適応力が高いトレーニング時と推論時におけるデータ分布の違いに適応できる。

SCoReの技術原則

• 複数ラウンド強化学習SCoReは、複数ラウンドの強化学習フレームワークに基づいており、モデルが複数回の連続した試行を通じて動作を改善する方法を学習することを可能にします。
• 正則化制約モデルの最初の試みでは、出力の安定性を維持するために、KLダイバージェンスなどの正則化手法を使用してください。
• 報酬形成報酬関数を設計することで、モデルがその後の試行で効果的な自己修正を行うように促すことができる。
• ポリシーの初期化トレーニングの第一段階では、モデルの自己修正能力を初期化および向上させるための特定の戦略が用いられる。
• 分布の不一致を避けるSCoReは、自己生成データで学習を行うことにより、学習データとモデルの実際の応答分布との間の不一致を回避します。
• 漸進的学習このモデルは、各試行において過去の出力を改善しようと試み、段階的な学習を実現する。

SCoReのプロジェクト住所

• arXiv技術論文：https://arxiv.org/pdf/2409.12917

SCoReの応用シナリオ

• 数学の問題を解く数学において、モデルは複雑な計算と論理的推論を実行する必要があります。SCoReは、モデルが誤った解答を出した後に自己修正を行うことで、問題解決の精度を向上させます。
• プログラミングとコード生成プログラミング作業において、コードの正確性は極めて重要です。SCoReは、モデルを誘導してコードのエラーを修正し、信頼性を向上させることができます。
• 法律文書分析法律分野における文書分析には、極めて高い精度が求められます。SCoReは、法律条項や判例を解釈する際に、モデルが自己修正を行うのを支援します。
• 財務報告書の作成財務報告書の誤りは深刻な結果を招く可能性があります。SCoReは、報告書作成時のモデルの正確性を保証します。
• 医療診断補助医療分野において、モデルの自己修正能力は、診断精度の向上と誤診リスクの低減に役立つ。