SPAR - Zhipuチームが開発した自己対戦型トレーニングフレームワーク

SPARとは何ですか？

Zhipuチームが開発した自己再生型フレームワークであるSPARは、大規模言語モデルの命令追従能力を強化します。このフレームワークは、ジェネレーターとリファイナーという2つの内部役割間の相互作用によって成り立っています。ジェネレーターは命令を実行して応答を生成し、リファイナーはこれらの応答を分析して改善します。SPARはツリー探索技術を用いて応答を洗練・最適化し、無関係な干渉を排除し、命令遵守に不可欠な重要な差異を強調します。このプロセスにより、モデルの命令実行精度が向上し、自己改善能力も強化されます。実験結果によると、SPARフレームワークはIFEvalなどのベンチマークにおいてモデルのパフォーマンスを大幅に向上させ、大規模言語モデルの命令追従能力強化に効果的であることが実証されています。

SPARの主な機能

• 命令遵守を向上させる大規模言語モデル（LLM）が命令を正確に理解し実行する能力を向上させる。
• 効率的な選好ペアの構築自己ゲームとツリー探索戦略に基づいて、交絡因子を排除した効果的で比較可能な選好ペアを構築することが可能であり、これによりモデルは重要な違いを学習することができる。
• 自己ゲームの反復的改善このモデルは、生成者と改善者の両方の役割を担い、自己ゲームを行い、反復を通じて指示に従う能力を継続的に向上させることを基本としている。
• ツリー検索戦略ツリー探索アルゴリズムは、モデルの応答を洗練するために使用され、生成された応答が指示により正確に従うことを保証します。
• モデルのパフォーマンス最適化最適化モデルと改善モデルという2つのモデルに基づいて、命令遵守性能全体が向上する。
• 拡張性と移植性これは、さまざまなサイズのモデルの拡張性と移植性を実証し、さまざまなサイズのモデルの指示への準拠性を向上させることができる。

SPARの技術原則

• 自己ゲームフレームワークSPARフレームワークにおいて、LLMはジェネレーターとインプルーバーという2つの役割を担います。ジェネレーターは応答を生成し、インプルーバーはその応答を評価・改善します。
• 木探索アルゴリズムこのアルゴリズムは、可能な応答パスを探索し、ツリー探索アルゴリズム（幅優先探索（BFS）および深さ優先探索（DFS）を含む）に基づいて最適な応答を見つけます。
• 妨害要因を取り除く洗練された応答ペアに基づいて、指示の遵守とは無関係な干渉要因が排除され、モデルは指示の重要な要件の学習に集中できるようになる。
• 反復トレーニング反復学習に基づき、生成モデルと改善モデルは継続的に最適化され、各反復は前回のラウンドの結果に基づいて行われます。
• データ構築: 複雑な指示に従うプロンプトと、それに対応する教師あり微調整 (SFT) データを含む高品質のデータセットを構築し、アクターモデルとリファイナーモデルの初期化とトレーニングに使用します。
• モデル最適化SPARは、ツリー探索戦略を用いて洗練された応答ペアを生成し、直接選好最適化（DPO）と拒否再サンプリング微調整（RFT）に基づいてアクターモデルとリファイナーモデルを訓練することで、継続的な自己改善を実現します。

SPARのプロジェクト住所

• GitHubリポジトリ：https://github.com/thu-coai/SPaR
• ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/CCCCCC/SPaR
• arXiv技術論文：https://www.arxiv.org/pdf/2412.11605

SPARの応用シナリオ

• スマートアシスタント個人用またはビジネス用のインテリジェントアシスタントにおいて、これはモデルがユーザーのコマンドをより正確に理解し、より正確なサービスと応答を提供するのに役立ちます。
• 顧客サービス顧客サービス分野において、チャットボットが顧客の要望により正確に対応できるように訓練することで、問題解決の効率性と顧客満足度を向上させることができる。
• 教育テクノロジー教育分野においては、教師や生徒からの複雑な指示を理解し実行できるインテリジェントな教育アシスタントの開発を支援し、個々の学習者に合わせた学習体験を提供する。
• 医療相談医療相談システムにおいて、患者の問題を理解するモデルの能力を向上させることは、安全かつ正確な医療アドバイスと情報の提供を保証する。
• スマートホームコントロールスマートホームの分野では、これは音声制御アシスタントがユーザーのホームコントロールコマンドをより正確に理解し、実行するのに役立ちます。