LoopTool - 上海交通大学と小紅書が開発した自動データ進化フレームワーク

LoopToolとは何ですか？

上海交通大学と小紅書チームが開発したLoopToolは、自動化されたモデル認識型の反復データ進化フレームワークであり、ツール呼び出しタスクにおける大規模言語モデル（LLM）のパフォーマンスを向上させます。このフレームワークは、閉ループ最適化を用いてデータ生成、ラベル修正、モデルトレーニングを緊密に統合し、動的なフィードバックメカニズムを構築します。LoopToolは、シードデータ構築と反復最適化という2つの主要な段階から構成されます。後者には、貪欲な能力検出、識別誘導型ラベル検証、エラー駆動型データ拡張などのコアモジュールが含まれており、トレーニングデータの動的な調整とモデルの弱点の精密な最適化を可能にします。実験結果によると、LoopToolはツール呼び出しタスクにおけるモデルのパフォーマンスを大幅に向上させ、複数の公開リーダーボードにおいてオープンソースモデルの中で最高の成績を達成しています。

LoopToolの主な機能

• 自動データ生成マルチエージェント対話生成をサポートし、データの多様性と一貫性を確保するために、高品質なシードデータセットを構築する。
• 動的データ最適化モデルのパフォーマンスに基づいて、モデルの弱点を自動的に特定して最適化し、より難易度の高いトレーニングサンプルを生成します。
• タグの検証と修正オープンソースモデルを用いて予測結果とラベルを比較することで、誤ったラベルを修正し、ノイズの多いデータがトレーニングに与える影響を軽減できる。
• モデル性能の向上複数のベンチマークテストにおいて、モデルのツール呼び出し機能を大幅に向上させるとともに、モデルの汎化推論能力も強化します。

LoopToolの技術原理

• 自動化ツールはデータ構築（シード生成）を強化する機能的な意図と構造的な仕様に準拠したAPI定義は、意味木と制約木を用いて合成されます。高品質なシードデータセットは、マルチエージェント対話生成プロセス（プランナーエージェント、ユーザーエージェント、アシスタントエージェント、ツールエージェントを含む）を通じて構築されます。
• 閉ループ反復に基づくモデル学習とデータ進化：
  • GRPO強化学習トレーニングバイナリ報酬関数を用いてモデルを最適化するためのツールを呼び出す機能。
  • 貪欲能力検出（GCP）モデルの習熟サンプル、失敗サンプル、境界サンプルを特定し、次のトレーニングラウンドのために高パープレキシティのサンプルを保持する。
  • ガイドタグ検証判定（JGLV）オープンソースモデルを使用して、予測結果を元のラベルと比較し、誤ったラベルを修正します。
  • エラー駆動型データ拡張（EDDE）: 誤ったサンプルに基づいて、構造は似ているが文脈が異なる新しいサンプルを生成することで、モデルが難しいサンプルから学習する能力を高める。
• 閉ループ反復更新各トレーニングデータは、高パープレキシティサンプル、修正済みエラーサンプル、新規生成サンプル、および未使用サブサンプルで構成され、「トレーニング-評価-修正-拡張」という完全な閉ループを形成します。

LoopToolのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/Rednote-DeepExperience/LoopTool
• ハギングフェイスモデルライブラリ：https://huggingface.co/papers/2511.09148
• arXiv技術論文：https://arxiv.org/pdf/2511.09148

LoopToolの応用事例

• API呼び出しLoopToolは、インテリジェントな顧客サービスや自動化されたタスクなどのシナリオに適しており、モデルがクエリやデータ操作を効率的に完了するのに役立ちます。
• 複数ラウンドのタスク計画LoopToolは、複数ターンにわたる対話におけるモデルのタスク計画機能を最適化し、インテリジェントアシスタントの複数ステップのタスク処理など、複雑なタスクの段階的な実行に適応できるようにします。
• 知識検索質問応答システムにおける情報検索の精度と効率を向上させ、モデルがユーザーのニーズをよりよく理解できるようにするため。
• コード生成と実行プログラミング支援プラットフォームや教育プラットフォームに適用可能な、モデル生成コードおよび実行ツールの精度を向上させ、コードエラーを削減する。
• マルチモーダルタスク：モデルがマルチモーダルツールを呼び出す能力を最適化し、インテリジェントセキュリティや画像認識などのシナリオにおけるマルチモーダルデータ処理のパフォーマンスを向上させる。