AB
AB
AiBoss

すべてのカテゴリ

project

WebRL - 清華大学とZhipu AIが共同で開発した、自己進化型のオンラインコース強化学習フレームワーク。

WebRLは、清華大学とZhipu AIが共同で開発した、自己進化型のオンラインコース強化学習フレームワークです。オープンな大規模言語モデル（LLM）を用いて高性能なネットワークエージェントを訓練します。WebRLはタスクを動的に生成し、結果を監視し、報酬を提供します。

WebRLとは何ですか？

WebRLは、清華大学とZhipu AIが共同開発した、自己進化型のオンラインコース強化学習フレームワークです。オープンな大規模言語モデル（LLM）を使用して高性能なネットワークエージェントをトレーニングします。WebRLはタスクを動的に生成し、結果監視型報酬モデル（ORM）を使用してタスクの成功を評価し、適応型強化学習ポリシーを採用して、オンライン学習におけるトレーニングタスクの不足、フィードバック信号の疎、ポリシー分布のずれなどの課題に対処します。WebRLは、WebArena-Liteベンチマークにおいて、Llama-3.1やGLM-4などのモデルの成功率を大幅に向上させ、独自のLLM APIや以前にトレーニングされたネットワークエージェントを凌駕し、オープンソースLLMのタスク能力を強化する上での有効性を実証しています。

WebRLの主な機能

  • 自己進化コース学習WebRLは、失敗した試行から新しいタスクを生成したり、タスクの難易度や複雑さを動的に調整したり、エージェントの現在のスキルレベルに適応したりすることができる。
  • 成果に基づく監督付き報酬モデル（ORM）WebRLは、タスクの成功を評価するORMを訓練し、エージェントの学習プロセスを導くためにバイナリ報酬信号（成功の場合は1、失敗の場合は0）を提供します。
  • 適応型強化学習戦略KLダイバージェンス制約に基づくポリシー更新アルゴリズムを提案する。WebRLはポリシー更新プロセス中の分布ドリフトを制限し、エージェントが新しいタスクを学習する際に既存の知識から大きく逸脱しないようにする。
  • 体験リプレイバッファWebRLは経験再生バッファを使用して過去の成功体験を保持し、壊滅的な忘却のリスクを軽減し、トレーニング中に経験を再利用します。
  • 継続的なパフォーマンス改善WebRLは反復的な自己進化に基づいており、エージェントがオンライン環境において継続的かつ一貫してパフォーマンスを向上させることを可能にする。

WebRLの技術的原理

  • 問題提起WebRLは、ネットワークタスクを有限期間のマルコフ決定過程（MDP）としてモデル化し、状態、行動、報酬、および遷移確率を定義します。
  • ORMトレーニングORMとして訓練済みのLLMに基づいて、エージェントの実行軌跡がタスクを正常に完了したかどうかを自動的に評価し、フィードバック信号を提供する。
  • 強化学習オンラインネットワーク環境において、WebRLは自己進化型のコース学習戦略を用いてタスクを動的に生成し、KL制約ポリシー更新アルゴリズムを用いてポリシー分布の大幅なずれを防ぎます。
  • 体験再生経験再生バッファに基づいて過去の知識が保持されるため、壊滅的な忘却のリスクが軽減されます。成功した軌跡を保存することで、誤った軌跡の中間状態を正確に推定するという課題を回避できます。
  • 自己進化型学習戦略WebRL implements a two-step process of generation and filtering, generating increasingly challenging tasks while still being suitable for the agent's current capabilities, and creating new instructions based on in-breadth evolving technology.
  • 戦略アップデートWebRLは、ポリシーを更新する際に、旧ポリシーと新ポリシー間のKLダイバージェンスを考慮することで、ポリシーのスムーズな移行を保証し、ポリシー更新によって引き起こされるパフォーマンスの低下を回避します。

WebRLプロジェクトの住所

WebRLアプリケーションシナリオ

  • ウェブブラウジングの自動化WebRLは、訓練されたエージェントに基づいて、情報検索、フォーム入力、オンラインショッピングなどのウェブ閲覧タスクを自動的に完了します。
  • ネットワークデータ抽出価格、レビュー、ニュース記事などの特定のデータをウェブページから抽出する必要がある場合、WebRLはデータ抽出プロセスを自動化するのに役立ちます。
  • 顧客サービス自動化カスタマーサービスの分野では、チャットボットはウェブページとのやり取りを通じてユーザーの問題を解決したり、取引を完了させたりするために使用されます。
  • ネットワークコンテンツ管理大量のウェブコンテンツを管理する必要があるウェブサイト管理者にとって、WebRLはコンテンツの更新、公開、およびメンテナンス作業を自動化します。
  • 電子商取引電子商取引プラットフォームにおいては、注文処理、在庫管理、顧客対応の自動化に役立ちます。
戻る