Polar - NVIDIAのオープンソースのエージェント強化学習トレーニングフレームワーク - AiBoss

Polarとは何ですか？

Polarは、NVIDIAが開発したオープンソースのエージェント強化学習（ARL）トレーニングフレームワークです。その中核となる革新性は、GRPOなどの強化学習アルゴリズムを用いて既存のエージェントフレームワークを内部コードを変更することなくトレーニングできる点にあります。このフレームワークは、トークンレベルのインタラクションデータを取得し、LLM API呼び出しの境界にエージェントを配置することでトレーニング軌跡を再構築します。これにより、Codex CLI、Claude Code、Qwen Code、Piといった複雑なコードベースのエージェントハーネスを、直接トレーニング可能な強化学習環境へと変換することが可能になります。

Polarの主な機能

APIプロキシキャプチャエージェントと推論サーバーの間に、Anthropic、OpenAI、およびGoogleのスタイルに対応したAPIプロキシを挿入し、リクエストを透過的に転送し、プロンプト、サンプリングされたトークン、ログ確率、およびレスポンスをログに記録します。
軌道再構築この機能では、リクエストごとの処理とプレフィックスマージという2つの戦略を用いて、複数ラウンドのモデル呼び出しを、トレーナーが直接利用できる強化学習の軌跡に再構築します。
非同期サービスアーキテクチャロールアウトサーバーはタスクのスケジューリングと負荷分散を担当し、ゲートウェイノードは実行時のウォームアップ、エージェントの実行、軌道の構築と評価、トレーニングと実行の分離を担当します。
マルチハーネス対応Claude Code、Codex、Qwen Code、OpenCode、Pi、Gemini CLIといった主要なコードインテリジェンスへの迅速な適応機能を内蔵しています。
コンテナ化されたランタイムDockerとルートレスApptainerをサポートし、隔離された実行環境を提供します。

ポーラーの技術原則

ブラックボックス・エージェンシー・パラダイムPolarは、エージェントハーネスをenv.init()/env.step()インターフェースとして書き換えることはありません。代わりに、LLM APIトラフィックをロールアウト境界として使用し、ハーネスのネイティブ実行ロジックは変更せずに維持します。
トークン認証追跡再構築トークンIDとログ確率を推論バックエンドから直接取得し、再トークン化のずれを回避し、トレーニング信号と行動ポリシー間の厳密な整合性を確保します。
接頭辞結合アルゴリズム: 複数ターン対話におけるプロンプトのトークンとプレフィックスの関係を検出し、追加専用の対話チェーンをより長いトレーニング軌跡に統合し、トレーナーの更新回数を削減します。
非同期フェーズ実行Gatewayは内部的に3つの独立したワークプール（INIT（ランタイム起動）、RUN（ハーネス実行）、POSTRUN（軌道構築と評価））を分離しており、これらはREADYバッファと連携して、ランタイムのウォームアップとGPUトレーニングを並列実行することを可能にします。
重量同期メカニズムモデルの重みは、トレーナーと推論サーバー間で非同期的に同期されます。ロールアウトは古いポリシーに基づいて継続的にサンプリングを行い、トレーナーは十分な軌跡を受信した後にポリシーの更新を実行します。

Polarの使い方

Polarサービスをデプロイするロールアウトサーバーとゲートウェイノードを起動し、推論サーバー（SGLangなど）を設定します。
ハーネスの設定対象エージェント（Codex CLIなど）のモデルベースURLをPolar Gatewayプロキシエンドポイントに向けます。
アダプターを作成するハーネスアダプタを作成します（通常は環境変数、プロバイダ設定、および起動コマンドの設定のみが必要です）。
トレーニングタスクを提出するPolar API を介して TaskRequest を送信し、ハーネス、ランタイム、評価器、および軌道構築戦略を指定します。
アクセス・トレーナーSlimeやMegatronなどのトレーニングフレームワークは、コールバックを介してPolarから返される軌道データを受け取り、GRPOなどの強化学習アルゴリズムを実行してデータを更新します。

Polarの主な利点

ゼロ侵入統合これにより、既存のエージェントフレームワークのソースコードを変更する必要がなくなり、強化学習のトレーニングにおける技術的な参入障壁が低くなります。
無関係性を活用するLLM APIに基づくあらゆるインテリジェントエージェント（クローズドソースのバイナリプログラムを含む）と互換性があります。
効率的な資源利用非同期アーキテクチャにより、CPU負荷の高いランタイムがノンブロッキングGPUトレーニングの準備を行うことが可能になり、プレフィックスマージによってトレーニング時間が約5.39倍短縮されます。
トークンレベルの認証テキストの再エンコードによるトレーニング信号の歪みを避けるため、推論バックエンドから元のトークンを直接取得します。
弾性スケーリングRollout-as-a-serviceは、大規模な分散型非同期強化学習をサポートするように設計されています。

Polarのプロジェクトアドレス

GitHubリポジトリ：https://github.com/NVIDIA-NeMo/ProRL-Agent-Server
arXiv技術論文：https://arxiv.org/pdf/2605.24220

Polarの競合製品比較

寸法	Polar (Nvidia)	SkyRL-Agent	Agent Lightning
コアポジショニング	サービスとしてのロールアウトインフラストラクチャ	フルスタックの複数ラウンド対応エージェント強化学習および評価システム	トレーニングエージェント分離アーキテクチャ＋統合データインターフェース
統合侵襲的	ゼロイントルージョンAPIプロキシの傍受であり、ハーネスのソースコードを変更する必要はありません。	書き直す必要があるエージェントは、体育館スタイルのインターフェースに適合させる必要がある。	低侵入標準トレースAPIまたはSDKコールバックとの統合が必要です。
ハーネスの互換性	任意のブラックボックスハーネス（クローズドソースバイナリを含む）	フレームワーク内で実装されたエージェントのみ	プリセットされたインターフェースに準拠するエージェント
展開境界	LLM APIトラフィック境界	エージェント実行ロジック内部	エージェント実行トレースレイヤー
非同期アーキテクチャ	ネイティブ非同期サービス境界（サーバー＋ゲートウェイノード）	非同期動作はサポートされていますが、エージェントはトレーニングプロセスと密接に連携しています。	非同期サポートは限定的です
軌道再構築	トークンの真正性保証 + プレフィックスマージ（トレーナーの更新頻度を削減）	フレームワーク内で直接生成された軌跡	統合データインターフェース変換
ランタイム分離	Docker / Apptainer	コンテナ化をサポートする	不明
トレーニングアルゴリズムの結合	アルゴリズムに依存しない（GRPO、PPOなど、すべてアクセス可能）	組み込みアルゴリズム最適化	アルゴリズムに依存しない
代表的なシナリオ	Codex、Claude Code、Qwen Codeなどの既製ハーネスを使用したRLトレーニング。	エージェントトレーニングを用いた、長時間の処理と複数ラウンドを要するツール	クロスフレームエージェントトレーニングデータの収集

極性の応用

コードベースのエージェント強化学習CodexやClaude Codeなどのプログラミングアシスタントに対して強化学習の微調整を行い、SWE-Benchなどのソフトウェアエンジニアリングベンチマークのパフォーマンスを向上させる。
エージェントトレーニングを使用した複数ラウンドツール長時間稼働するインテリジェントエージェントのトレーニングには、外部ツール（ブラウザ、データベース、API）への継続的な呼び出しが必要です。
オフラインSFTデータ生成Polarを使用して、教師あり微調整のために、カスタムハーネス上で高品質のトレーニングデータをバッチ処理で生成します。
マルチエージェント協調最適化サブエージェントのオーケストレーションとコンテキスト圧縮を含む複雑なマルチエージェントシステムのためのエンドツーエンドの強化学習。
クローズドソースエージェントの評価と改善ソースコードが公開されていないクローズドソースのインテリジェントエージェント製品向けに、ブラックボックス型の強化学習と機能強化を行う。