PC Agent-E - 上海交通大学とSIIが共同開発したインテリジェントエージェントトレーニングフレームワーク - AiBoss

PCエージェントEとは何ですか？

PC Agent-Eは、上海交通大学とSIIが共同開発した高効率なインテリジェントエージェントトレーニングフレームワークです。このフレームワークは、人間が注釈を付けた312のコンピュータ使用軌跡を使用して、Claude 3.7 Sonnetモデルに基づいた多様な行動決定を合成し、データ品質を大幅に向上させています。フレームワークは、軌跡収集、思考連鎖補完、軌跡強化、エージェントトレーニングの4つの主要部分で構成されています。PC Agent-Eは、Windows AgentArena-V2ベンチマークで241%の性能向上を達成し、Claude 3.7 Sonnetの拡張思考モードを凌駕し、Windowsシステム上で次世代の最先端（SOTA）オープンソースコンピュータインテリジェントエージェントとなりました。

PC Agent-Eの主な機能

高効率トレーニング人間が注釈を付けた軌跡がわずか312件しかない場合でも、データ拡張によってモデルの性能が大幅に向上する。
クロスプラットフォームの一般化OSWorldのベンチマークテストでは、優れたクロスプラットフォーム性能を発揮し、様々なオペレーティングシステムに適していることが実証されています。
タスク実行ファイル操作、ソフトウェアの使用、ウェブブラウジングなど、さまざまな複雑なタスクの実行をサポートします。
データ拡張多様な行動決定を総合的に分析することで、豊富な軌跡データが得られ、モデルの汎化能力が向上する。

PC Agent-Eの技術的原理

軌跡収集この手法では、PCトラッカーツールを使用して、タスクの説明、スクリーンショット、キーボード/マウス操作など、人間の行動軌跡を記録します。少数の高品質な人間の行動軌跡は、簡単な注釈付けプロセスによって収集されます。
思考完成この機能は、クロード・ソネット3.7のモデルに基づき、各アクションステップに基礎となる推論ロジックを追加します。タスクの説明、過去のアクション、および現在の状態に基づいて、人間の思考プロセスに合致する推論プロセスを生成します。
軌道ブーストこのアプローチでは、軌跡の各ステップにおけるより多くの行動決定を統合し、タスクの多様性を捉えます。クロード3.7ソネットモデルを用いることで、各ステップにおいて複数の妥当な行動決定が生成され、軌跡データがより充実します。
エージェント研修このモデルは、オープンソースモデルであるQwen2.5-VL-72Bを基に学習されました。モデルが効率的に学習し、タスクを実行できるように、シンプルなエンドツーエンドの学習フレームワークが使用されました。
評価と検証WindowsAgentArena-V2およびOSWorldベンチマークテストでモデルのパフォーマンスを検証する。合成アクションの数を調整し、パフォーマンス向上における軌跡拡張手法の重要な役割を検証する。

PC Agent-Eプロジェクトの住所

プロジェクト公式サイト：https://gair-nlp.github.io/PC-Agent-E/
GitHubリポジトリ：https://github.com/GAIR-NLP/PC-Agent-E
ハギングフェイスモデルライブラリ：https://huggingface.co/henryhe0123/PC-Agent-E
arXiv技術論文：https://arxiv.org/pdf/2505.13909

PC Agent-Eの応用シナリオ

自動化されたオフィス文書編集やデータ分析などの作業を自動的に完了させ、オフィスの効率性を向上させます。
ソフトウェアテストユーザー操作をシミュレーションすることで、ソフトウェアのエラーや問題点を特定し、ソフトウェアの品質を向上させる。
教育支援仮想教育アシスタントとして、学生がコンピュータ操作のタスクを完了するのを支援し、リアルタイムでガイダンスを提供します。
障がいのある方々を支援する障がいのある方がコンピュータを利用しやすくするための補助操作機能を提供します。
クロスプラットフォーム互換性これにより、異なるオペレーティングシステム間でのシームレスな移行とタスク実行が可能になります。