PCエージェント - 上海交通大学とGAIRが共同で開発したコンピュータ知能AIシステム - AiBoss

PCエージェントとは何ですか？

PC Agentは、上海交通大学と生成AI研究室（GAIR）が共同開発した高度なAIシステムです。人間の認知プロセスをシミュレートすることで、研究資料の整理、レポートの作成、プレゼンテーションの作成といった複雑なデジタルタスクを実行します。PC Agentは、PC Trackerを統合し、人間とコンピュータのインタラクションデータを効率的に収集します。2段階の認知プロセスを用いて、生データを認知軌跡に変換します。PC Agentは、マルチエージェントシステムアーキテクチャを採用し、プランニングエージェントとローカリゼーションエージェントを組み合わせることで、正確な視覚的ローカリゼーションと意思決定を実現します。少量の高品質な認知データで学習させたこのシステムは、最大50ステップの複雑なワークフローを処理でき、優れたデータ効率と実用化の可能性を示しています。

PCエージェントの主な機能

タスク自動化研究資料の整理、報告書の作成、プレゼンテーション資料の作成など、複雑なデジタル作業を自動化する。
人間とコンピュータの相互作用に関するデータ収集PC Trackerをベースとして、ユーザーとコンピュータとのインタラクションに関する詳細な軌跡と認知的コンテキストを収集します。
認知軌跡の変容このプロセスは2段階の認知処理を用いて完了し、生の相互作用データを認知情報に富んだ軌跡へと変換する。
複雑なタスク処理複数のアプリケーションが関わる複雑なワークフローを処理する。例えば、情報収集のためにPowerPointとブラウザを切り替えるといった作業。
マルチエージェントコラボレーション計画エージェントと位置決めエージェントを組み合わせることで、意思決定と正確な視覚的位置決めを実現できる。
少量のデータを用いたトレーニング: 少量の認知軌跡データのみをトレーニングに用いて、複雑なワークフローを実行する。

PCエージェントの技術的原理

PC Tracker：
- データ収集これはバックグラウンドで動作し、ユーザーのキーボードとマウスの操作を記録し、スクリーンショットをキャプチャし、人間とコンピュータのインタラクションデータを収集します。
- イベント追跡イベントベースの追跡戦略では、連続的なビデオストリームではなく、ユーザーの重要な操作イベントを記録するため、ストレージ容量の要件が削減されます。
- 統一運動空間キーボードとマウスの操作を統一されたアクション空間にカプセル化することで、AIによる人間の行動の理解を簡素化する。
認知的完了プロセス：
- データ精緻化軌跡フィルタリング、アクションフィルタリング、および標準化に基づいて、生のインタラクションデータの品質が最適化されます。
- アクションの意味補完クリック関連のアクションに関する意味情報を補完し、クリック対象の高品質な説明を生成する。
- 思考プロセスの再構築行動の意味情報に基づいて、各行動の背後にある暗黙の推論プロセスを再構築する。
マルチエージェントシステム：
- プランニングインテリジェントエージェント人間の認知軌跡を学習することに基づき、行動決定を行い、効果的な計画能力を獲得する責任を負う。
- ロケーションエージェントクリック関連のアクションを実行する役割を担い、自己検証メカニズムを備えているため、人間とほぼ同等の精度を実現している。
- エラー訂正機構位置決めエージェントが、計画エージェントがクリックしようとしているターゲットが画面上に存在しないことを発見した場合、計画エージェントは行動計画を修正するように促されます。

PCエージェントプロジェクトの住所

プロジェクト公式サイト：gair-nlp.github.io/PC-Agent
GitHubリポジトリ：https://github.com/GAIR-NLP/PC-Agen
arXiv技術論文：https://arxiv.org/pdf/2412.17589

PCエージェントの応用シナリオ

オフィスオートメーション文書、表計算ソフト、プレゼンテーションの作成と編集、定型的なオフィス業務の自動化、そして業務効率の向上を実現します。
研究および学術研究データの整理・分析、文献レビューの自動生成、学術論文の執筆支援などを行います。
コンテンツ作成自動レイアウトとフォーマットにより、コンテンツ作成の効率と品質が向上します。
プロジェクト管理プロジェクトレポートの自動更新、チームタスクの調整、プロジェクト管理プロセスの最適化を実現します。
顧客サービス顧客データを管理し、迅速かつパーソナライズされた顧客サポートを提供する。