AppAgentX - ウェストレイク大学が開発した、自己進化型のGUIプロキシフレームワーク。

AppAgentXとは何ですか？

ウェストレイク大学が開発したAppAgentXは、自己進化型の斬新なGUI（グラフィカルユーザーインターフェース）エージェントフレームワークです。実行履歴から高レベルのアクションを抽象化することで、スマートフォンとのインタラクションにおけるエージェントの効率性とインテリジェンスを向上させます。AppAgentXは、メモリと進化メカニズムを組み合わせることで、タスク実行プロセスを記録し、反復的な操作シーケンスを特定して、より効率的な高レベルのアクションに置き換え、階層的な推論への依存度を低減します。チェーン状の知識フレームワークに基づき、AppAgentXは動作を継続的に最適化し、適応性と効率性を向上させます。AppAgentXは、複数のベンチマークテストにおいて既存の手法を大幅に上回り、より高い精度と効率性を示し、複雑なタスク実行におけるインテリジェントエージェントの応用に関する新たな知見を提供します。

AppAgentXの主な機能

• 効率的な動作モードを自動的に要約しますタスク実行中に繰り返される操作を検出し、それらを自動的に高レベルの「ワンクリック」操作にまとめることで、操作プロセスを簡素化します。
• 冗長な計算を削減し、実行効率を向上させるメモリと再利用の実行戦略に基づいており、反復的な推論を回避し、タスクの実行効率を高めます。
• 視覚に基づく汎用運用能力動作には画面上の視覚情報に依存し、バックエンドAPIのサポートは不要で、さまざまなソフトウェアやデバイス間で互換性があり、「プラグアンドプレイ」を実現します。
• 複雑なタスクとアプリケーション間操作をサポートします人間のように様々なアプリケーションを操作することができ、ウェブページから情報を抽出してExcelに入力するなど、複雑なアプリケーション横断的なタスクをサポートしたり、複数のソフトウェアプログラムと連携して動作したりすることができる。

AppAgentXの技術原則

• メモリ機構このシステムは、ページノードと要素ノードを含む連鎖状の構造を用いて、タスク実行履歴を記録します。ページノードはUIページの説明と要素情報を記録し、要素ノードは特定のインタラクションの詳細を記録します。LLMは、ページと要素の機能説明を生成し、重複する説明を統合して統一された記録を作成するために使用されます。
• 進化メカニズムタスク実行履歴を分析し、繰り返し発生する低レベル操作シーケンスを特定します。これらの繰り返し発生するシーケンスを抽象化し、元の低レベル操作を高レベルアクション（「ショートカットノード」と呼ばれる）に置き換えます。高レベルアクションをエージェントの操作セットに組み込むことでアクション空間を拡張し、実行効率を向上させます。
• 連鎖知識フレームワークタスク実行のノードと関係を記録するために、グラフベースのストレージ構造（Neo4jなど）を使用します。ノードにはページ、要素、高レベルのアクションが含まれ、関係はそれらの間の相互作用と変換を表します。動作の継続的な最適化と進化を実現するために、連鎖構造を使用します。
• タスク実行プロセスタスク実行中、エージェントは視覚的なマッチングに基づいて現在のページと要素を識別します。上位レベルのアクションが一致した場合、対応する下位レベルの操作シーケンスが直接実行され、推論ステップが削減されます。上位レベルのアクションが適用できない場合は、タスクが確実に完了するように、下位レベルのアクション空間にフォールバックします。

AppAgentXプロジェクトのアドレス

• プロジェクト公式サイト：https://appagentx.github.io/
• GitHubリポジトリ：https://github.com/Westlake-AGI-Lab/AppAgentX
• arXiv技術論文：https://arxiv.org/pdf/2503.02268

AppAgentXの応用シナリオ

• 日常業務の自動化電話の設定調整やアプリ内タスクを自動的に完了させ、手動操作を削減します。
• スマートアシスタントの機能強化スマートアシスタントに統合することで、ユーザーが複雑なタスクを迅速に実行できるようになる。
• エンタープライズプロセス自動化企業におけるデータ入力やレポート作成といった反復作業に使用され、効率性を向上させる。
• アプリケーション間タスク管理異なるアプリケーション間の切り替えや操作をサポートし、クロスプラットフォームの自動化を実現します。
• 特別なグループへの支援高齢者や障がいのある方が携帯電話をより簡単に使えるように、操作プロセスを簡素化する。