Agent-E - AutoGenエージェントフレームワーク上に構築された、AI搭載のブラウザ自動化システム。

エージェントEとは何ですか？

Agent-Eは、AutoGenエージェントフレームワークを基盤としたインテリジェントな自動化システムで、ブラウザ内での自動化操作に特化しています。自然言語による対話に基づき、Agent-Eはフォームへの入力、ECサイトの商品検索とランキング、ウェブページコンテンツの検索、オンラインメディア再生の管理、ディープウェブ検索、プロジェクト管理タスクの自動化、パーソナライズされたショッピング支援など、さまざまな複雑なタスクを実行できます。Agent-Eはオンライン作業の効率性を向上させ、反復作業を削減し、ユーザーがより重要な業務に集中できるようにします。

Agent-Eの主な機能

• フォームへの記入個人情報の入力を含むオンラインフォームへの自動入力を行います。
• Eコマースの検索とランキングAmazonなどのECサイトで、販売量や価格などの基準に基づいて商品を検索・並べ替える。
• コンテンツのポジショニングウェブサイト上で特定のコンテンツ（スポーツの試合結果や大学の連絡先情報など）を探す場合。
• メディアとのやり取りYouTube動画の再生や再生設定の管理など、ウェブベースのメディアを操作する。
• ウェブ検索包括的なウェブ検索を実行し、幅広いトピックに関する情報を収集する。
• プロジェクト管理の自動化JIRAなどのプロジェクト管理プラットフォーム上で、課題をフィルタリングし、ワークフローを自動化します。

Agent-Eの技術原理

• プロキシベースのアーキテクチャAutoGenプロキシフレームワークに基づいており、プロキシ（ユーザーエージェントやブラウザナビゲーションプロキシなど）を使用してタスクを実行します。
• スキルライブラリ中核となる機能はスキルライブラリを中心に展開され、そこには知覚スキルと行動スキルに分類された、一連の事前定義されたアクション（スキル）が含まれています。
• 自然言語インタラクションユーザーが自然言語を使ってブラウザと対話できるようにすることで、タスクの実行をより直感的に行えるようにサポートします。
• DOM蒸留Agent-Eは、DOM抽出技術に基づいてHTML DOMを関連性の高いJSONスナップショットに簡略化し、ユーザーのタスクに関連する要素に焦点を当てます。
• 変化の観察アクションを実行した後、エージェントEはステータスの変化を監視し、より正確なパフォーマンスを導くために、口頭でのフィードバックという形でLLMに提供します。
• 階層的計画階層型計画法を採用することで、複雑なタスクをサブタスクに分解し、それらを異なるレベルのエージェントが処理する。

Agent-Eプロジェクトの住所

• GitHubリポジトリ：https://github.com/EmergenceAI/Agent-E
• arXiv技術論文：https://arxiv.org/pdf/2407.13032

Agent-Eの応用シナリオ

• オンラインショッピング商品を自動的に検索し、結果を並べ替え、ショッピングカートに追加することで、買い物プロセスを簡素化します。
• 情報検索インターネットからニュースや学術資料などの特定の情報を迅速に収集し、研究効率を向上させることができます。
• フォーム自動化オンラインフォームへの入力と送信を自動化することで、手作業による入力作業を削減し、時間を節約します。
• パーソナルアシスタント私たちは、お客様の生活の質を向上させるため、レストランのおすすめなど、個々の好みに基づいたパーソナライズされた提案を提供します。
• メディア再生管理音楽や動画コンテンツを自動再生・制御することで、エンターテイメント体験を向上させます。