AutoDroid-V2 - 清華大学が開発したモバイルGUI自動化スクリプトエージェント

AutoDroid-V2とは何ですか？

清華大学人工知能産業研究所が開発したAutoDroid-V2は、Small Language Models（SLM）をベースとしたモバイルGUI自動化スクリプトエージェントです。コード生成技術により、デバイス上のGUIエージェントのパフォーマンスを向上させます。AutoDroid-V2は、アプリケーションの探索履歴を分析し、詳細なアプリケーションドキュメントを自動的に生成することで、SLMが複雑なユーザータスクを完了するためのマルチステップスクリプトを生成する際のガイドとなります。従来のステップバイステップのGUIエージェントと比較して、AutoDroid-V2はタスク完了率と実行効率を大幅に向上させ、大規模クラウドモデルへの依存度を低減し、ユーザーのプライバシーリスクを軽減し、集中型サービスコストを削減します。AutoDroid-V2は複数のベンチマークテストで優れたパフォーマンスを発揮し、デバイス上のGUIエージェントを包括的に展開できる可能性を示しています。

AutoDroid-V2の主な機能

• 自動化されたUIタスクの実行アプリケーションの起動、テキストの入力、ボタンのクリックなど、複数のステップからなるスクリプトを生成・実行することで、モバイルデバイス上のユーザー向けに様々なUIタスクを自動的に完了させます。
• コード生成と実行UIタスクの自動化問題をコード生成問題に変換し、デバイス上で小型言語モデル（SLM）を使用して実行可能なコードスクリプトを生成し、コードインタープリタを使用してスクリプトを効率的に実行する。
• アプリケーション文書生成アプリケーションの探索履歴を自動的に分析し、詳細なアプリケーションドキュメントを生成し、アプリケーションのGUIの状態、重要な要素とその相互作用関係を記録し、スクリプト生成のためのガイダンスを提供します。

AutoDroid-V2の技術原理

• arXiv技術論文：https://arxiv.org/pdf/2412.18116

AutoDroid-V2の応用シナリオ

• 日常生活支援ユーザーが忙しい場合、システムは仕事のメールや友人からの挨拶など、メッセージの内容に基づいて自動的に返信し、重要な情報を見逃すことを防ぎます。
• 日常業務会議中に会議内容を自動的に記録し、重要な情報を抽出し、議事録を作成することで、会議後のレビューや関連業務の実行を容易にし、会議の効率性を向上させます。
• アプリケーションテストアプリケーションの更新後に回帰テストケースを自動的に実行し、新しいバージョンのアプリケーションが正しく機能するかどうかを確認し、潜在的なバグを迅速に特定して修正し、アプリケーションの安定性と信頼性を確保します。
• スマートホームユーザーの日常生活や周囲の明るさに基づいて、システムは室内の照明の明るさや色温度を自動的に調整します。例えば、夜間は照明を自動的に暗くして快適な睡眠環境を作り出し、生活の質を向上させます。
• 特殊産業用途患者が退院した後、患者の回復状況に関する情報を収集するために、フォローアップのリマインダーと健康状態に関するアンケートが自動的に送信されます。これにより、医師は患者の状態の変化をタイムリーに把握し、より良いフォローアップ治療とリハビリテーション指導を提供することができます。