MobA - 上海交通大学が開発したモバイルインテリジェントエージェント

MobAとは何ですか？

MobA（Mobile Agent）は、上海交通大学の研究チームが開発した革新的なモバイルインテリジェントエージェントです。マルチモーダル大規模言語モデル（MLLM）に基づき、モバイルデバイスの自動タスク実行機能を強化します。MobAは2層アーキテクチャを採用しており、ユーザーコマンドの理解、履歴記録の管理、タスクの計画を担当する高レベルのグローバルエージェント（GA）と、GAの計画に基づいて特定のアクションを実行する低レベルのローカルエージェント（LA）で構成されています。システムに組み込まれたリフレクションモジュールにより、MobAはこれまで見たことのないタスクを含む複雑なタスクを効率的に処理できます。

MobAの主な機能

• ユーザーコマンドの理解ユーザーの自然言語によるコマンドを理解し、実行可能なタスクに変換する。
• タスクの計画と分解高度なグローバルエージェント（GA）は、複雑なタスクをより小さく、管理しやすいサブタスクに分解する役割を担います。
• アクションの実行低レベルのローカルエージェント（LA）は、GAの指示に従って特定のサブタスクとアクションを実行します。
• 歴史的記憶追跡GAは過去の記憶を追跡し、新しいタスクを計画する際に過去の経験や情報を考慮します。
• 反省と自己最適化統合されたリフレクションモジュールにより、MobAはタスク実行後に自己評価を実行し、今後のタスク実行を最適化することができます。
• アプリケーション間連携複数のアプリケーションが関わる複雑なタスクを処理し、アプリケーション間の操作を自動化します。

MobAの技術原則

• マルチモーダル大規模言語モデル（MLLM）MLLM（機械学習モデル）に基づき、このモデルはテキストや画像など、さまざまな種類のデータを処理・理解することができる。
• 2段階のインテリジェントエージェントアーキテクチャこのシステムは、タスク計画とアクション実行をそれぞれ担当する、高レベルのグローバルエージェント（GA）と低レベルのローカルエージェント（LA）で構成されています。
• タスク計画モジュールGAの計画モジュールは、ユーザーの指示を一連のサブタスクに分解し、それらのタスクの実現可能性を評価する役割を担っています。
• アクションモジュールLAのアクションモジュールは、タスクを1ステップで完了できるかどうかを判断し、それに対応するアクション指示を提供する役割を担っています。
• メモリモジュール本システムには、タスク実行履歴、ユーザー設定、およびアプリケーション情報を保存および更新するためのメモリモジュールが含まれています。

MobAのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2410.13757

MobAアプリケーションのシナリオ

• パーソナルアシスタント日常生活においては、パーソナルアシスタントとして機能し、ユーザーがスケジュールを管理したり、リマインダーを設定したり、情報を照会したりするのを支援する。
• スマートホームコントロールスマートホーム機器と連携することで、音声コマンドやテキストコマンドに基づいて、照明、温度制御、セキュリティ監視など、自宅のスマート機器を操作できます。
• モバイルデバイスの自動化モバイルデバイス上では、フォームへの入力、メールの管理、アプリケーション設定の最適化といった複雑なワークフローを自動化します。
• 高齢者および障害者への支援高齢者や障がい者の方々への支援を提供し、スマートデバイスの利用プロセスを簡素化し、生活の質を向上させること。
• 教育と学習教育分野においては、学生が情報にアクセスしたり、学習教材を管理したり、さらには課題を完了するのを支援するのに役立つ。