MAI-UI - アリババ同義がオープンソース化したフルサイズGUIインテリジェントエージェントベースモデル - AiBoss

MAI-UIとは何ですか？

MAI-UIは、Tongyi Labsが開発した本格的なGUIインテリジェントエージェント基盤モデルであり、ユーザーインタラクション、ツール呼び出し、エッジクラウド連携という3つのコア機能を備えています。自己進化型データパイプラインと大規模オンライン強化学習技術により、2Bから235B-A22Bまでの幅広い範囲をカバーし、様々なシナリオに対応可能です。GUIの視覚的な位置決めとタスク実行能力に優れ、複数の権威あるベンチマークセットでトップの成績を収めています。MAI-UIのエッジクラウド連携アーキテクチャは、プライバシーを確保しながらパフォーマンスを向上させ、動的な環境適応性により実世界のタスクで優れた性能を発揮し、次世代のヒューマンコンピュータインタラクションを強力にサポートします。

MAI-UIの主な機能

ユーザーインタラクションユーザーからの指示が不完全または曖昧な場合、MAI-UIは積極的に質問を投げかけ、重要な情報を明確にし、タスクの実行がユーザーの真の意図と一致していることを確認することができます。
ツールコール（MCP）モデル呼び出し可能プロトコル（MCP）を介して外部ツールを直接呼び出すことで、複雑なUI操作を効率的かつ信頼性の高いAPI呼び出しに簡素化します。
エンドツークラウドのコラボレーションローカルの軽量モデルは日常的なタスクを処理し、複雑なタスクはクラウドモデルにシームレスに切り替えることで、ユーザーのプライバシーとデータセキュリティを確保します。
タスク実行複数のオペレーティングシステムにわたる効率的なGUIタスク自動化を可能にし、複雑なシナリオにおけるアプリケーション間操作やタスク計画をサポートします。
動的な環境適応能力実際の環境において、ポップアップ、広告、UIの変更などによる妨害に直面した場合でも、MAI-UIはタスクの継続性を確保するために、自律的に後退したり、位置を調整したりすることができます。

MAI-UIの技術原則

自律型進化データパイプラインMAI-UIは、ユーザー操作やMCPツール呼び出しなどの多次元データをトレーニングプロセスに統合する、自己進化型データパイプラインを採用しています。高品質なトレーニングデータの手動アノテーションと自動モデル生成により、データパイプラインは継続的に更新され、複雑なシナリオにおけるモデルの進化を可能にし、実世界のタスクに対する理解力と実行能力を向上させます。
大規模オンライン強化学習このモデルは、大規模なオンライン強化学習を通じて、汎化性能と堅牢性を向上させています。トレーニングは動的な環境で行われ、超長距離の軌跡（最大50ステップ）や動的な摂動注入メカニズム（ポップアップ、権限、UIオフセットなど）をサポートします。これにより、モデルは現実世界のGUIタスクにおける様々な障害に適応し、一貫したタスク実行と高い成功率を実現します。
エンドツークラウドのコラボレーションアーキテクチャMAI-UIはエッジクラウド連携アーキテクチャを採用しており、軽量なローカルモデルが「軌跡モニター」として機能し、タスク実行経路がユーザーの意図から逸脱していないかをリアルタイムで判断します。デバイス側でタスクが停止し、プライバシー情報に関係しない場合、システムはクラウドモデルに処理を引き継がせ、タスクがスムーズに完了するようにします。一方、プライバシーに関わる操作は常にローカルで実行され、ユーザーデータのセキュリティを保護します。
マルチモーダルなインタラクション機能MAI-UIは、マルチモーダルな大規模言語モデル（Qwen3-VLなど）に基づいて、GUIインターフェースの視覚認識と言語理解を実現します。このモデルは、クリック、スワイプ、入力などの様々な操作をサポートし、複雑なタスクシーケンスを完了できるため、携帯電話、コンピュータ、Webページなど、様々なオペレーティングシステム上で効率的なGUIタスク自動化を実現します。

MAI-UIプロジェクトのアドレス

GitHubリポジトリ：https://github.com/Tongyi-MAI/MAI-UI
ハギングフェイスモデルライブラリ：https://huggingface.co/Tongyi-MAI/models
arXiv技術論文：https://arxiv.org/pdf/2512.22047

MAI-UIの応用シナリオ

家族生活の場面家族向けの買い物をする際、MAI-UIはカレンダーのToDoリストに基づいて、サクランボや洗濯洗剤などの商品を買い物かごに追加するようユーザーに積極的にリマインダーを送ることができ、ユーザーが重要な商品を買い忘れることがないようにします。
オフィスシーンオフィスでは、履歴書ファイルの検索や人事担当者への送信など、文書処理に関するユーザーのサポートを行うとともに、作業が円滑に完了するよう、必要な情報を積極的に確認する。
旅行シナリオユーザーはMAI-UIに、ある場所から別の場所までの最適なルートを計画させ、その結果をメモに記録していつでも簡単に参照できるようにすることができます。
社交シーン到着時刻などの重要な情報をソーシャルグループ内で同期し、グループ内の関係者をメンションすることで、情報のタイムリーな伝達を確保します。
学習と教育のシナリオユーザーはMAI-UIに学習プラットフォームを開くよう指示したり、特定のコースを探させたり、コースの要点を記録して後で復習できるようにしたりすることができる。