Qwen-UI-Agent - Alitongyiが発表したGUIインテリジェントエージェント基盤モデル

Qwen-UI-Agentとは何ですか？

Qwen-UI-Agentは、アリババのTongyiチームが開発したGUIインテリジェントエージェント基盤モデルです。ユーザーは、まるで人間のように、スマートフォン、コンピューター、Webブラウザなどのインターフェースを操作できます。このモデルは、100台以上の実機と150種類以上のアプリケーションで学習されており、GUIとコマンドラインの混在実行をサポートし、アプリケーションをまたいだ長距離タスクを実行できます。危険なリクエストを直接拒否し、支払いや削除などの機密性の高い操作に対してユーザーの確認を事前に要求するセキュリティメカニズムが組み込まれています。MobileWorldやWebArenaなどのベンチマークにおいて、GPT-5.6やClaude Opusといったフラッグシップモデルを総合的に凌駕しており、現在、実世界で最も実用的なGUIエージェントの一つとなっています。

Qwen-UI-Agentの主な機能

• デバイス間GUI操作スマートフォン、コンピューター、ブラウザ上で、クリック、入力、スワイプなどの操作を自動的に行い、インターフェース操作を完了させます。
• 実機マルチアプリケーションワークフロー地図の確認→レストランの検索→予約→スケジュールの送信など、150以上の実際のアプリで複雑で一連のタスクを実行します。
• GUIとCLIのハイブリッド実行ユーザーインターフェースとしてもコマンドラインとしても使用でき、処理速度を向上させるために複数のバッチ処理を一度に出力することもサポートしています。
• セキュリティ境界制御違法な要求は即座に拒否されますが、支払い、ファイルの削除、プライバシー認証などの機密性の高い操作については、ポップアップウィンドウを通じてユーザーに確認を求めるよう積極的に促されます。
• 長期タスク処理100ステップ以上を要する調査、データ分析、レポート作成といった長時間の作業も、確実に実行できる。
• 正確なインターフェース位置決めこれは、ScreenSpot-Proなどの接地規格に関する最先端（SOTA）ベンチマークを更新し、画面要素の位置を正確に識別します。

Qwen-UI-Agentの技術的原理

• 実際の機械トレーニング環境100台以上の実機スマートフォンと150以上のアプリケーションからなる実機クラスタを構築し、トレーニングと評価のための実際の軌跡を直接収集することで、シミュレーション環境と実機間の性能ギャップを埋めます。
• ハイブリッドモーションスペースこのモデルは、GUI操作（クリック、スワイプ、入力）とCLIコマンドを同時に習得し、バッチ処理メカニズムを導入することで、単一の決定で複数のアクションを並列に出力できるようにし、コンピュータタスクのほぼ半分をCLIで処理できるようにすることで、全体の実行ステップを大幅に短縮します。
• 長期オンライン強化学習これは、100ステップを超える超長距離軌道におけるエンドツーエンドのオンライン強化学習をサポートし、約10,000の同時環境での並列展開と適応型コース学習を組み合わせることで、非常に困難な長距離タスクに継続的に取り組むことを可能にします。
• 安全な位置合わせ機構セキュリティチェックはタスク実行チェーン全体に組み込まれており、事前分類によって違法または高リスクのリクエストを特定し、直接終了させます。支払い、データ削除、プライバシー認証などの機密性の高いシナリオについては、主要なノードでセキュリティチェックが実行されます。 ask_user 危険な要求が実行されないように、また機密性の高い操作が承認なしに決定されないように、管理を引き継ぐ。
• マルチモーダル接地と一般機能の維持GUIに特化したトレーニングを行いながらも、基本モデルの一般的な推論能力とエージェントとしての能力を維持することで、画面要素を正確に特定し（複数の基礎となる最先端技術を刷新）、現実世界におけるロングテール知識やツール呼び出しのニーズを満たすことができる。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

Qwen-UI-Agentの使い方

• 技術レポートを読むモデルのアーキテクチャ、トレーニング方法、および8つのベンチマークにおける詳細な評価結果については、arXivの論文をご覧ください。
• プロジェクトのホームページをご覧くださいtongyi-mai.github.io/Qwen-UI-Agent を開いて、実際のデバイスデモと操作例を5つご覧ください。
• オープンソースリポジトリの追跡GitHubのTongyi-MAI/MAI-UIをフォローして、今後公開される可能性のあるモデルの重み、コード、およびデプロイメントに関するドキュメントの最新情報を入手してください。
• 運用ベンチマーク評価付属のリポジトリTongyi-MAI/MobileWorldのDocker環境を使用して、モデル上で再現可能なモバイルGUI機能テストを実施しました。

Qwen-UI-Agentの主な利点

• 実機クローズドループ100台以上の実機携帯電話と150種類以上のアプリケーションを用いたトレーニングと評価に基づき、当社独自のMobileWorld-Real実機ベンチマークを構築し、「シミュレーションと現実」のギャップを直接的に埋めました。
• フルSOTAMobileWorld、OSWorld、WebArena、ScreenSpot-Proを含む8つの主要ベンチマークすべてにおいて、GPT-5.6、Claude Opus 4.8、Gemini 3.1 Proといったフラッグシップモデルを上回るか、同等の性能を発揮します。
• ハイブリッド実行の高速化統合されたGUI操作とCLIコマンドにより、複数のアクションを一度にまとめて実行できます。コンピュータタスクの約40%はバッチ処理であり、実行ステップ全体の約58%を削減できます。
• 長期オンライン強化学習100ステップ以上の超長距離軌道に対するエンドツーエンドのオンライン強化学習をサポートし、約10,000の同時実行環境における並列展開に依存し、複雑な長距離タスクに継続的に取り組みます。
• 組み込みのセキュリティ境界違法または危険な要求は即座に拒否され、処理が終了します。支払い、データ削除、プライバシー認証などの機密性の高い操作は、重要な局面で事前に停止され、続行する前にユーザーに確認を求めるポップアップウィンドウが表示されます。

Qwen-UI-Agentプロジェクトのアドレス

• プロジェクト公式サイト：https://tongyi-mai.github.io/Qwen-UI-Agent/
• GitHubリポジトリ：https://github.com/Tongyi-MAI/MAI-UI
• 技術論文：https://tongyi-mai.github.io/Qwen-UI-Agent/Qwen-UI-Agent-Technical-Report.pdf

Qwen-UI-Agentと類似の競合製品との比較

Qwen-UI-Agentのアプリケーションシナリオ

• 地元のライフスタイルショップ訪問高徳地図、大評平、小紅書といった複数のサイトから住所を自動的に検索し、人気度を比較し、レビューを要約することで、デートやレストラン探しをワンストップで実現します。
• 旅程と会議の調整DingTalkで、12306の高速鉄道の時刻表を確認したり、地下鉄の通勤時間を計算したり、リマインダー付きの会議スケジュールを自動的に作成したりできます。
• 詳細な調査報告書複数のウェブサイトから財務データを収集し、分析スクリプトを実行し、Excel、PowerPoint、Word形式の成果物を自動的に生成できます。
• デバイスを跨いだ請求書の整理スマートフォンのフォトアルバムから請求書の写真を抽出し、分類とアーカイブのためにコンピューターに転送し、構造化されたExcel形式の経費報告書を作成します。
• フライト欠航に対する積極的な緊急対応フライト欠航の通知を検知すると、システムは自動的に代替便や高速鉄道の選択肢を検索し、ユーザーが会議に出席できる最適な選択肢を推奨し、その決定をユーザーに返します。