AgentCPM-GUI - 清華大学とMianbi Intelligenceが開発した、オープンソースのエッジサイドGUIインテリジェントエージェントモデル。

AgentCPM-GUIとは何ですか？

AgentCPM-GUIは、清華大学とMianbi AIチームが共同開発したオープンソースのエッジGUIエージェントで、中国語アプリケーション向けに最適化されています。このモデルはMiniCPM-V（80億パラメータ）をベースに構築されており、スマートフォンのスクリーンショットを入力として受け取り、ユーザー指定のタスクを自律的に実行できます。大規模な中国語Androidアプリケーションインターフェースデータで事前学習されているため、GUI要素の理解とローカライズ能力が大幅に向上しています。AgentCPM-GUIは、中国語のGrounding BenchmarkとAgent Benchmarkの両方で最先端のパフォーマンスを実現しており、中国語アプリケーション向けに最適化された初のオープンソースGUIエージェントとなっています。

AgentCPM-GUIの主な機能

• 中国語アプリの操作これにより、ユーザーはAmap、Dianping、Bilibili、Xiaohongshuなどの様々な中国語アプリケーションを理解し、操作できるようになります。
• タスクの自動実行ユーザーからの指示を受け取ると、タスクの手順を自動的に分解し、食品の注文や動画の再生など、対応するアプリケーションで正確に実行します。
• 高品質なGUI配置画面上のボタン、入力ボックス、ラベルなどのGUI要素を正確に特定する。
• OCRによる位置特定と認識画面上のテキスト内容を識別し、テキストの説明に基づいて対応する操作を実行できます。

AgentCPM-GUIの技術的原理

• 事前トレーニング本モデルは、ボタン、入力ボックス、ラベル、アイコンといった一般的なGUIコントロールを網羅した、大規模な中国語Androidアプリケーションインターフェースデータで事前学習されています。高品質なGUIグラウンディング事前学習に基づき、視覚的なインターフェース要素の理解と位置特定能力が向上しています。また、OCRグラウンディング機能も備えており、画面上のテキストコンテンツを正確に位置特定し認識します。
• 強化された微調整（RFT）この設計では、行動形式報酬、行動タイプ報酬、行動パラメータ報酬という3つの次元にわたる報酬関数が組み込まれています。これらの関数は、モデルが自律的に質の高い思考プロセスを生成するように導きます。これらの報酬関数に導かれ、モデルはより高い報酬を獲得し、タスク実行の成功率を向上させるために、戦略を継続的に最適化します。
• コンパクトなモーションスペース設計コンパクトなJSON形式に基づき、平均アクション長は9.7トークンに圧縮され、推論時の計算量とメモリ使用量を削減します。コンパクトなアクション空間設計により、モデルはモバイルデバイスへの展開に適しており、エッジ推論の高速化とプライバシーおよびセキュリティ上の懸念の軽減を実現します。

AgentCPM-GUIのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/OpenBMB/AgentCPM-GUI
• ハギングフェイスモデルライブラリ：https://huggingface.co/openbmb/AgentCPM-GUI

AgentCPM-GUIの応用シナリオ

• スマートアシスタント音声コマンドやテキストコマンドに基づいて、テイクアウトの注文や音楽再生など、さまざまなアプリケーション操作をユーザーが完了できるように支援します。
• 自動テスト中国語アプリケーションの機能とインターフェースのテストを自動化するために使用され、テスト効率を向上させます。
• 高齢者介護高齢者がスマートフォンを簡単に使えるようにする。例えば、ビデオ通話をしたり、天気予報を確認したりといった操作を容易にする。
• 視覚障害者への支援音声コマンドとスクリーンリーダーを組み合わせることで、視覚障害のある人がより便利にアプリケーションを利用できるように支援します。
• エンタープライズアプリケーション自動化データ入力やレポート作成といった企業内の反復作業を自動化することで、効率性が向上する。