MemGUI-Agent - 浙江大学と快手（Kuaishou）が共同開発した、長距離モバイルGUIインテリジェントエージェント。

MemGUI-Agentとは何ですか？

MemGUI-Agentは、浙江大学とKuaishouが共同開発した長距離モバイルGUIインテリジェントエージェントです。複数のアプリにまたがり、複数のステップを含み、長いチェーンを持つモバイル自動化タスク向けに設計されています。従来のReActスタイルのエージェントは、履歴レコードの線形拡張により、長距離タスクにおける重要な情報が希薄化するという問題がありました。MemGUI-Agentは、ConActプロトコルを介して、モデルが各ステップでUIの操作方法とメモリの整理方法を同時に決定できるようにすることで、コンパクトで構造化されたコンテキスト管理を実現します。

MemGUI-Agentの主な機能

• 長期的なタスク実行アプリやページを横断する複雑な自動化プロセスをサポートし、平均して30以上の連続した操作を処理できます。
• アクティブコンテキスト管理ConActプロトコルを通じて、エージェントは履歴を圧縮するタイミング、UI情報を書き込むタイミング、および現在のステップをどのように記述するかを自律的に決定します。
• 構造化メモリ操作メモリの追加、更新、削除などのメモリ操作をサポートし、価格、電話番号、仕様などの主要なUI情報を永続的に保存します。
• エンドツーエンドのモデルトレーニング当社は、Qwen3-VL-8BをベースとしたLoRA微調整モデルMemGUI-8B-SFTを提供しており、8Bパラメータを用いた長距離通信タスクに対応可能です。
• フルチェーンオープンソースコード、MemGUI-3Kデータセット、トレーニング／評価パイプライン、およびモデルの重みはすべて利用可能です。

MemGUI-Agentの技術的原理

• ConAct（コンテキスト・アズ・アクション）コアフレームワークMemGUI-Agentは、コンテキスト管理を従来の外部ルールモジュールや後処理サミサから、UIのクリック、スワイプ、入力と同等の第一級アクションへと昇華させます。推論の各ステップにおいて、モデルはどの履歴を圧縮するか、どのUI情報を記憶するか、そして現在のステップをどのように記述するかを積極的に決定し、コンテキストの更新を実行可能で学習可能なポリシー出力として提供します。
• 3つの構造化状態場エージェントはコンテキストを、互いに補完し合う3つのフィールドに分割します。。Folded Action History 完了したサブタスクセグメントを再利用可能な要約に圧縮して履歴の線形拡張を回避する役割を担います。Folded UI State は、重要な事実を画面間で永続的に保存し、数十ステップ後でも情報を正確に取得できるようにします。Recent Step Record は、最新のステップの画面の観察、アクションの意図、実行されたアクション、および結果を記録し、後続の履歴の折りたたみとメモリへの書き込みのための信頼性の高いローカルの生データを提供します。
• 5セグメント構造化出力およびメモリ動作各ステップにおいて、モデルは思考、折りたたみ、ツール呼び出し、UI観察、アクション意図という5つの構造化された段落を出力します。これらのうち、ツール呼び出しは通常のUI操作、またはメモリ追加、メモリ更新、メモリ削除などの明示的なメモリ操作のいずれかです。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

MemGUI-Agentの使い方

• オープンソースコードのクローンGitHubリポジトリより github.com/kwai/MemGUI-Agent 完全なコードとトレーニング／評価パイプラインを取得します。
• データセットをダウンロードHuggingFaceからMemGUI-3Kデータセットを入手してください。
• モデルの重みを読み込んでいますHuggingFaceからMemGUI-8B-SFTをダウンロードしてください。
• Android環境の設定エージェント実行環境をデプロイするには、デバイスを接続するか、シミュレーターを起動してください。
• タスクコマンドを入力してくださいエージェントは長期目標を自然言語で記述し、その後、自動的に計画と実行を行います。

MemGUI-Agentの主な利点

• コンテキストコストが大幅に削減されます150ステップの長距離領域において、ConActはReActと比較して平均で約1500個の入力トークンを節約し、線形的な増加を抑制します。
• 重要な情報の正確な保持長時間実行されるタスクにおいて、情報の希薄化や錯覚を避けるため、UIステートを通じて完全な事実を継続的に保持する。
• 小型モデルながら、大きな可能性を秘めている。MemGUI-3Kで学習させた8Bモデルは、長距離ベンチマークにおいて、ほとんどの32Bベースラインや235Bベースラインを凌駕する性能を発揮し、効率的な展開を可能にする。
• 優れた一般化MemGUI-8B-SFTはMobileWorldにおいて17.9%の成功率を達成し、ベースラインから8.5パーセントポイント向上しました。これは、シナリオ横断的な移行における高い能力を実証するものです。
• エンドツーエンドで再現可能データ構築やモデルトレーニングから評価プロトコルに至るまで、プロセス全体が完全にオープンソースであるため、研究への敷居が低くなる。

MemGUI-Agentプロジェクトのアドレス

• プロジェクト公式サイト：https://memgui-agent.github.io/
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/lgy0404/memgui-agent
• arXiv技術論文：https://arxiv.org/pdf/2606.19926

MemGUI-Agentと類似製品との比較

MemGUI-Agentの応用シナリオ

• アプリ間情報統合電子商取引サイト、地図アプリ、ソーシャルアプリから情報を自動的に収集し、メモ作成ソフトウェアに集約します。
• 長文記入複数の情報源（メール、アドレス帳、カレンダーなど）に基づいて、複雑な登録手続きや払い戻し手続きを自動的に完了させることができます。
• 連絡先管理と更新ソーシャルメディアの投稿から新しい電話番号やメールアドレスを抽出し、連絡先を自動的に更新して、テキストメッセージを送信します。
• 製品価格比較と記録複数のECプラットフォームを閲覧し、価格と仕様を記録し、比較資料を作成します。
• 自動テストとRPAモバイルデバイス上で、長時間のUI回帰テストまたはエンタープライズレベルのプロセス自動化を実行する。