Step-GUI - Step-Star社が開発した一連のAIエージェントモデル。

Step-GUIとは何ですか？

Step-GUIは、StepStarが開発したAIエージェントシリーズのモデルで、クラウドベースのモデルStep-GUIとエッジベースのモデルStep-GUI Edge（旧称Gelab-Zero）で構成されています。クラウドベースのモデルは複雑なタスクの処理に優れており、エッジベースのモデルは軽量で、携帯電話などのローカルデバイス上で動作し、ユーザーのプライバシーを保護します。Step-GUIは、自己進化型のトレーニングプロセスとキャリブレーション済みステップ報酬システム（CSRS）を利用して、モデルが生成したインタラクション軌跡を高品質のトレーニングデータに変換し、アノテーションコストを大幅に削減し、パフォーマンスを向上させています。Step-GUIは、AndroidWorldやScreenShot-Proなどの複数のベンチマークテストで優れたパフォーマンスを発揮しています。Step-GUIは、標準化されたモデルとデバイスのインタラクションを実現するためにGUI-MCPプロトコルを導入し、ユーザーのプライバシーを保護しています。AndroidDailyベンチマークを通じて実際のモバイルアプリケーションでのパフォーマンスが評価され、GUI自動化ツールの実用性と標準化を促進しています。

Step-GUIの主な機能

• タスクの自動実行これにより、ユーザーはボタンをクリックしたり、画面をスワイプしたり、テキストを入力したりするなど、人間のユーザーと同じようにさまざまなアプリケーションを操作し、単純なものから複雑なものまで、さまざまなタスクを完了することができます。
• クロスプラットフォーム対応Step-GUIはGUI-MCPプロトコルを使用することで、携帯電話、コンピュータ、車載システムなど、さまざまなデバイス上で動作し、Android、iOS、Windows、macOSなどのさまざまなオペレーティングシステムをサポートしています。
• プライバシー保護エッジとクラウドの連携アーキテクチャを採用し、機密データはローカルデバイスに保持し、必要な意味情報をクラウドに送信することでユーザーのプライバシーを確保します。
• 効率的なタスク処理大規模なクラウドベースモデルと小規模なエッジベースモデルの連携を活用することで、複雑なタスクを効率的に処理できます。クラウドベースモデルは高レベルの推論とタスク分解を担当し、エッジベースモデルは具体的な操作の実行を担います。
• 現実世界のシナリオシミュレーションこれは、ソーシャルチャット、ショッピング決済、動画視聴といった日常的に頻繁に行われるタスクを完了する際の、実際のユーザーの行動パターンをシミュレートするものであり、さまざまな実用的なアプリケーションシナリオに適しています。

Step-GUIの技術的原理

• マルチモーダル大規模言語モデルStep-GUIは、強力なマルチモーダル言語モデル（Qwen3-VLなど）に基づいており、自然言語コマンドを理解・生成し、それを特定のGUI操作に変換することができます。このモデルは、視覚入力（スクリーンショットなど）と言語コマンドを組み合わせることで、インターフェース要素の正確な位置決めと操作を実現します。
• 自己進化型トレーニングフレームワークステップ報酬システム（CSRS）を調整することで、モデルによって生成された動作軌跡は高品質のトレーニングデータに変換されます。CSRSは、軌跡レベルの検証信号を通じてデータの精度と信頼性を保証すると同時に、LLMによって生成される詳細な推論チェーンによってモデルの汎化能力を向上させます。
• エンドツークラウドのコラボレーションアーキテクチャStep-GUIは、エッジとクラウドの連携動作モードを採用しています。エッジモデル（Step-GUI Edgeなど）は、ローカルデバイス上で特定の操作タスクを実行し、プライバシー保護と低遅延応答を実現します。一方、クラウドモデルは、複雑な論理推論とタスク分解を処理し、より高度な意味理解と汎化能力を提供します。
• GUI-MCPプロトコル標準化されたクロスプラットフォームのインタラクションを実現するために、Step-GUIはGUI-MCP（モデルコンテキストプロトコル）を提案しています。このプロトコルは、階層型アーキテクチャを使用してデバイス操作をアトミック操作と複合タスクに抽象化し、クリックやスワイプなどの低レベル操作と「コーヒーの購入」などの高レベルタスク委任をサポートすると同時に、データのローカル処理とユーザーのプライバシー保護を保証します。
• 強化学習とデータ反復Step-GUIは、強化学習（グループ相対方策最適化、GRPOなど）を用いて学習を行い、環境との相互作用を通じてモデルの意思決定能力を継続的に最適化します。同時に、自己進化的な学習プロセスを通じて、モデルは自ら生成したデータから継続的に学習し、パフォーマンスを向上させます。

Step-GUIプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/stepfun-ai/gelab-zero
• 技術論文：https://github.com/stepfun-ai/gelab-zero/blob/d1cd0c7be83e234b66dbec4c5554f5fde44dce08/report/Step-GUI_Technical_Report.pdf

Step-GUIの応用シナリオ

• 個人の日常業務の自動化Step-GUIは、ソーシャルメッセージへの自動返信、グループチャットの管理、ライフスタイルサービスアプリでの注文や支払いなどを行い、ユーザーが日々のタスクを効率的に処理できるよう支援します。
• エンタープライズレベルの自動化タスクこのツールは、オフィスソフトウェア内でデータ入力、文書編集、メール送信を自動的に完了させることができ、企業のオフィス効率を向上させ、ワークフローを最適化します。
• スマートホームとモノのインターネットStep-GUIは、スマートホーム機器の制御、シーンモードの設定、照明やエアコンなどの機器の自動制御を可能にし、家庭生活の利便性を向上させます。
• ゲームとエンターテイメントStep-GUIは、ゲーム内の反復作業を自動的に完了させたり、動画プラットフォーム上で動画の再生、保存、コメントを自動的に行ったりすることで、エンターテイメント体験を向上させます。
• 教育と学習Step-GUIは、オンライン学習プラットフォーム上でコースを自動的に再生し、課題を提出できるほか、学習管理ツールでタスクを作成し、進捗状況を記録できるため、学習管理を容易にします。