Mano - Minglue Technologyが開発したGUIインテリジェント操作モデル - AiBoss

マノとは何ですか？

Manoは、Mininglamp Technologyが開発した独自の大型モデルで、グラフィカルユーザーインターフェース（GUI）のインテリジェントな操作に特化しています。マルチモーダルな基盤モデルに基づき、オンライン強化学習や自動学習データ収集といった革新的な技術により、Mind2WebとOSWorldのベンチマークテストの両方で最先端（SOTA）の結果を達成しています。Manoは、Web環境やデスクトップ環境におけるGUI要素を正確に識別・操作し、フォームへの入力やアカウントへのログインといった複雑なタスクを完了させ、自動化された操作のための効率的なソリューションを提供するとともに、GUIインテリジェントエージェント分野の発展を推進します。

マノの主な機能

自動化されたウェブページ操作このモデルは、フォームへの入力、ボタンのクリック、テキストの入力、フォームの送信など、ウェブページ上の様々な操作を自動的に実行できます。自動データ収集や自動ウェブページテストといったシナリオに適用可能です。
デスクトップアプリケーションの操作デスクトップソフトウェアの操作をサポートしており、ソフトウェアの起動、メニュー操作、テキスト入力、ボタンクリックなどが可能です。
クロスプラットフォーム運用複数のオペレーティングシステムとブラウザに対応しているため、さまざまなプラットフォーム上での自動操作が可能となり、多様な自動化ニーズに対応できます。
データ収集と分析ウェブページやデスクトップアプリケーションからデータを自動的に収集し、予備的な分析を実行し、その後のデータ処理や意思決定を支援する機能を備えています。
エラー検出と回復動作中に発生したエラーを迅速に検出し、自動的に復旧を試みることで、動作の信頼性と安定性を向上させるエラー検出メカニズムを備えています。

マノの技術原則

マルチモーダル基本モデルマルチモーダルモデルに基づいて、視覚情報（ウェブページのスクリーンショットなど）とテキスト情報（ユーザーコマンドやウェブページのテキストなど）を理解・処理することができ、GUI環境の認識と理解を可能にする。
オンライン強化学習オンライン強化学習を通じて、Manoは現実環境との相互作用を通して運用戦略を継続的に学習・最適化することができ、それによって動的な環境における適応力と意思決定能力を向上させることができる。
トレーニングデータの自動収集モデルのトレーニングと最適化のために、高品質なインタラクティブデータを自動的に生成・収集する自動トレーニングデータ取得モジュールを設計し、手動アノテーションのコストを削減する。
監視微調整（SFT）トレーニングの最初の段階では、教師あり学習を用いてモデルを微調整し、特定のGUI操作タスクをより良く理解し、実行できるようにします。
オフライン強化学習第2段階では、オフライン強化学習によってモデルの意思決定能力がさらに最適化され、複数ステップの操作タスクをより適切に完了できるようになります。
オンライン強化学習第3段階では、モデルはシミュレーション環境内で現実環境と相互作用し、オンライン強化学習を通じてモデルの適応性と柔軟性をさらに向上させる。
検証モジュールManoには、各操作の正確性を検証し、エラーを迅速に検出・修正し、操作の精度と信頼性を向上させるための検証モジュールが搭載されています。

マノのプロジェクトアドレス

技術論文：https://www.mininglamp.com/wp-content/uploads/2025/09/%E6%98%8E%E7%95%A5%E7%A7%91%E6%8A%80-Mano-Technical-Report.pdf

Manoの応用シナリオ

自動データ取得ManoはWebアプリケーションやデスクトップアプリケーションからデータを自動的に収集できるため、データ分析や研究を効率的にサポートし、手作業によるデータ収集時間を節約できます。
ウェブページの自動テストこのモデルは、フォームへの入力やボタンのクリックなど、ウェブページ上の様々な操作を自動的に実行し、ウェブページが正しく機能するかどうかをテストするために使用されるため、テストの効率と精度が向上します。
エンタープライズ向け自動化オフィスデスクトップソフトウェアの動作をサポートし、企業内の事務処理の自動化（レポートの自動入力やメールの自動送信など）を可能にすることで、業務効率を向上させます。
ソフトウェア自動テストこのモデルは、デスクトップソフトウェアのテストを自動化するために使用され、ソフトウェアの起動やメニュー操作の実行などを行うことで、開発者がソフトウェアの問題を迅速に発見するのに役立ちます。
インテリジェントな顧客サービス支援このモデルは、注文状況の確認やよくある質問への回答など、顧客からの一般的な問い合わせを自動的に処理できるため、カスタマーサービス担当者の業務負担を軽減できます。