project
OmniParser - Microsoftが提供する画面解析ツールで、UIのスクリーンショットを構造化データに変換します。
OmniParserは、Microsoft Researchが開発した画面解析ツールで、ユーザーインターフェースのスクリーンショットを構造化データに変換します。このツールは、大規模言語モデル（GPT-4Vなど）に基づくUIプロキシシステムのパフォーマンスを向上させるために特別に設計されています。
OmniParserとは何ですか？
OmniParserは、Microsoft Researchが開発した画面解析ツールで、ユーザーインターフェイスのスクリーンショットを構造化データに変換します。このツールは、大規模言語モデル（GPT-4Vなど）に基づくUIエージェントシステムのパフォーマンスを向上させるために特別に設計されており、インタラクティブなアイコンを正確に識別し、スクリーンショット要素の意味を理解することで、エージェントのタスク実行能力を強化します。OmniParserは、精緻に調整されたモデルを使用して、画面内のインタラクティブな領域と要素機能の意味を抽出し、HTMLやビュー階層などの追加情報に頼ることなく、複数のベンチマークテストで操作の精度とエージェントのパフォーマンスを向上させます。OmniParserは、OpenAI（4o/o1/o3-mini）、DeepSeek R1、Qwen 2.5-VL、Anthropic（Sonnet）など、さまざまな最先端のLLMで使用できます。
OmniParserの主な機能
- UIスクリーンショット分析OmniParserは、ユーザーインターフェースのスクリーンショットを、インタラクティブなアイコンやテキストなどの構造化された要素に解析します。
- インタラクティブな領域を特定するボタンやアイコンなど、UI内のインタラクティブな領域を識別してラベル付けするために、専用の検出モデルを使用します。
- 機能的意味論の抽出検出された要素の機能的意味は、記述モデルを用いて抽出され、ユーザーのタスクに関連する説明が生成されます。
- エージェントのパフォーマンスを向上させる分析結果を組み合わせることで、大規模言語モデル（GPT-4Vなど）に基づくUIプロキシのタスク実行時のパフォーマンスと精度を向上させることができる。
- クロスプラットフォームアプリケーションWindows、macOS、iOS、Androidなどの複数のオペレーティングシステムとアプリケーション、および様々なWebブラウザやデスクトップアプリケーションをサポートしています。
- 追加情報は不要ですHTMLやビュー階層などの追加情報に頼ることなく、ビジュアルスクリーンショットから必要なデータを独立して抽出できます。
OmniParserの技術的原則
- データセットの構築人気のあるウェブページやアプリケーションからデータを抽出し、インタラクティブなアイコン検出データセットとアイコン説明データセットを作成する。
- モデルの微調整：
- 検出モデルインタラクティブなアイコン検出データセットを用いてYOLOv8モデルを微調整し、UI内のインタラクティブな領域を識別・特定する。
- 説明モデルアイコン記述データセットでBLIP-v2モデルを微調整することで、アイコンの機能記述が生成される。
- OCRモジュール内蔵の光学文字認識（OCR）モジュールは、画面からテキストを抽出し、アイコン検出結果と統合し、重なり合った境界ボックスを除去します。
- 構造化された表現検出された要素と生成された説明が統合され、構造化されたDOM（ドキュメントオブジェクトモデル）表現が形成され、潜在的にインタラクティブな要素の上にバウンディングボックスのスクリーンショットが重ねて表示されます。
- 行動予測構造化された要素と機能的意味論を組み合わせることで、動作予測における大規模言語モデルへの負荷が軽減され、予測された動作が画面上の実際の動作により正確に変換される。
OmniParserのプロジェクトアドレス
- プロジェクト公式サイト：https://www.microsoft.com/en-us/research/articles/omniparser
- GitHubリポジトリ：https://github.com/microsoft/OmniParser/
- ハギングフェイスモデルライブラリ：
- arXiv技術論文：https://arxiv.org/pdf/2408.00203
OmniParserの応用シナリオ
- 自動ソフトウェアテストソフトウェア開発プロセスにおいて、UI要素を自動的に識別・操作し、テストスクリプトを実行し、テストの効率と網羅性を向上させます。
- バーチャルアシスタント仮想アシスタントの一部として、画面の内容を理解し、予約、問い合わせ、データ入力などのタスクを実行するのに役立ちます。
- 支援技術視覚障害者向けに、OmniParserは画面上のコンテンツを解析し、音声出力に変換することで、スクリーンリーダー機能を提供します。
- ユーザーインターフェース設計の検証デザイナーは、UIデザインにおけるインタラクティブな要素が、期待される機能と意味論を満たしているかどうかを検証します。
- クロスプラットフォームアプリケーション開発開発者は、一貫したユーザーエクスペリエンスを確保するために、さまざまなオペレーティングシステムやデバイスでアプリケーションのUIをテストおよび最適化します。