project
Aria-UI - 香港大学とRhymes AIが共同開発した、インテリジェントなGUIインタラクションのためのマルチモーダルモデル。
Aria-UIは、香港大学とRhymes AIが共同開発した、グラフィカルユーザーインターフェース（GUI）のローカライズタスク向けに設計された大規模なマルチモーダルモデルです。純粋に視覚的なアプローチに基づいており、HTMLやAXTreeなどの補助入力に依存せず、大規模な...
ARIA-UIとは何ですか？
Aria-UIは、香港大学とRhymes AIが共同開発した、グラフィカルユーザーインターフェース（GUI）のローカライズタスク向けに設計された大規模なマルチモーダルモデルです。純粋に視覚的なアプローチに基づいており、HTMLやAXTreeなどの補助入力には依存しません。大規模で多様なデータ合成パイプラインを使用し、Common Crawlや公開データから高品質の要素記述と指示サンプルを生成し、さまざまな環境における多様な指示に対応します。Aria-UIは、動的なアクション履歴情報を革新的に統合し、テキストまたはテキストと画像を交互に配置した形式を使用することで、複数ステップのタスクシナリオにおけるモデルのローカライズ機能を強化しています。オフラインおよびオンラインのエージェントタスクを含む幅広いベンチマークテストにおいて、Aria-UIは優れたパフォーマンスを発揮し、強力なゼロショット汎化能力とクロスプラットフォーム適用性を示し、一般的なGUIローカライズタスク向けの強力なソリューションとなっています。
Aria-UIの主な機能
- GUI要素の配置言語コマンドをGUI内の対象要素に正確にマッピングすることで、要素の精密な位置決めを可能にし、その後の対話型操作の基盤を提供する。
- マルチモーダル入力処理GUI画像、テキストコマンド、操作履歴など、複数のモダリティからの入力情報を処理し、マルチモーダルデータに含まれる豊富な情報を完全に理解して活用します。
- 多様な指導方法の適応大規模かつ多様なデータ合成プロセスに基づいて、さまざまな環境における多様な命令表現方法に効果的に適応する、多様な命令サンプルを生成する。
- 動的なコンテキスト理解動的な動作履歴情報を統合し、テキストまたはテキストと画像が交互に配置された形式を使用して、複数ステップのタスクシナリオにおける現在の動的な状況を理解し、要素の正確な位置特定のための重要な参照情報を提供します。
- 高解像度画像処理最大3920×2940の画像解像度をサポートし、画像をより小さなブロックに分割して処理することで、処理可能な画像サイズの範囲を大幅に拡大します。
Aria-UIの技術原則
- 純粋に視覚的な方法この手法は、純粋に視覚的なアプローチを採用し、GUI画像から視覚的特徴を直接抽出し、視覚情報を用いて対象要素を理解し、特定します。
- マルチモーダルMoEモデルこれは、ARIAマルチモーダルMoE（エキスパート混合モデル）に基づいて構築されており、39億個の活性化パラメータを持ち、マルチモーダルデータの処理に優れています。
- データ合成とトレーニング2段階のデータ合成プロセスに基づき、Common Crawlおよび公開データから、Web、デスクトップ、モバイルという3つの主要なGUI環境を網羅した、高品質な要素記述と多様な指示サンプルが生成されます。これにより、モデル学習のための多様で豊富な学習データが得られ、モデルがさまざまな指示や要素を認識する能力が向上します。
- コンテキスト認識型データ拡張機能このモデルは、公開されているプロキシ軌跡データを使用して文脈に応じた位置特定タスクをシミュレートし、テキストアクション履歴とテキストと画像が交互に配置された履歴という2つの文脈設定を構築し、データ合成プロセスに基づいて軌跡データ内のすべての位置特定ステップの詳細な手順を生成することで、動的な環境におけるタスクをよりよく理解し、実行できるようにします。
- 超解像度対応画像を分割してより小さな断片に処理し、画像の詳細と精度を維持しながら、最大3920×2940の画像解像度をサポートします。
Aria-UIプロジェクトのアドレス
- プロジェクト公式サイト：https://ariaui.github.io/
- GitHubリポジトリ：https://github.com/AriaUI/Aria-UI
- ハギングフェイスモデルライブラリ：https://huggingface.co/Aria-UI
- arXiv技術論文：https://arxiv.org/pdf/2412.16256
Aria-UIのアプリケーションシナリオ
- 自動テストウェブアプリケーションテストは、ウェブページのボタンを自動的にクリックし、情報を入力することで、機能が正しく動作しているかどうかを検証します。
- ユーザーインタラクション支援音声コマンドを使えば、家電製品を操作できます。例えば、「電気をつけて」と言うと、自動的にスイッチボタンがクリックされます。
- インテリジェントな顧客サービスEコマースプラットフォームのカスタマーサービスは、商品の詳細情報を迅速に検索し、ユーザーからの問い合わせに回答することができます。
- 教育業界コードエディタを自動的に操作し、プログラミングのプロセスと結果を表示します。
- 自動化されたオフィス財務ソフトウェアの自動操作、レポート作成、および業務効率の向上。