AB
AB
AiBoss

すべてのカテゴリ

project

AndroidLab - 清華大学と北京大学が共同で、Androidインテリジェントエージェントを体系的に評価するためのフレームワークを発表。

AndroidLabは、Android自律エージェントのトレーニングと評価のためのフレームワークであり、テキストと画像のモーダル操作環境、統一されたアクション空間、再現可能なベンチマークを統合しています。AndroidLabは、大規模な言語モデルとマルチモーダルモデルをサポートしています。

AndroidLabとは何ですか？

AndroidLabは、自律型Androidエージェントのトレーニングと評価のためのフレームワークです。テキストと画像のモーダル操作環境を統合し、アクション空間を統一し、再現可能なベンチマークを提供します。AndroidLabは、大規模な言語モデルとマルチモーダルモデルをサポートし、9つのアプリケーションを網羅する138のタスクを含み、オープンソースモデルの成功率を向上させるためのAndroid命令データセットの開発を可能にします。このフレームワークは、オープンソースモデルとクローズドソースモデルのパフォーマンスギャップを縮小し、オープンソースソリューションの開発を促進し、GitHubでオープンソースとして公開されています。

AndroidLabの主な機能

  • マルチモーダルな運用環境これは標準化されたマルチモーダル動作環境を提供し、大規模言語モデル（LLM）とマルチモーダルモデル（LMM）が同じ動作空間内で相互作用することをサポートします。
  • ベンチマーク9つの一般的なアプリケーションを網羅する138のタスクからなるベンチマークテストを設計してください。タスクの種類には、複雑な現実世界のインタラクションシナリオを含む操作タスクとクエリタスクが含まれます。
  • 評価指標このシステムは、エージェントのタスクパフォーマンスを正確に評価するために、タスク完了率（SR）、サブターゲット成功率（Sub-SR）、逆冗長率（RRR）、妥当な動作率（ROR）などの評価指標を導入しています。
  • データセットの構築Android Instructデータセットを作成し、自動探索と手動アノテーションを組み合わせて高品質な運用データを生成し、タスク完了率と運用効率の面でオープンソースモデルのパフォーマンスを向上させる。
  • モデルのトレーニングと最適化オープンソースモデルとクローズドソースモデルの両方のトレーニングと最適化をサポートし、命令チューニングに基づいてオープンソースモデルとクローズドソースモデル間のパフォーマンスの差を大幅に縮小します。

AndroidLabの技術原則

  • 動作モード：
    • XMLスキーマテキスト入力LLM向けに設計されたこのモデルは、圧縮されたXML情報伝送インターフェースの状態に基づいて、操作を実行する要素を直接選択します。
    • SoMモードLMM（線形混合モデル）では、セットオブマーク法を用いてスクリーンショットとマーカー情報を組み合わせ、モデルは演算対象となる番号付きマーカー要素を選択します。
  • 推論と運用フレームワーク：
    • ReActフレームワークこのモデルは、段階的な推論と演算出力に基づいて、中間的な推論プロセスを表示しながら演算結果を出力する。
    • SeeActフレームワーク推論と演算は分離され、2回の対話で実行されます。第1ラウンドでは、モデルが詳細な推論手順を生成し、第2ラウンドでは、具体的な演算が実行されます。
  • タスク設計と再現性各タスクは複数のサブゴールで構成されており、XMLツリー構造のマッチングを用いて各サブゴールの達成状況を検証することで、結果の正確性と処理効率を確保しています。
  • 評価システムタスク完了に基づく評価システムは、デバイスと画面の状態から直接判断し、エージェントのパフォーマンスを包括的かつ正確に評価します。
  • データセットとモデルトレーニングこのデータセットは、自動探索と手動アノテーションに基づいて構築されており、モデルはマルチモーダルおよびテキスト入力タスクにおける性能を向上させるためにトレーニングおよび微調整されています。

AndroidLabプロジェクトのアドレス

AndroidLab アプリケーションシナリオ

  • 自動テストモバイルアプリケーションの自動テストに使用され、ユーザーの操作をシミュレートしてアプリケーションの機能とパフォーマンスをテストします。
  • スマートアシスタント開発複雑なユーザーコマンドを理解し実行できる、音声アシスタントやチャットボットなどのインテリジェントなアシスタントを開発する。
  • 人間とコンピュータの相互作用に関する研究人間とコンピュータのインタラクション方法、特にモバイルデバイスにおける方法を研究・改善し、機械が人間の指示をよりよく理解し、応答できるようにする方法を検討する。
  • 人工知能研究これは、大規模言語モデル（LLM）およびマルチモーダルモデル（LMM）の実用的なアプリケーションにおける性能を研究および開発するための実験プラットフォームを提供する。
  • 教育と訓練教育ツールとして、学生や研究者がAndroidオペレーティングシステムの仕組みやアプリケーション開発方法を理解するのに役立ちます。
戻る