AB
AB
AiBoss

すべてのカテゴリ

project

AndroidGen - Zhipu社が、大規模言語モデルエージェントの機能を強化するためのフレームワークを発表。

AndroidGenは、Zhipu Technologyチームが開発したフレームワークで、特にデータが少ない状況において、大規模言語モデル（LLM）ベースのエージェントの機能を強化することを目的としています。このフレームワークは、人間のタスク軌跡を収集し、これらの軌跡に基づいて言語モデルをトレーニングします。

AndroidGenとは何ですか？

AndroidGenは、Zhipu Technologyチームが開発したフレームワークで、特にデータが少ない状況において、大規模言語モデル（LLM）ベースのエージェントの機能を強化することを目的としています。このフレームワークは、人間のタスク軌跡を収集し、これらの軌跡に基づいて言語モデルをトレーニングすることで、手動での軌跡注釈を必要としないエージェントを開発し、LLMが複雑なタスクを実行する能力を大幅に向上させます。

AndroidGenの主な機能

  • 手動注釈なしのデータ収集とトレーニングAndroidGenは、人間のタスク軌跡を収集し、これらの軌跡に基づいて言語モデルを訓練することで、手動による軌跡注釈を必要とせずに、効率的なエージェントを開発できます。
  • エージェントのタスク実行能力を強化するAndroidGenは、4つのコアモジュール（ExpSearch、ReflectPlan、AutoCheck、およびStepCritic）を通じて、LLMが複雑なタスクを実行する能力を大幅に向上させます。
    • xpSearch（経験検索）LLMは、類似した完了済みの軌跡を取得することで、文脈学習を実行し、それによってエージェントの能力を向上させ、単純なタスクから複雑なタスクへと一般化することを可能にする。
    • 計画を振り返る現在の環境を振り返り、計画状況を更新することで、エージェントの長期的な推論能力を高める。
    • オートチェックエージェントの各操作の妥当性を積極的に検証し、操作ミスによるタスク失敗のリスクを低減する。
    • StepCritic（段階的評価）この手法は、タスクを複数のサブ目標に分解し、段階的な軌道評価を提供することで、モデル最適化のための詳細なラベル付けを実現します。
  • 高効率データ収集パイプラインAndroidGenは、高品質なAndroidブラウジングトラックを多数生成する効率的なデータ収集パイプラインを構築します。

AndroidGenの技術的原理

  • モデルトレーニングLoRA技術を用いて、自動的に構築されたデータセット上でGLM-4-9BとLlama-3-70Bを微調整し、Androidエージェントモデルを取得した。軌跡の手動による注釈付けは不要であり、軌跡の各ステップを独立したトレーニングサンプルとして扱うことで、モデルはデータセット内の情報を最大限に活用した。
  • ハイブリッド計画および実行手順計画段階と実行段階を統合し、微調整することで、LLMは計画能力と実行能力の両方を備えることができる。
  • データ収集プロセス：
    • タスクの策定GPT-4oをベースに、AndroidWorldの指示から約300個のタスク指示を生成します。
    • エージェントサンプリング各タスクの軌跡は、AndroidWorldとGPT-4oに基づいてサンプリングされます。
    • トラック録音再現可能なAndroidナビゲーション軌跡を作成するために、各ステップにおける環境情報と操作情報を記録します。
    • 軌道評価StepCriticを使用して記録された軌跡を評価し、各サブ目標が達成されていることを確認してください。
    • 軌道増強高品質なデータセットを拡張した結果、最終的に1,000以上の軌跡を含むデータセットが構築された。

AndroidGenのパフォーマンス

  • AndroidWorldベンチマーク：
    • AndroidGenは、同じ基本モデルのエージェントの機能を大幅に強化し、M3AやSeeActと比較してより顕著なパフォーマンス向上を実現しています。
    • AndroidGenとGPT-4oの組み合わせは平均スコア46.8を達成し、他の組み合わせを大きく上回った。
    • モデルパラメータが小さくオープンソースであるGLM-4-9B + AndroidGenの平均スコアは、モデルパラメータが大きくクローズドソースであるGPT-4o + M3Aの平均スコアを上回っています。
  • AitW（Android in the Wild） 世界的に人気の高い8つのモバイルアプリケーション（GoogleマップやYouTubeなど）を対象としたテストにおいて、AndroidGenは、実際のデバイス環境における自然言語コマンドの理解と操作能力においても、非常に優れた性能を発揮した。

AndroidGenの応用シナリオ

  • 自動化されたタスク処理エージェントは、自然言語によるコマンドを通して、メール送信、リマインダー設定、情報照会などのタスクを自動的に完了できる。
  • アプリケーション間連携エージェントは、異なるアプリケーション間で相互作用し、あるアプリケーションから別のアプリケーションへデータをコピーするなどの操作を実行できます。
  • インテリジェントナビゲーションAndroid端末では、エージェントは特定のアプリケーションを開いたり、ファイルを検索したりするなど、ユーザーのコマンドに基づいてナビゲーションを行うことができます。
  • インテリジェントなインタラクション自然言語理解を通して、エージェントはユーザーと対話し、より高度なユーザーエクスペリエンスを提供することができる。
戻る