EvoCUA - Meituanのオープンソース汎用マルチモーダルコンピュータ運用モデル

EvoCUAとは何ですか？

EvoCUA（Evolving Computer Use Agent）は、Meituanが開発したオープンソースのマルチモーダルモデルで、コンピュータ利用タスクの自動化に特化しています。EvoCUAは、自然言語コマンドとスクリーンショットを用いて、Chrome、Excel、PowerPointなどのソフトウェア上でエンドツーエンドのマルチターン操作を実行し、コンピュータ利用能力を大幅に向上させます。OSWorldベンチマークテストでは、タスク完了率56.7%でオープンソースモデルの中で1位を獲得し、多くの有名モデルを凌駕しました。EvoCUAの革新的なデータ合成およびトレーニング手法は、一般的なパフォーマンスを損なうことなく、オープンソースのビジュアル言語モデルのコンピュータ利用能力を大幅に向上させることができます。

EvoCUAの主な機能

• 複数ターンにわたる相互作用デスクトップ環境との複数ラウンドの対話に対応し、タスク要件に従って操作を段階的に完了します。
• タスク自動化自然言語による指示に基づいて、Excelでのレポート作成やブラウザでの情報検索など、複雑なコンピュータタスクの実行をサポートします。
• マルチモーダル入力視覚情報（スクリーンショット）と言語情報（自然言語コマンド）を組み合わせることで、タスクの要件をより正確に理解することができます。
• 高効率な実行アルゴリズムとモデル構造を最適化することで、タスクをより少ない手順で完了させることができ、効率を向上させることができる。
• オープンソースと拡張性オープンソースモデルであるEvoCUAは、ユーザーがニーズに合わせてカスタマイズおよび拡張することを可能にします。

EvoCUAの技術原則

• データ合成およびトレーニング方法
  EvoCUAは、革新的なデータ合成手法を用いて、実際のコンピュータ操作タスクをシミュレートする大量の高品質なトレーニングデータを生成します。そのトレーニング手法は、モデル全体の性能を損なうことなくコンピュータのパフォーマンスを大幅に向上させ、最適化されたトレーニング戦略によって、マルチモーダルタスクにおいて優れた性能を発揮します。
• 強化学習と最適化EvoCUAは、トレーニング中に強化学習技術を利用し、報酬メカニズムを通じてモデルの動作戦略を最適化します。モデルは、複数回のインタラクションを通じて継続的に試行錯誤と学習を行い、徐々に最適な動作経路を見つけ出し、複雑なタスクを効率的に完了させます。
• モデルアーキテクチャEvoCUAは、大規模言語モデル（LLM）と視覚言語モデル（VLM）に基づいて構築されており、強力な言語理解・生成機能に加え、視覚情報の処理能力も備えています。特定のプロンプトと構文解析メカニズムを通して、自然言語による指示を具体的な操作コマンドに変換し、デスクトップ環境の自動操作を可能にします。