UI-TARS - ByteDanceが開発したオープンソースのネイティブGUIプロキシモデル。

UI-TARSとは何ですか？

UI-TARSは、ByteDanceが開発した次世代ネイティブGUIエージェントモデルで、自然言語によるデスクトップ、モバイルデバイス、Webインターフェースとの自動的な対話を実現します。強力な知覚、推論、行動、記憶機能を備え、動的なインターフェースをリアルタイムで理解し、テキストや画像などのマルチモーダル入力による複雑なタスクを実行できます。UI-TARSの最大の強みは、プラットフォーム間で標準化されたアクション定義にあり、デスクトップ、モバイル、Webなど複数の環境をサポートします。迅速かつ直感的な応答と複雑なタスク計画機能を組み合わせ、多段階の推論、反省、エラー修正をサポートします。また、短期記憶と長期記憶機能を備え、動的なタスクの要求により柔軟に対応します。

UI-TARSの主な機能

• マルチモーダルセンシングUI-TARSは、テキストや画像などの様々な入力形式に対応し、動的なインターフェースコンテンツをリアルタイムで認識・理解し、クロスプラットフォーム（デスクトップ、モバイル、ウェブ）でのインタラクションをサポートします。
• 自然言語インタラクションユーザーは自然言語コマンドを用いてUI-TARSと対話することで、タスク計画や操作実行といった複雑なタスクを完了できます。UI-TARSは多段階推論とエラー訂正をサポートし、人間のように複雑な対話シナリオに対応できます。
• クロスプラットフォーム運用デスクトップ、モバイル、ウェブ環境をサポートし、標準化されたアクション定義を提供するとともに、プラットフォーム固有の操作（キーボードショートカットやジェスチャーなど）にも対応しています。
• 視覚認識とインタラクションUI-TARSは、スクリーンショットと視覚認識によってインターフェース要素を正確に特定し、マウスのクリックやキーボード入力などの操作を実行できるため、複雑な視覚タスクに適しています。
• メモリとコンテキストの管理短期記憶と長期記憶の両方の機能を備えているため、タスクのコンテキスト情報を取得し、過去のインタラクション記録を保持することができ、継続的なタスクや複雑なシナリオをより適切にサポートできます。
• タスクの自動実行アプリケーションの起動、情報の検索、フォームへの入力など、一連の作業を自動化することで、ユーザーの作業効率を向上させることができます。
• 柔軟な導入クラウド展開（Hugging Faceの推論エンドポイントなど）とオンプレミス展開（vLLMやOllama経由など）をサポートし、さまざまなユーザーのニーズに対応します。
• 拡張性UI-TARSは豊富なAPIと開発ツールを提供しており、開発者は二次開発や統合を容易に行うことができます。

UI-TARSの技術原理

• 知覚を高めるUI-TARSは、大規模なGUIスクリーンショットデータセットを用いて学習されており、インターフェース要素のコンテキスト認識に基づいた正確な記述を可能にします。ビジュアルエンコーダーを通してリアルタイムで視覚的特徴を抽出することで、インターフェースのマルチモーダルな理解を実現します。
• 統合アクションモデリングUI-TARSはクロスプラットフォーム動作を標準化し、デスクトップ、モバイル、ウェブプラットフォーム間でのインタラクションをサポートする統一されたアクション空間を定義します。大規模な動作軌跡データで学習されたこのモデルは、インターフェース要素との正確な位置特定とインタラクションを実現します。
• 体系的な推論能力UI-TARSは、体系的な推論メカニズムを導入し、多段階タスク分解、内省的思考、マイルストーン認識などの推論モードをサポートします。これにより、複雑なタスクにおける高度な計画立案と意思決定が可能になります。
• 反復的なトレーニングとオンラインでの振り返りデータボトルネックに対処するため、UI-TARSは新しいインタラクション軌跡を自動的に収集、フィルタリング、反映することで反復的に学習します。仮想マシン上で動作し、エラーから学習し、予期せぬ状況に適応することで、人的介入を削減します。

UI-TARSプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/bytedance/UI-TARS
• ハギングフェイスモデルライブラリ：https://huggingface.co/bytedance-research/UI-TARS-7B-DPO
• arXiv技術論文：https://arxiv.org/pdf/2501.12326

UI-TARSの応用シナリオ

• デスクトップおよびモバイルの自動化自然言語を使ってコンピューターやモバイルデバイスを操作し、アプリケーションの起動や情報の検索などのタスクを実行できます。
• ウェブ自動化Midscene.jsと組み合わせることで、開発者はJavaScriptと自然言語を使ってブラウザを制御できるようになります。
• 視覚認識とインタラクションスクリーンショット機能と画像認識機能をサポートしており、視覚情報に基づいて正確なマウス操作とキーボード操作を実行できます。