UI-TARS Desktop - ByteDanceのオープンソースデスクトップAI GUIインテリジェントエージェントツール - AiBoss

UI-TARS Desktopとは何ですか？

UI-TARS Desktopは、ByteDanceが開発したオープンソースのデスクトップ自動化ツールで、ビジュアル言語モデルに基づいています。ファイルのオープン、Webページの閲覧、ソフトウェアの操作など、自然言語コマンドによるコンピュータ操作の制御をサポートし、画面要素を正確に認識してインタラクションを可能にします。Windows、Linux、macOSシステムに対応し、ローカルおよびリモート操作の両方に対応しているため、ユーザーはハードウェアに応じて異なるスケールモデルを選択できます。内蔵のスクリプトエディタにより、ユーザー定義の自動化タスクを簡単に作成できます。UI-TARS DesktopはApache 2.0ライセンスの下でオープンソースとして提供されており、無料で利用でき、商用開発もサポートしているため、データ処理やリモートメンテナンスなど、さまざまな自動化シナリオに適しています。

UI-TARSデスクトップの主な機能

自然言語制御ユーザーは、「アプリケーションを開く」「特定のファイルを検索する」「フォームに入力する」といった自然言語コマンドを使って、複雑なプログラミングや手動操作を必要とせずに、コンピュータを直接制御できます。
視覚認識とインタラクションスクリーンショット機能と画像認識技術をサポートしており、画面上のインターフェース要素（ボタン、入力ボックスなど）を自動的に検出し、正確なマウスクリック、キーボード入力などの操作を実行できるため、複雑な視覚作業に適しています。
クロスプラットフォーム対応WindowsおよびmacOSシステムに対応しており、さまざまなニーズに対応するため、異なるオペレーティングシステム上で動作可能です。
リモコンコンピュータやブラウザのリモート制御をサポートしており、ユーザーはネットワーク経由でリモートデバイスに接続してタスクを実行したり、他のユーザーの問題解決を支援したりすることができます。
リアルタイムフィードバックシステムは、命令実行時に操作の進行状況とステータスをリアルタイムで表示するため、ユーザーはいつでもタスクの実行状況を把握できます。
データセキュリティローカル展開により、操作ログとデータはユーザーのデバイスに保存されるため、プライバシーとセキュリティが保証されます。

UI-TARSデスクトップの使い方

ダウンロードとインストールGitHubリポジトリのリリースぺージにアクセスして、UI-TARSデスクトップアプリケーションの最新バージョンをダウンロードしてください。macOSの場合、ダウンロードされるバージョンは... UI TARS アプリケーションをドラッグして Applications フォルダ。アプリケーションが開けない場合は、ターミナルでコマンドを入力できます。 sudo xattr -dr com.apple.quarantine /Applications/UI\ TARS.app 修復するには、Windowsユーザーはダウンロードしたインストールファイルをダブルクリックし、画面の指示に従ってインストールしてください。Homebrewユーザーはコマンドラインを使用することもできます。 brew install ui-tars-desktop 簡単なインストール。
展開モデルUI-TARSは、クラウド展開とオンプレミス展開（vLLM）の2つの展開方法を提供しています。クラウド展開の場合は、HuggingFace Inference Endpointsの使用をお勧めします。オンプレミス展開の場合は、まず必要なソフトウェアをインストールする必要があります。 vllm>=0.6.1次に、2B、7B、または72Bモデルをダウンロードし、最後にコマンドを実行します。 python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars --model <path to your model> OpenAI APIサービスを起動し、設定画面でAPI情報を入力してください。
起動と使用UI-TARSデスクトップアプリケーションを開き、「ブラウザを開いて『AI技術』を検索してください」などの自然言語コマンドを入力すると、対応する操作が自動的に解析・実行され、実行状況に関するリアルタイムのフィードバックが提供されます。
探索してカスタマイズするより高度な使用方法については、GitHub の README ファイルと貢献ガイドラインを参照してください。開発者は、UI-TARS SDK を使用して機能を拡張し、独自のカスタム自動化エージェントを作成できます。

UI-TARSデスクトッププロジェクトのアドレス

GitHubリポジトリ：https://github.com/bytedance/UI-TARS-desktop

UI-TARSデスクトップのアプリケーションシナリオ

オフィスオートメーションExcelデータの自動処理（表内容の一括変更やグラフ生成など）や、よく使うオフィスソフトの迅速な起動と操作実行により、手作業時間を節約します。
ウェブページの操作ウェブページへの自動ログイン、フォームへの入力、ウェブページコンテンツの閲覧などを行うため、eコマース業務や情報収集など、頻繁なウェブページ操作が必要なシナリオに適しています。
ソフトウェアとの相互作用Photoshopなどのプロ仕様のソフトウェアを操作して複雑な画像処理作業を自動的に実行したり、ビデオ編集ソフトウェアを制御して編集、特殊効果の追加、その他の操作を完了させたりすることができます。
遠隔操作および保守遠隔地のコンピュータに接続して、システムメンテナンス、ソフトウェアアップデート、トラブルシューティング、その他の操作を実行できるため、IT運用・保守担当者にとって特に適しています。
ゲームアシスタントキャラクターのレベルアップや資源収集など、ゲーム内で繰り返し発生する作業を自動化することで、ゲーム体験を向上させます。
学習補助教材学習教材を自動的に検索し、メモを整理し、解説動画を再生することで、ユーザーがより効率的に学習できるよう支援します。