TuriX-CUA - 画面認識と操作を自動的に実行するオープンソースのAIデスクトップエージェント。

TuriX-CUAとは何ですか？

TuriX-CUAは、PythonをベースとしたオープンソースのAIエージェントで、AI技術を用いてデスクトップ操作を自動化します。TuriX-CUAは、スクリーンショットを撮影することで画面を「認識」し、マルチモーダルモデルを用いて次のステップを「思考」し、情報検索や文書処理といったユーザー指定のタスクを実行します。TuriX-CUAはWindowsとmacOSシステムに対応し、様々なAIモデルと互換性があり、MCPプロトコルを介して他のAIツールと統合することで複雑なタスクを自動化し、ユーザーに効率的でインテリジェントなデスクトップ体験を提供します。

TuriX-CUAの主な機能

• 画面認識と操作スクリーンショットのキャプチャ、画面内容の認識、マウスのクリックやキーボード入力の制御によって、タスクを自動化します。
• マルチモーダルタスク実行フライトの予約、情報の検索、チャートの作成、文書の挿入など、さまざまな複雑なタスクをサポートします。
• マルチモデルアーキテクチャ計画担当者と実行担当者の間で分業を行うことで、タスク実行の成功率と安定性を向上させることができる。
• クロスプラットフォーム対応WindowsとmacOSの両方のシステムに対応しており、さまざまなユーザーのオペレーティングシステムのニーズに対応します。
• MCPプロトコル統合MCPプロトコルを介してClaudeなどの他のAIツールとの連携をサポートし、機能と応用シナリオを拡張します。
• 柔軟なモデル構成ユーザーは、OpenAIやローカルにデプロイされたQwen3-VLなど、基盤となるAIモデルを個々のニーズに合わせて置き換えることができます。
• タスクの計画と分解プランナーを使用することで、複雑なタスクを複数のステップに分解し、一つずつ実行できるため、タスクの完了率が向上します。

TuriX-CUAの使い方

• 環境準備PythonとCondaをインストールし、Python環境を作成し、プロジェクトに必要な依存関係をインストールします。
• モデル構成設定ファイルでAIモデルのインターフェース情報を設定し、実行するタスクの説明を定義します。
• 権限設定システムにスクリーンショットの撮影、マウスとキーボードの操作を許可する権限を付与し、ソフトウェアがデスクトップ要素を正常に操作できるようにします。
• エージェントを起動するプロジェクトの起動スクリプトを実行して、AIが設定されたタスクの実行を開始できるようにします。
• 設定タスクタスクの説明を実際のニーズに合わせて修正し、タスクが明確かつ曖昧さなく記述されるようにすることで、実行の成功率を向上させる。

TuriX-CUAプロジェクトの住所

• GitHubリポジトリ：https://github.com/TurixAI/TuriX-CUA

TuriX-CUAの応用シナリオ

• 文書処理（Word、Excel、PowerPointなどの）文書を自動的に作成、編集、送信し、ユーザーの指示に基づいてレポートを生成し、グラフを挿入して同僚に送信します。
• メール管理あらかじめ設定されたルールに従って、メールの作成、送信、返信を自動化し、日々のメール関連業務を処理します。
• データ収集ウェブページやアプリケーションから、商品価格や在庫情報などの検索・記録といったデータを自動的に抽出します。
• コンテンツの検索と閲覧ブラウザ上でコンテンツを自動的に検索し、ウェブページを閲覧し、いいね、コメント、共有などの操作を実行します。
• インターフェーステストソフトウェアのユーザーインターフェースを自動的にテストし、機能が正しく動作していることを確認します。