Open-AutoGLM - ZhipuのオープンソースモバイルAIエージェントフレームワーク - AiBoss

Open-AutoGLMとは何ですか？

Open-AutoGLMは、Zhipuが開発したオープンソースのモバイルインテリジェントアシスタントフレームワークで、AutoGLMをベースに構築されており、自然言語コマンドによる携帯電話操作の自動化を実現します。Open-AutoGLMは、Phone Useフレームワークを使用して、自然言語コマンドをクリック、スワイプ、入力などの実際のアクションに変換し、フードデリバリー、ソーシャルネットワーキング、カスタマーサービスなどのシナリオでタスクの自動完了を可能にします。このフレームワークは、クラウド電話技術を活用してプライバシーとセキュリティを確保しています。Open-AutoGLMのオープンソースリリースの目的は、業界の進歩を促進し、ユーザーのプライバシーを保護し、エージェント技術の開発を加速することです。現在、50以上の主要な中国語アプリケーションをサポートしており、開発者が迅速に開発を開始し、二次開発を実行できるよう、完全なツールチェーンと詳細なドキュメントを提供しています。

Open-AutoGLMの主な機能

自然言語理解とタスク実行ユーザーは自然言語でニーズを説明することができ、AIが自動的に意図を解釈して操作を実行します。
マルチモーダルインターフェースの理解視覚言語モデルを用いて、携帯電話の画面上のコンテンツを理解し、操作のためのインターフェース要素を認識する。
自動運転クリック、スワイプ、テキスト入力、長押し、ダブルタップなど、さまざまな操作に対応しており、実際のユーザーの行動をシミュレートします。
精密な操作確認と手動引き継ぎプライバシーや機密性の高い業務が関係する場合、AIはセキュリティを確保するために人間の確認を求めたり、操作を引き継いだりします。
リモートデバッグと制御Wi-Fiまたはネットワーク経由のリモートADBデバッグをサポートしており、物理的なデバイス接続なしで操作できます。
複数のアプリケーションをサポートソーシャルコミュニケーション、eコマース、フードデリバリー、ビデオエンターテイメントなど、50種類以上の中国における主要なアプリケーションを網羅しています。
クラウド電話環境の展開クラウド上の仮想デバイスで動作するため、ユーザーのプライバシーとデータセキュリティが確保されます。

Open-AutoGLMの使い方

準備
- Pythonをインストールするお使いのコンピュータにPythonがインストールされていることを確認してください（バージョン3.10以上を推奨します）。
- ADBをインストールするhttps://developer.android.com/studio/releases/platform-tools から ADB をダウンロードしてインストールしてください。インストール後、ADB のパスをシステム環境変数に追加してください。
- Androidデバイスの設定Android端末で開発者モードとUSBデバッグが有効になっていること、そして端末がコンピュータに接続されていることを確認してください。
ダウンロードしてインストールする
- Open-AutoGLMをダウンロード：
  - Open-AutoGLMのGitHubリポジトリをご覧ください：https://github.com/zai-org/Open-AutoGLM。
  - ページ右上の「コード」をクリックしてください。” ボタンをクリックし、「ZIPファイルをダウンロード」を選択してください。”プロジェクトコードをダウンロードしてください。
  - ダウンロードしたファイルをローカルマシンの都合の良いディレクトリに展開してください（例：...）。 C:\Open-AutoGLM または ~/Open-AutoGLM）。
- 依存関係をインストールします：
  - コマンドラインツールを開きます（Windowsの場合はコマンドプロンプトまたはPowerShell、Mac/Linuxの場合はターミナル）。
  - 展開したプロジェクトディレクトリに切り替えます。
  - cd path/to/Open-AutoGLM
  - 依存関係をインストールするには、次のコマンドを入力してください。
  - pip install -r requirements.txt
- モデルサービスを開始します：
  - モデルサービスを開始するには、次のコマンドを入力してください（これは必須の手順ですが、コードを理解する必要はありません）。
  - python3 -m vllm.entrypoints.openai.api_server --model zai-org/AutoGLM-Phone-9B --port 8000
  - サービスが正常に開始されたことを示すメッセージが表示されたら、次のステップに進んでください。
タスクを実行する新しいコマンドプロンプトウィンドウを開き、以下のコマンドを入力してタスクを実行します（タスクの説明のみを置き換えてください）。python main.py --base-url http://localhost:8000/v1 --model "autoglm-phone-9b" "任务描述"

Open-AutoGLMプロジェクトのアドレス

GitHubリポジトリ：https://github.com/zai-org/Open-AutoGLM
ハギングフェイスモデルライブラリ：https://huggingface.co/zai-org/AutoGLM-Phone-9B

Open-AutoGLMの応用シナリオ

食品配達ユーザーは自分のニーズを自然言語で説明するだけで、Open-AutoGLMが自動的にMeituanアプリを開き、KFCを検索し、ファミリーバケットミールを選択し、注文を完了することができます。
ソーシャルメディアでの交流WeChatやWeiboなどのソーシャルアプリでは、ユーザーはAIに「友達の最新の投稿にいいね！」をしたり、「Douyinの動画にコメント！」と指示することができます。AIは関連するコンテンツを自動的に認識し、いいね！やコメントなどのインタラクティブな操作を実行します。
オフィスオートメーションオフィスソフトウェア（WPS、Microsoft Officeなど）では、ユーザーは音声コマンドやテキストコマンドを使って「『プロジェクト計画』という名前の文書を作成し、会議の内容を書き込む」ことができ、AIが文書の作成と内容の編集を完了させることができます。
スマートホームコントロールOpen-AutoGLMは、スマートホームアプリケーション（Xiaomi Smart Homeなど）を通じて、対応するデバイスを正確に識別および制御し、ホームシーンの自動切り替えを可能にします。
交通機関地図アプリや配車アプリ（高徳地図や滴滴出行など）では、AIがリアルタイムでルートを計画し、配車業務を完了するため、便利で迅速です。