Roubao - オープンソースのAI搭載モバイル自動化アシスタント。Doubao携帯電話の低価格代替品です。

肉まんとは何ですか？

Roubaoは、ByteDanceの「Doubao Mobile Assistant」の無料代替となる、オープンソースのAI搭載モバイル自動化アシスタントです。ビジュアル言語モデル（VLM）に基づいてKotlinでネイティブに開発されたRoubaoは、コンピュータやroot権限を必要とせず、Shizukuを介したシステムレベルの制御をサポートしています。Roubaoのコアアーキテクチャは、「スクリーンショット→AI分析→実行」ループを採用しており、委任（AIアプリケーションへの委任）モードとGUI自動化モードの両方をサポートし、テイクアウトの注文、メッセージの送信、ナビゲーションなどのタスクを実行できます。

肉まんの主な機能

• インテリジェントAIエージェントRoubaoは、視覚言語モデルに基づいて画面の内容を理解し、自然言語コマンドでスマートフォンを操作し、複雑なタスクを自動的に計画・実行することができる。
• 洗練されたUIデザインRoubaoは、綿密に設計されたMaterial 3インターフェースを採用し、適応型のダークテーマとライトテーマをサポートし、滑らかなアニメーション効果を提供し、中国語と英語の完全なバイリンガルサポートを提供します。
• 高度にカスタマイズ可能Roubaoは、Alibaba Cloud Tongyi Qianwen、OpenAI GPT-4V、Claudeなど、複数の視覚言語モデルをサポートしており、ユーザーがカスタムAPIエンドポイントやローカルモデルを設定することも可能にします。
• セキュリティ保護メカニズムMeatballは、APIキーの保存にAES-256-GCM暗号化を採用し、機密性の高いページを自動的に検出して停止するメカニズムを備え、タスクの実行状況を完全に可視化し、いつでも手動で中断できる機能を提供します。
• ルートモード拡張機能Meatballはルートモード拡張機能をサポートしています。Shizukuをルート権限で実行すると、より多くのシステムレベルの操作機能が利用可能になります。

肉まんの技術的原理

• 2層エージェントアーキテクチャRoubaoの中核は、クロード・コードに着想を得た2層エージェントアーキテクチャであり、ツール層とスキル層に分かれています。ツール層は、アプリケーション検索、ディープリンクナビゲーション、クリップボード操作などの基本的な機能といった、アトミックな機能をカプセル化します。スキル層は、ユーザーの意図に対応し、自然言語を具体的なタスクにマッピングすることで、「テイクアウトの注文」から操作の実行まで、完全な連携を実現します。
• 循環型自動化プロセスRoubaoは、スクリーンショットの取得、分析、実行という循環的な自動プロセスを採用しており、Shizukuを使用してシステムレベルのコマンドを呼び出し、画面キャプチャとクリックのシミュレーションを実行します。ユーザーコマンドを受信すると、SkillManagerはまず意図認識を実行します。信頼性の高いタスクは、DeepLinkを介して専門のAIアプリケーションに直接委任され処理されます。一方、信頼性の低いタスクや複雑なタスクは、標準的なエージェントループに入り、マネージャーが計画を立て、実行者が意思決定を行い、リフレクターが完了するまで反映されます。
• ネイティブAndroid実装RoubaoはMobileAgentフレームワークをKotlinで書き直し、コンピュータを必要とせずAndroidデバイス上で完全にローカルで動作するようにしました。Shizukuを介してADBレベルの権限を取得することで、スクリーンショット、クリック、スワイプなどのアクションを直接実行でき、従来のPythonソリューションで必要だったコンピュータへの接続という煩雑なプロセスを回避しています。

肉まんプロジェクトの住所

• GitHubリポジトリ：https://github.com/Turbo1123/roubao

肉まんの応用例

• 日々のタスクの自動化Roubaoは、テイクアウトの注文、天気予報の確認、アラームの設定、メッセージの送信など、日常的なタスクをユーザーが実行するのに役立ちます。必要なことを伝えるだけで、アプリを手動で検索することなく、タスクが自動的に完了します。
• アプリケーション間情報処理Roubaoは自動的にスクリーンショットを撮影し、コンテンツを認識できるため、ユーザーは最後の写真をWeiboに送信したり、リンクをWeChatで共有したり、異なるアプリケーション間で情報をコピー＆ペーストしたりすることができます。
• エンターテインメントコンテンツの取得Roubaoは、音楽アプリを自動的に起動して毎日のおすすめを再生したり、Bilibiliで特定の動画を検索して再生したり、ユーザーが短い動画を閲覧して人気のコンテンツを視聴するのを支援したりすることができます。
• ナビゲーションおよび旅行サービスRoubaoは、高徳地図を直接起動してルートを検索したり、タクシーを呼んだり、近くのレストランやショップの位置情報を検索したりすることをサポートしています。