Cradle - 汎用的なコンピュータ制御型マルチモーダルAIエージェントフレームワーク

Cradleとは何ですか？

Cradleは、汎用コンピュータ制御（GCC）のためのマルチモーダルAIエージェントフレームワークです。Kunlun Techが北京人工知能研究院、南洋理工大学（シンガポール）、北京大学などの一流大学や研究機関と共同で開発したCradleは、AIエージェントがトレーニングなしで、また内部APIに依存せずに、人間のようにキーボードとマウスを直接操作し、あらゆるオープンソースまたはクローズドソースのソフトウェアと連携することを可能にします。Cradleは、様々な商用ゲームをプレイし、様々なソフトウェアアプリケーションを操作できる、現在までで最初のAIフレームワークであり、その論文、プロジェクト、コードはすべてオープンソースです。

• 情報収集意思決定のために、画面画像と可能性のある音声からマルチモーダル情報を抽出します。
• 自己反省過去の行動の成否を評価し、失敗の原因を分析することで、今後の行動を導く。
• タスク推論現在の環境と過去の情報に基づいて、最適な次のタスクを推測し、選択する。
• スキルプランニング特定のタスクに関連するスキルを生成および更新し、さまざまなコンピュータ操作要件に適応させる。
• 動作計画キーボードとマウス操作のための具体的な操作を生成し、戦略を実行可能なコマンドに変換します。

• マルチモーダル入力処理Cradleは、画面画像と音声のマルチモーダル入力を受信および処理し、人間の知覚をシミュレートしてコンピュータのインターフェースと環境を理解することができる。
• 情報抽出と理解画像内の視覚要素、テキスト情報、音声内の指示やフィードバックを識別するために、大規模なマルチモーダルモデル（GPT-4Vなど）を使用します。
• 自己反省メカニズムCradleは、リフレクションモジュールを通じて、過去に実行されたアクションが成功したかどうかを評価し、失敗した理由を分析することで、戦略を調整するための基礎情報を提供します。
• タスク推論と計画Cradleは、タスク推論モジュールを通じて現在の優先度の高いタスクを特定し、タスクを完了するためにアクションプランニングモジュールで新しいアクションを策定します。
• スキルの創出と更新スキル計画モジュールは、現在のタスクに基づいて新しいスキルを生成したり、既存のスキルを更新したりする役割を担います。スキルはコード関数の形式で存在し、インスタンス化して実行することができます。
• メモリと知識管理Cradleには、過去の経験やスキルを保存する長期記憶と短期記憶のシステムがあり、必要に応じてそれらを呼び出して活用することができる。