CogAgent-9B - Zhipu AIのオープンソースGLM-PCの基本モデル

CogAgent-9Bとは何ですか？

CogAgent-9Bは、GLM-4V-9Bで学習された専用エージェントタスクモデルです。入力としてスクリーンショットのみを必要とし、HTMLなどのテキスト表現は不要です。CogAgent-9Bは高解像度画像処理をサポートし、中国語と英語のバイリンガル対話機能を備え、GUI操作を予測・実行してタスクを自動化できます。複数のGUI操作データセットで優れた結果を達成しており、オープンソースモデルとして大規模エージェントモデルエコシステムの発展を牽引しています。CogAgent-9Bは、パソコン、携帯電話、車載システムなど、GUI対話シナリオで幅広く活用できます。

CogAgent-9Bの主な機能

• GUIの理解と操作CogAgent-9Bは、グラフィカルユーザーインターフェース（GUI）を理解して操作することができ、ボタンをクリックしたり、テキストを入力したりといったタスクを実行できます。
• スクリーンショット入力このモデルは入力としてスクリーンショットのみを使用し、HTMLなどの追加のテキスト表現を必要としないため、複数のデバイスで柔軟に使用できます。
• 高解像度処理最大1120×1120ピクセルの高解像度画像入力に対応しており、より複雑な視覚情報を処理することが可能です。
• バイリンガル交流中国語と英語の両方でスクリーンショット機能と言語インタラクションをサポートしており、モデルの国際的な応用可能性を高めています。
• GUI操作の予測ユーザーが指定したタスクと過去の操作履歴に基づいて、モデルは次のGUI操作を予測できます。
• タスクの自動実行CogAgent-9Bは、ユーザー操作をシミュレートし、一連のGUIタスクを自動化することができます。
• クロスプラットフォームアプリケーションパーソナルコンピュータ、携帯電話、車載システムなど、さまざまなGUIベースのインタラクションシナリオに適しています。
• 優れた業績複数のGUI操作データセットにおいて優れた結果を達成し、その卓越した性能を実証した。

CogAgent-9Bの技術的原理

• ビジュアル言語モデル（VLM）CogAgent-9Bは、強力なビジュアル言語モデルであるGLM-4V-9Bを基盤として構築されており、スクリーンショットなどのビジュアルデータやテキスト情報を処理し、GUI要素を理解して操作することができます。
• 2ストリーム注意機構CogAgent-9Bは、2ストリームのアテンションメカニズムを採用しており、視覚要素（ボタンやアイコンなど）をテキストラベルや説明にマッピングすることで、ユーザーの意図を予測し、関連するアクションを実行するモデルの能力を高めています。
• GUIの基礎知識に関する事前トレーニング事前学習段階において、CogAgent-9BはGUIグラウンディング事前学習手法を導入しています。この手法は、スクリーンショットとレイアウトのペアを通してインターフェースのサブ領域とレイアウト表現との対応関係を構築することで、モデルの視覚入力とGUIインターフェースに関する基本的な理解を向上させます。
• データセットは豊富で完全であるCogAgent-9Bチームは、教師なしデータやGUI指示の微調整データセットなど、さまざまなデータセットを広範囲に収集し、統合しました。これらのデータセットの豊富さと多様性により、モデルのトレーニングとテストのための幅広い基盤が提供されました。
• 事前学習および事後学習戦略の最適化CogAgent-9Bは、事前学習段階でGUI参照式生成（REG）タスクとGUI参照式理解（REC）タスクを導入し、インターフェースのサブ領域とレイアウト表現との対応関係を構築します。事後学習段階では、より科学的なGUIエージェント事後学習戦略を採用することで、モデルの分析力、推論力、予測能力を向上させています。
• モデル推論と思考連鎖の最適化CogAgent-9Bは、思考の流れをステータス（現在の画面状態）、プラン（全体的な計画）、アクション（次の自然言語による記述）、オペレーション（次の形式言語による記述）に分解し、複数のモードのトレーニングデータをランダムにサンプリングして混合することで、推論プロセス中の実際の出力を柔軟に調整および制御します。
• 動きやすい空間CogAgent-9Bは、基本的なアクション空間を明確化し、LLM、QUOTE_TEXT、LAUNCHなどの高度なアクションを追加することで、モデルの使いやすさとインタラクティブな機能を強化しています。

CogAgent-9Bプロジェクトの住所

• GitHubリポジトリ：https://github.com/THUDM/CogAgent
• ハギングフェイスモデルライブラリ：https://huggingface.co/THUDM/cogagent-9b-20241220

CogAgent-9Bの応用シナリオ

• 自動テストソフトウェア開発において、CogAgent-9Bは自動テストに利用でき、ユーザーの操作をシミュレートしてアプリケーションのGUIをテストすることで、テストの効率と網羅性を向上させることができます。
• スマートアシスタントインテリジェントなパーソナルアシスタントであるCogAgent-9Bは、スケジュール管理やメール処理といった日常業務の自動化をユーザーに支援します。
• 顧客サービス顧客サービス分野において、CogAgent-9Bは自動化された操作を通じて顧客サービス担当者を支援し、顧客のニーズに迅速に対応し、関連する行動を実行できるようにする。
• スマートホームコントロールCogAgent-9Bはスマートホームシステムに統合することができ、ユーザーはGUIを介して自宅の様々なスマートデバイスを制御できるようになります。
• スマートコックピット自動車分野では、CogAgent-9Bはスマートコックピットシステムに利用でき、GUIを介して車載インフォテインメントシステムと連携することで、より安全で便利な運転体験を提供する。