Gemini 2.5 コンピュータ利用 - Google が提唱したコンピュータ利用モデル

Gemini 2.5のコンピュータ利用とは？

Gemini 2.5 Computer Useは、Google DeepMindがGemini 2.5をベースに開発したコンピュータ利用モデルです。このモデルにより、AIがブラウザを直接制御し、クリック、スクロール、タイピングなどの操作を実行できます。視覚理解と推論能力により、ウェブページからの情報取得やメモの整理など、さまざまなタスクの完了を支援します。ベンチマークテストで優れた性能を発揮し、処理速度も非常に高速です。開発者はGoogle AI StudioとVertex AIを通じて利用でき、ユーザーはBrowserbaseのホスト型デモ環境で試用できます。

Gemini 2.5の主な機能（コンピュータ使用）

• ブラウザ操作これにより、ユーザーはブラウザ上でクリック、スクロール、入力などの基本的な操作を直接行うことができ、ウェブページのタスクを完了するのに役立ちます。
• タスク自動化このモデルは、あるウェブサイトから情報を取得して別のシステムに入力したり、後続の予約を調整したりするなど、複雑な複数ステップのタスクを処理できます。
• 視覚的理解力と推論力視覚分析を用いてウェブページの内容を解釈し、ページ要素を識別し、ユーザーの要求に基づいて次のアクションを推測する。
• セキュリティメカニズム各操作を実行する前に、独立したセキュリティサービスがリスクを評価し、運用上の安全性を確保するために、リスクの高い操作についてはユーザーの確認を求めます。

Gemini 2.5の技術的原理とコンピュータ利用

• コアツール: Gemini API を介して追加されました computer_use このツールは、モデルとユーザーインターフェース間の直接的なやり取りを可能にする。
• 入出力：
  • 入力ユーザーからのリクエスト、現在の環境のスクリーンショット、最近実行された操作の履歴などが含まれます。特定のUI操作を除外するか、カスタム機能を追加するかを指定できます。
  • 出力このモデルは、UI操作（クリック、入力、スクロールなど）を表す関数呼び出しなどの応答を生成します。リスクの高い操作については、ユーザーによる確認を求める場合があります。
• ループ処理このモデルはループで実行されます。各アクションが実行されるたびに、システムは最新のスクリーンショットと現在のURLをモデルに返し、ループを再開します。ループは、タスクが完了するか、エラーが発生するか、セキュリティメカニズムまたはユーザーの決定によって終了されるまで続きます。
• セキュリティメカニズム推論フェーズでは、独立したセキュリティサービスが各モデルが実行しようとするアクションを評価し、操作の安全性を確保します。開発者は、特定の高リスク操作の前に、エージェントが拒否したり、ユーザーの確認を求めたりするように設定できます。たとえば、これにより、モデルがCAPTCHAを回避したり、医療機器を制御したりすることを防ぐことができます。

Gemini 2.5 コンピュータ使用に関するプロジェクトアドレス

• プロジェクト公式サイト：https://blog.google/technology/google-deepmind/gemini-computer-use-model/
• 技術論文：https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-2-5-Computer-Use-Model-Card.pdf

Gemini 2.5のコンピュータ利用における応用シナリオ

• UIテストこれは、開発者がユーザーインターフェースを迅速にテストし、さまざまなインタラクティブな操作を自動化し、ソフトウェア開発の効率を大幅に向上させるのに役立ちます。
• パーソナルアシスタントフォームの自動入力、予約のスケジュール設定、情報の整理など、ユーザーに合わせたタスク自動化サービスを提供します。
• ワークフロー自動化データ入力、情報収集、クロスプラットフォーム操作などの反復作業を簡素化することで、業務効率を向上させます。
• 顧客サービス顧客からの依頼（作業指示書の記入や顧客サポートシステムでの情報照会など）を自動的に処理することで、応答速度を向上させる。
• 教育と訓練オンライン学習プラットフォームを支援し、学生が演習やシミュレーション操作を完了できるようにサポートし、学習体験を向上させる。