Proxy Lite - 自動化されたウェブページタスクをサポートするオープンソースのビジュアル言語モデル。

Proxy Liteとは何ですか？

Proxy Liteは、3バイトのパラメータを持つオープンソースの軽量ビジュアル言語モデル（VLM）であり、Webページの自動タスクをサポートします。Proxy Liteは、人間のようにブラウザを操作し、Webページの操作、データスクレイピング、フォーム入力などの反復タスクを実行することで、自動化コストを大幅に削減します。「観察→思考→ツール呼び出し」という3段階の意思決定メカニズムを採用することで、Proxy Liteは高い汎用性と低リソース消費を実現し、一般消費者向けGPU上でも効率的な動作をサポートします。Proxy Liteは、Webページの自動テスト、データ抽出、インテリジェントなタスク支援など、さまざまなアプリケーションシナリオをサポートする包括的なブラウザ操作フレームワークを提供し、開発者が迅速に導入・利用できるように設計されています。

Proxy Liteの主な機能

• ウェブページ自動化ボタンのクリック、フォームへの入力、ページのスクロール、ポップアップの処理など、ブラウザ上での様々な操作を自動的に実行できます。
• ウェブスクレイピングウェブページのコンテンツを解析し、構造化データを抽出し、ニュース、ソーシャルメディア、電子商取引プラットフォームなど、さまざまな種類のウェブページからのデータスクレイピングをサポートします。
• AI駆動型インタラクティブWebプロキシ視覚認識能力を組み合わせることで、UIテストの自動化とフロントエンドの動作分析を実現できます。
• インテリジェントタスクアシスタントユーザーが情報を検索、フィルタリング、要約するのに役立ち、ウェブページのナビゲーション体験を向上させます。
• 資源消費量が少ないわずか30億個のパラメータで、大規模なクラウドコンピューティングリソースに頼ることなく、一般消費者向けGPU上での効率的な動作をサポートします。

Proxy Liteの技術的原理

• ビジュアル言語モデル（VLM）視覚認識（画像認識）と自然言語処理機能を組み合わせることで、ウェブページの内容を理解・操作します。
• 3段階の意思決定メカニズム：
  • 観察する前回の操作が成功したかどうかを評価し、ウェブページの現在の状態情報を取得します。
  • 考える現在のページ状態に基づいて、次のアクションを決定する理由。
  • ツール呼び出しAPI を介してブラウザとやり取りする（クリック、入力、スクロールなど）。
• ブラウザインタラクションフレームワークブラウザとのインタラクションを制御するための完全なフレームワークが組み込まれており、Playwrightライブラリを使用してブラウザ操作を駆動し、ヘッドレスモードとステルスモードをサポートすることで、スクレイピング対策によるブロックのリスクを軽減します。
• 実行フィードバック機構DeepSeek R1などのモデルのフィードバック機構を活用することで、タスク実行中に意思決定プロセスが継続的に最適化され、実行精度が向上します。

Proxy Liteプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/convergence-ai/proxy-lite

Proxy Liteの応用シナリオ

• ウェブページ自動化クリック、フォームへの入力、ページのスクロールといった作業を自動的に完了させることで、手作業を削減します。
• ウェブスクレイピングニュース、eコマース、その他のウェブページから構造化データを抽出し、データ分析やコンテンツ集約に利用します。
• 自動テストウェブアプリケーションのUIテストを自動化し、インターフェースの機能を迅速に検出します。
• インテリジェントタスクアシスタントユーザーが情報を検索・絞り込むのに役立ち、ウェブページの利用効率を向上させます。
• エンタープライズレベルのタスク自動化データ入力やシステム間情報公開など、社内業務プロセスを自動化する。