Vision Search Assistant - ビジュアル言語モデルとWebプロキシ検索技術を組み合わせたオープンソースフレームワーク - AiBoss

Vision Search Assistantとは何ですか？

Vision Search Assistant (VSA) は、ビジュアル言語モデル (VLM) と Web エージェントを組み合わせることで、モデルが未知のビジュアルコンテンツを理解する能力を高めるフレームワークです。インターネット検索に基づいて、VLM が未知の画像に関する質問を処理し、回答できるようにします。VSA は、オープンセットとクローズドセットの両方の質問応答テストで非常に優れた性能を発揮し、LLaVA-1.6-34B、Qwen2-VL-72B、InternVL2-76B などの他のモデルを大幅に上回ります。Vision Search Assistant は、既存の VLM に幅広く適用でき、新しい画像やイベントを処理する能力を向上させることができます。

Vision Search Assistantの主な機能

視覚的コンテンツ表現画像内の主要なオブジェクトを特定し、説明文を生成し、オブジェクト間の相関関係を考慮するプロセスは、相関定式化と呼ばれます。
オンライン知識検索「チェーン・オブ・サーチ」と呼ばれる反復アルゴリズムに基づいて、複数のサブ問題が生成され、ネットワークプロキシを使用して関連情報を検索し、ユーザーの質問や画像コンテンツに関連するネットワーク知識を取得します。
共同生成VLMアルゴリズムは、元の画像、ユーザーの質問、関連する記述、およびウェブ検索によって得られた知識を組み合わせて、最終的な回答を生成します。
マルチモーダル検索エンジンあらゆるVLMを、視覚コンテンツを理解し、それに対応できるマルチモーダルな自動検索エンジンへと変革します。
リアルタイム情報アクセスVLMは、ネットワークプロキシのリアルタイム情報アクセス機能を活用することで、最新のネットワークデータを取得し、応答の精度を向上させることができます。
オープンワールド検索強化生成インターネット検索に基づくこの技術は、VLM（仮想学習モジュール）が新しい視覚コンテンツを処理する能力を拡張し、見たことのない画像や新しい概念に関する質問に対応し、回答することを可能にする。

Vision Search Assistantの技術的原理

視覚コンテンツの認識と記述VLMツールは、入力画像を分析し、画像内の主要なオブジェクトを識別し、それらのオブジェクトを説明するテキストを生成します。
相関分析これは、単一のオブジェクトの説明を生成し、オブジェクト間の相関関係を分析し、これらの関係性を包括的に考慮したテキスト表現、すなわち相関関係記述を生成します。
部分問題の生成VSAは、ユーザーの質問と関連する記述に基づいて、大規模言語モデル（LLM）を用いて一連の副質問を生成します。これらの副質問は、より具体的な情報を見つけるための検索プロセスを導きます。
ウェブ検索と知識統合ネットワークプロキシによるサブクエリ検索の実行に基づき、検索エンジンが返すウェブページを分析し、関連情報を抽出・要約して、ネットワーク知識を構築する。
反復探索プロセス「探索連鎖」アルゴリズムは、反復プロセスに基づいて探索を段階的に洗練させ、より豊富で正確なネットワーク知識を得るために使用されます。

Vision Search Assistantプロジェクトのアドレス

プロジェクト公式サイト：cnzzx.github.io/VSA
GitHubリポジトリ：https://github.com/cnzzx/VSA
arXiv技術論文：https://arxiv.org/pdf/2410.21220

Vision Search Assistantの応用シナリオ

画像認識と検索ユーザーが画像をアップロードすると、システムは画像内のコンテンツを識別し、歴史上の人物、ランドマーク、動植物の種類など、関連情報を提供する。
ニュースイベント分析ニュース画像を分析し、事件の背景、参加者情報、事件の影響に関する詳細なレポートを提供することで、ユーザーがニュースイベントの全体像を迅速に理解できるよう支援します。
教育と学習教育分野においては、科学的概念や歴史的出来事の説明、言語学習における視覚教材の提供など、学習を支援する役割を果たす。
電子商取引電子商取引プラットフォームでは、画像検索はユーザーが購入したい商品を見つけるのに役立つだけでなく、詳細な商品情報やレビューも提供します。
観光計画ユーザーは旅行先の写真をアップロードし、観光スポットの説明、旅行ガイド、文化的な背景などの情報を入手して、旅行の計画を立てるのに役立てることができます。