VSI-Bench - 李飛飛氏と謝賽寧氏のチームによって開発された、視覚空間知能ベンチマークスイート。 - AiBoss

VSI-Benchとは何ですか？

VSI-Bench（Visual-Spatial Intelligence Benchmark）は、Fei-Fei Li、Sai-Ning Xie、および彼らの研究チームによって開発された視覚空間知能ベンチマークスイートです。研究者らは、マルチモーダル大規模言語モデル（MLLM）の空間認知および理解能力を評価するためにこれを構築しました。VSI-Benchには、住宅、オフィス、工場などさまざまな環境を網羅する、約290の実際の屋内シーンビデオをカバーした5000を超える質問と回答のペアが含まれています。VSI-Benchのタスクは、構成タスク（オブジェクトのカウントや相対距離など）、測定推定（オブジェクトのサイズや部屋のサイズなど）、および時空間タスク（オブジェクトの出現順序など）に分けられ、視覚空間知能におけるMLLMのパフォーマンスを体系的にテストおよび改善します。

VSI-Benchの主な機能

視覚空間知能の評価：マルチモーダル大規模言語モデル（MLLM）の視覚空間知能を定量的に評価する。これには、空間関係を知覚、理解、記憶する能力が含まれる。
ベンチマークこれは、視覚空間タスクにおけるさまざまなMLLMの性能をベンチマークおよび比較するための、5,000組以上の質問と回答のペアを含む標準化されたテストセットを提供します。
タスクの多様性これには、構成タスク（物体の計数、相対距離、相対方向、経路計画）、測定推定（物体のサイズ、部屋のサイズ、絶対距離）、および時空間タスク（物体の出現順序）が含まれ、視覚空間知能の複数の側面を包括的にカバーしています。
動画の理解VSI-Benchは、ビデオ入力に基づいて、MLLM（マルチレベル学習モジュール）が連続的で時間的な入力をどれだけ理解できるかをテストします。これは、静止画像よりも人間が世界を認識する方法に近いものです。
データ品質と管理人間の目によるレビューは、データの品質を保証し、曖昧さや誤ったラベル付けを排除し、検査結果の信頼性を向上させる。

VSIベンチの技術原理

データセットの構築複数の公開されている屋内3Dシーン再構築データセット（ScanNet、ScanNet++、ARKitScenesなど）に基づいて、これらのデータセットは高忠実度のビデオスキャンとオブジェクトレベルの3Dアノテーションを提供します。
質問と回答のペア生成このシステムは、データセット内のメタデータ（オブジェクトのカテゴリや境界ボックスなど）と質問テンプレートに基づいて質問と回答のペアを自動的に生成すると同時に、経路計画タスクを手動で注釈付けします。
品質管理問題点が明確かつ曖昧さのないものであることを確認し、誤りや曖昧さを追跡して修正するために、手動によるレビュープロセスを導入する。
モデル評価本研究では、ゼロサンプル設定において、デフォルトのプロンプトをテストに使用し、完全一致とあいまい一致を主要な評価指標として、様々なビデオ支援型MLLMを評価した。
パフォーマンス指標多肢選択式問題（MCA）では正答率（ACC）が用いられ、数値回答式問題（NA）では平均相対正答率（MRA）という新しい指標が導入される。
認知地図生成これにより、MLLMは動画内のオブジェクトの中心位置を予測し、認知マップを生成し、モデルの内部空間表現と記憶能力を評価するようになる。

VSI-Benchプロジェクトの住所

プロジェクト公式サイト：vision-x-nyu.github.io/thinking-in-space
GitHubリポジトリ：https://github.com/vision-x-nyu/thinking-in-space
ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/nyu-visionx/VSI-Bench
arXiv技術論文：https://arxiv.org/pdf/2412.14171

VSI-Benchのアプリケーションシナリオ

ロボットのナビゲーションとインタラクションロボット工学の分野では、MLLM（マルチレベル学習モデル）の評価とトレーニングは、ロボットが空間配置をよりよく理解し、未知の環境におけるナビゲーション能力と障害物回避能力を向上させるのに役立つ。
拡張現実（AR）／仮想現実（VR）AR/VRアプリケーションにおいては、MLLM（マルチレベルモデリングモジュール）がユーザーの物理的な空間環境をよりよく理解し、より自然なインタラクティブ体験を提供するのに役立ちます。
自動運転車自動運転システムは、複雑な交通状況に対応するために正確な空間認識能力を必要とし、自動運転を支援する視覚空間インテリジェンスシステムの開発およびテストに利用される。
スマートホームシステムスマートホームシステムは、居住空間のレイアウトと物体の位置を把握する必要があります。VSI-Benchは、MLLM（機械学習モデル）を訓練することで、スマートホームの制御と自動化をより効果的に実現します。
インテリアデザインと建築計画空間計画および設計におけるMLLMの適用性を評価し、システムがより合理的なレイアウト案を提供できるように支援する。