X-Prompt - マルチモーダルビデオオブジェクトセグメンテーションのための汎用フレームワーク

X-Promptとは何ですか？

X-Promptは、マルチモーダルビデオオブジェクトセグメンテーションのための汎用フレームワークであり、極端な照明、高速な動き、背景干渉などの複雑なシナリオにおける従来の手法の限界に対処します。RGBデータに基づくビデオオブジェクトセグメンテーション用の事前学習済みベースモデルを、追加のモーダル情報（熱画像、深度、イベントカメラデータなど）を視覚的な手がかりとして使用することで、下流のマルチモーダルタスクに適合させます。

X-Promptの主な機能

• マルチモーダル適応X-Promptは、マルチモーダル視覚キュー（MVP）を使用して追加のモーダル情報を視覚キューにエンコードし、これをRGBデータと組み合わせることで、マルチモーダルタスクにおける基本モデルのセグメンテーション機能を強化します。
• 一般化能力を維持するX-Promptは、マルチモーダル適応型エキスパート（MAE）を用いることで、基本モデルの汎化能力を損なうことなく、各モダリティに特化した知識を提供し、パラメータの完全な微調整によって生じる可能性のあるモデルの崩壊を回避します。
• 効率的なタスク移行限られたマルチモーダルラベル付きデータを用いて新たな下流タスクに迅速に対応できるため、各タスクごとにモデルを個別に設計・訓練する際の研究負荷とハードウェアコストを削減できます。
• マルチタスク統合X-Promptは、RGB-T、RGB-D、RGB-Eなど、さまざまなマルチモーダルタスクをサポートし、統一されたフレームワークを通じてタスクを統合することで、複雑なシナリオにおけるモデルのパフォーマンスを大幅に向上させます。

X-Promptの技術原理

• ベースモデルの事前学習X-Promptの基本モデルは、Vision Transformerをベースとしたビデオオブジェクトセグメンテーションモデルです。多数のRGBビデオシーケンスを用いて事前学習を行うことで、強力なセグメンテーション能力と汎化能力を実現しています。事前学習の目的は、参照フレームとそのセグメンテーションマスクに基づいて、現在のフレーム内の対象オブジェクトをセグメント化できるようにすることです。
• マルチモーダル視覚キュー（MVP）MVPの役割は、追加のモダリティ情報（熱画像、深度、イベントカメラデータなど）を視覚的な手がかりにエンコードし、それらを基本モデルに統合することです。MVPは、マルチスケール畳み込み埋め込み層を通して、RGBおよびXモダリティ画像パッチをマルチスケールの手がかりに埋め込み、それが基本モデルによるオブジェクトセグメンテーションのガイドとして使用されます。
• マルチモーダル適応エキスパート（MAE）MAEは、低ランク適応メカニズムを通じて各モダリティに特化した知識を提供すると同時に、基本モデルの一般的な機能も維持します。MAEは、基本モデルの汎化能力を損なうことなく、特定のマルチモーダルタスクに適応するようにモデルを微調整できるように設計されています。

X-Promptのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2409.19342

X-Promptの応用シナリオ

• 自動運転X-Promptは、熱画像と深度情報を組み合わせることで、道路上のターゲットをより正確に識別・分割することができ、自動運転システムの安全性を向上させます。
• ロボットビジョン複雑な環境においては、マルチモーダル情報を用いることで、ロボットは対象物をより正確に識別し、操作することができる。
• ビデオ監視低照度環境や複雑な背景下での監視シナリオにおいて、X-Promptはマルチモーダルデータを用いることで、ターゲットの検出とセグメンテーションの精度を向上させることができます。