VideoRefer - 浙江大学とアリババDAMOアカデミーが共同開発した動画物体認識・推論技術 - AiBoss

VideoReferとは何ですか？

浙江大学とアリババDAMOアカデミーが共同開発したVideoReferは、動画内の物体認識と推論に特化して設計されています。拡張ビデオ大規模言語モデル（Video LLM）の時空間理解機能を活用することで、動画内のあらゆる物体をきめ細かく認識し、推論することが可能になります。VideoReferは、3つの主要コンポーネントに基づいて構築されています。大規模で高品質な物体レベルの動画指示データを提供するVideoRefer-700Kデータセット、動画内のあらゆる物体を正確に認識、推論、検索するために、単一フレームと複数フレームの入力をサポートする多機能時空間物体エンコーダを備えたVideoReferモデル、そして動画参照タスクにおけるモデルのパフォーマンスを包括的に評価し、きめ細かな動画理解技術の開発を促進するVideoRefer-Benchベンチマークです。

VideoRefeの主な機能

きめ細かなビデオオブジェクトの理解これにより、動画内のあらゆる物体を正確に認識・理解することが可能になり、物体の空間的な位置、外観の特徴、動きの状態といった詳細な情報を捉えることができます。
複雑な関係分析動画内の複数のオブジェクト間の複雑な関係（相互作用や相対位置の変化など）を分析し、オブジェクト間の相互作用や影響を理解する。
推論と予測動画コンテンツの理解に基づいて、推論や予測が行われる。例えば、対象物の将来の動作や状態を推測したり、イベントの展開傾向を予測したりする。
ビデオオブジェクトの検索ユーザーが指定したオブジェクトや条件に基づいて、動画から関連するオブジェクトやシーンセグメントを取得し、正確な動画コンテンツ検索を実現します。
マルチモーダルな相互作用テキストコマンド、音声プロンプト、画像タグなどに基づいてユーザーと対話したり、ユーザーのニーズを理解して対応する動画理解結果を提供したりするなど、マルチモーダルなユーザーインタラクションをサポートします。

VideoReferの技術的原理

マルチエージェントデータエンジン複数のエキスパートモデル（動画理解モデルやセグメンテーションモデルなど）が連携して動作し、詳細な説明、短い説明、複数ターンの質疑応答ペアなどを含む、高品質なオブジェクトレベルの動画説明データを自動的に生成するマルチエージェントデータエンジンを紹介します。これにより、モデルトレーニングのための豊富で多様なデータサポートが提供されます。
時空間オブジェクトエンコーダー本論文では、空間マーカー抽出器と適応型時間マーカー統合モジュールを含む、多機能な時空間オブジェクトエンコーダを設計する。空間マーカー抽出器は、単一フレームからオブジェクトの正確な領域特徴を抽出するために使用され、時間マーカー統合モジュールは、オブジェクト特徴の類似性に基づいて、マルチフレームモードで隣接するフレームの特徴を統合し、時間次元におけるオブジェクトの連続性と変化を捉え、豊富なオブジェクトレベルの表現を生成する。
融合とデコードこのシステムは、動画から得られるグローバルなシーンレベルの特徴、オブジェクトレベルの特徴、および言語指示を統合して、統一された入力シーケンスを生成します。このシーケンスは、事前学習済みの大規模言語モデル（LLM）に入力され、デコード処理によって、オブジェクトの説明、関係分析、推論予測などのテキスト情報といった、動画コンテンツのきめ細かな意味理解結果が生成されます。
総合評価基準VideoRefer-Bench評価ベンチマークは、記述生成と多肢選択式質問応答という2つのサブベンチマークで構成されています。このベンチマークは、動画参照タスクにおけるモデルのパフォーマンスを、トピック対応、外観記述、時間記述、錯覚検出など、複数の側面から総合的に評価し、きめ細かな動画理解におけるモデルの有効性と信頼性を保証します。

VideoReferのプロジェクトアドレス

プロジェクト公式サイト：https://damo-nlp-sg.github.io/VideoRefer/
GitHubリポジトリ：https://github.com/DAMO-NLP-SG/VideoRefer
ハギングフェイスモデルライブラリ：https://huggingface.co/DAMO-NLP-SG/VideoRefer
arXiv技術論文：https://arxiv.org/pdf/2501.00599

VideoReferの応用シナリオ

動画編集編集者が特定のショットやシーンを素早く見つけるのに役立ち、編集効率が向上します。
教育する生徒の学習進捗状況に基づいて、効率的な学習を支援する適切なビデオクリップをおすすめします。
セキュリティ監視監視ビデオ映像から異常な行動をリアルタイムで検知し、タイムリーに警報を発することで、安全を確保できる。
対話型ロボット動画コマンドに基づいてスマートホーム機器を制御することで、便利な家庭内操作を実現します。
電子商取引製品動画を分析して製品の品質を検査し、掲載されている製品が基準を満たしていることを確認する。