ディープビデオ発見 - マイクロソフトのディープビデオ探索のためのインテリジェントエージェント - AiBoss

ディープビデオディスカバリーとは何ですか？

Deep Video Discovery (DVD) は、Microsoft が開発した、長尺動画の理解と分析に特化したディープビデオ探索エージェントです。Deep Video Discovery は、長尺動画を複数の短いセグメントに分割し、大規模言語モデル (LLM) の高度な推論機能に基づいて、適切なツールとパラメーターを自律的に計画・選択して情報を収集します。Deep Video Discovery には、グローバルブラウジング、セグメント検索、フレーム検査などの検索センターツール一式が搭載されており、さまざまなレベルで情報を収集し、反復推論に基づいて動画コンテンツの理解を段階的に構築できます。複数の長尺動画理解ベンチマークにおいて、Deep Video Discovery は最先端のパフォーマンスを達成し、長尺動画理解の精度と効率を大幅に向上させています。

ディープビデオディスカバリーの主な機能

多粒度ビデオ理解グローバル、セグメント、フレームの3つのレベルで動画コンテンツを理解・分析することで、包括的な動画理解機能を提供します。
自律的な探索と推論自律的に検索戦略を計画・実行し、ユーザーのクエリに基づいて適切なツールとパラメータを動的に選択し、徐々に情報を収集して動画コンテンツへの理解を深めていく。
効率的な情報検索グローバルブラウジング、セグメント検索、フレーム検査などのツールに基づいて、ユーザーのクエリに関連するビデオセグメントや詳細情報を迅速に特定して抽出できます。
長尺動画の理解数時間に及ぶ情報量の多い動画の処理に優れており、長時間の動画理解における時間的・空間的な複雑さの問題を効果的に解決します。
ツールの柔軟な活用具体的なタスク要件に応じて、さまざまなツールを柔軟に組み合わせて使用することで、効率的なビデオコンテンツ分析と質疑応答を実現できます。

ディープビデオディスカバリーの技術的原理

多粒度ビデオデータベースの構築長尺動画は、それぞれ約5秒の短いクリップに均等に分割されます。動画情報は、グローバル、クリップ、フレームの3つのレベルから抽出されます。グローバル層は動画の主要な内容とイベントの概要を提供し、クリップ層はテキストによる説明（キャプション）を提供し、フレーム層は元のピクセル情報を保持します。高速な検索と詳細な分析をサポートするために、デコードされたフレーム、テキストによる説明、および対応する埋め込みベクトルを含む構造化データベースが構築されます。
自律的な検索と回答生成：
- グローバルブラウズ動画の全体的な概要を提供し、エージェントが動画の主要な内容と重要な出来事を迅速に理解するのに役立ちます。
- クリップ検索テキスト埋め込みのマッチングに基づいて、ユーザーの検索クエリに関連するビデオクリップを迅速に取得します。
- フレーム検査特定の時間枠内で、きめ細かな視覚的質問応答（VQA）を実行し、フレームレベルで詳細な情報を抽出します。
- 独立系デザイン会社エージェントは、観察・推論・行動という反復的なループを使用し、LLMの推論機能を活用してツールを動的に選択・使用することで、徐々に情報を収集し、ビデオコンテンツへの理解を深めていく。
- 反復推論エージェントは、現在の観測状況と推論結果に基づいて適切なツールとパラメータを選択し、クエリを段階的に洗練させ、最終的に正確な回答を生成します。
LLM駆動型推論LLMは、その中核として推論と計画立案を担います。現在の対話履歴と観測結果に基づき、LLMは適切なツールとパラメータを選択し、推論戦略を動的に調整します。タスクの要件に応じて、さまざまなツールを柔軟に組み合わせ、多段階のツール使用チェーンを構築することで、複雑なクエリタスクを解決します。

Deep Video Discoveryのプロジェクトアドレス

arXiv技術論文：https://arxiv.org/pdf/2505.18079

ディープビデオディスカバリーの応用シナリオ

教育オンライン教育プラットフォームは、長時間のビデオ講座を分析し、学生が講座内の特定の知識ポイントや章を素早く見つけられるようにする。
スポーツイベント分析スポーツイベントや試合の動画を分析し、重要な出来事を素早く抽出します。
ビデオ監視セキュリティ監視システムでは、監視ビデオがリアルタイムで分析され、異常な行動や事象を迅速に特定します。
映画およびテレビ制作映画やテレビのポストプロダクションチームは、撮影された映像を分析し、必要なショットを迅速に見つけ出す。
企業会議議事録会議の動画を分析し、重要なポイントや決定事項を迅速に抽出する。