VideoPrism - Googleの研究チームが開発した汎用ビデオエンコーダー

VideoPrismとは何ですか？

VideoPrismは、Google Researchが開発した汎用ビデオエンコーダーで、単一の事前学習済みモデルで様々なビデオ理解タスクを処理できるように設計されています。このモデルはビデオから豊富な意味表現を抽出できるため、ビデオ分類、位置特定、検索、説明生成、質問応答など、様々なビデオ理解タスクにおいて高いパフォーマンスと精度を実現します。

VideoPrismの中核となる設計思想は、事前学習データとモデリング戦略における革新性にあります。大規模で多様なビデオ・テキストデータセットを用いて事前学習を行い、2段階の学習手法（ビデオ・テキストの対照学習とマスク付きビデオモデリング）を採用しています。

Arxivの研究論文：https://arxiv.org/abs/2402.13217

公式プロジェクト紹介：https://blog.research.google/2024/02/videoprism-foundational-visual-encoder.html

VideoPrismの機能

• ビデオ分類：VideoPrismは、動画コンテンツを分類し、動画内の重要な活動やイベントを特定することができます。例えば、スポーツ、料理、ゲームなど、さまざまなカテゴリに動画を分類することが可能です。
• ビデオの位置決め：動画の位置特定タスクにおいて、VideoPrismは動画内の特定のアクションやイベントの開始時刻と終了時刻を識別することができ、これは動画コンテンツの時間情報を理解する上で非常に重要です。
• 動画検索：VideoPrismは動画テキスト検索機能を備えており、ユーザーはテキストの説明に基づいて関連する動画クリップを検索できます。これは、コンテンツ推薦や動画データベース検索などのアプリケーションに非常に役立ちます。
• 動画の説明文生成：このモデルは動画の説明文を生成することができ、ユーザーが動画コンテンツを素早く理解するのに役立ちます。また、動画コンテンツの管理やインデックス作成にもよく利用されています。
• ビデオQ&A：VideoPrismは、動画コンテンツに関する質問応答タスク、例えば動画内で発生する出来事に関する質問に答えるタスクを処理できます。そのためには、モデルが動画コンテンツを深く理解している必要があります。
• 科学的ビジョン：科学研究の分野において、VideoPrismは動物行動分析、生態学的研究、その他の分野に応用でき、研究者がビデオデータから有用な情報を抽出するのに役立ちます。
• マルチモーダル学習：VideoPrismは、PaLMのような大規模な言語モデルと組み合わせることで、ビデオと言語の間の関連性を確立し、ビデオコンテンツの詳細な説明や解釈といった、より複雑なタスクを可能にする。

VideoPrismの技術原理

• 事前トレーニング：VideoPrismは、まず大規模な異種混合ビデオ・テキストデータセットで事前学習されます。このモデルは、動画コンテンツの意味情報を捉える豊富な動画表現を学習します。このデータセットには…3600万の高品質ビデオ - タイトルペアとノイズを含む5億8200万の並列テキストビデオクリップ（ASRで文字起こしされたテキストなど）。
• 動画とテキストの対照学習：事前学習の最初の段階では、VideoPrismは対照学習を通して動画とテキストの表現を整合させます。このモデルは、動画コンテンツと関連するテキスト記述との間の対応関係を見つけ出し、それによって動画コンテンツを説明できる高品質な特徴を学習します。
• マスクを着用したビデオモデル：事前学習の第2段階では、VideoPrismはマスク付きビデオモデリングを用いて、ビデオコンテンツの理解をさらに深めます。このプロセスでは、ビデオの一部（特定のフレームやセグメントなど）をランダムにマスクし、モデルにこれらのマスクされた部分のコンテンツを予測させることで、より詳細かつ包括的なビデオ表現を学習させます。
• グローバルおよびローカルな蒸留：第2段階では、VideoPrismはグローバルおよびローカルな蒸留処理も実行します。これは、第1段階でモデルからグローバルなビデオ表現を抽出し、それをローカルな詳細情報と組み合わせる処理です。この蒸留処理により、モデルは意味情報を保持しながら、ビデオのグローバルな構造とローカルなダイナミクスをより深く理解できるようになります。
• トークンシャッフル：VideoPrismは、モデルの動画コンテンツ理解能力を向上させるため、事前学習の第2段階でトークンシャッフル戦略を導入しています。これにより、モデルは遮蔽部分を予測する際に、入力サンプルの順序を無視する必要があり、結果としてモデルは動画コンテンツそのものにより集中できるようになります。
• 下流タスク適応：事前学習後、VideoPrismは簡単な適応によって、さまざまな下流のビデオ理解タスクを処理できます。これは通常、モデル本体の微調整を必要とせずに、特定のタスクヘッド（分類器、位置特定器、検索ユニットなど）をモデルの出力に追加することによって行われます。