InternVideo 2.5 - 上海AIラボが南京大学および中国科学院と共同でオープンソース化した、ビデオマルチモーダル大規模モデル。 - AiBoss

InternVideo 2.5とは何ですか？

InternVideo 2.5は、上海人工知能研究所、南京大学、および中国科学院深圳先進技術研究院が共同開発したオープンソースのビデオマルチモーダル大規模モデルです。ビデオ理解の分野で大きな進歩を遂げており、特に長尺ビデオの処理と、きめ細かな時空間認識に優れています。このモデルは、数万フレームにも及ぶビデオを処理でき、前モデルに比べて6倍の性能向上を実現しています。長尺ビデオの中からターゲットフレームを正確に特定し、膨大な情報の中から必要な情報を見つけ出すことが可能です。一般的なビデオ質問応答に対応し、物体追跡やセグメンテーションといった専門的な画像処理タスクも実行できます。

InternVideo 2.5の主な機能

超長時間ビデオ処理InternVideo 2.5は、最大10,000フレーム/秒の動画を処理でき、前バージョン（3,000フレーム/秒から10,000フレーム/秒）と比較して動画処理能力が6倍向上しました。長尺動画の中から目的のフレームを正確に特定できるため、「干し草の山から針を探す」ような作業が可能になり、動画分析の効率が大幅に向上します。
きめ細かな時空間知覚このモデルは、動画内の物体、シーン、動作を正確に識別・特定し、微妙な時空間関係を理解することができます。一般的な動画質問応答に対応し、ターゲット追跡やセグメンテーションといった専門的な画像処理タスクも実行可能です。複雑なシーンにおける物体の動きの軌跡や状態変化を識別できるため、自動運転やセキュリティ監視などの分野において、高精度な視覚支援を提供します。
マルチモーダル融合InternVideo 2.5は、視覚認識と言語理解を深く統合することで、動画コンテンツに基づいて詳細な説明やユーザーの質問への回答を生成することを可能にします。
プロフェッショナルな視覚タスクサポートタスク優先度最適化（TPO）により、InternVideo 2.5は、物体追跡、セグメンテーション、時間的位置特定など、さまざまな専門的な画像処理タスクに対応できます。タスクの要件に応じてモデルの処理戦略を動的に調整し、さまざまなシナリオで最適な視覚分析機能を提供します。
高効率な事前学習と最適化InternVideo 2.5は、30万時間以上のビデオデータを用いた事前学習を行う、段階的な多段階学習アプローチを採用しています。これにより、モデルのパフォーマンスが向上し、学習コストが削減されます。

InternVideo 2.5 の技術的原理

長期的な豊富なコンテキストモデリング（LRC）LRCは、モデルのコンテキスト長と詳細認識を拡張することで、InternVideo 2.5が数万フレームにも及ぶ動画を処理できるようにします。その核心は次のとおりです。
- 動画の長さに応じたトークン表現フレームサンプリング戦略は、動画の長さと内容特性に基づいて動的に調整されます。例えば、短いシーケンス（秒単位の動画など）では高密度サンプリング（1秒あたり15フレーム）が使用され、長いシーケンス（分単位や時間単位の動画など）では疎サンプリング（1秒あたり1フレーム）が使用され、さまざまな時間スケールで動き情報を効果的に捉えられるようになっています。
- 階層的コンテキスト圧縮（HiCo）これは、重要な情報を保持しながらビデオ信号の時空間的な冗長性を低減するために、階層的な圧縮メカニズムを使用することを含みます。具体的には、以下の内容が含まれます。
  - 時空トークンのマージこの手法は、単純な位置に基づくプーリングではなく、意味的な類似性に基づいてトークンをマージします。これにより、詳細情報を保持しながら、冗長な情報を大幅に削減できます。
  - マルチモーダルなコンテキスト統合言語モデル処理段階では、圧縮された視覚トークンがさらに統合され、視覚情報と言語情報の深い融合が保証されます。
タスク優先順位最適化（TPO）TPOは、きめ細かい視覚タスクのラベル付き情報を微分可能なタスク嗜好に変換することで、モデル学習を誘導します。これにより、InternVideo 2.5は、物体追跡、セグメンテーション、時間的位置特定などのさまざまな特殊な視覚タスクを処理できるようになります。具体的な実装方法は次のとおりです。
- タスク固有のコンポーネント統合タスク固有のコンポーネント（タイムヘッダー、マスクアダプタなど）をモデルに追加し、タスク固有のデータセットを使用してモデルをトレーニングします。
- 視覚概念の事前学習多数の画像と動画・テキストのペアを用いた事前学習は、モデルの視覚理解能力をさらに向上させる。
段階的なトレーニングプログラムInternVideo 2.5は、段階的な多段階トレーニング手法を採用し、モデルのパフォーマンスを徐々に向上させます。
- 基礎学習段階タスク認識指示の調整とビデオ言語のアライメントトレーニングを実施する。
- 微細な知覚訓練段階タスク固有の構成要素と視覚概念の事前トレーニングを統合することで、視覚理解能力を向上させる。
- 包括的な最適化フェーズハイブリッドコーパスを用いてマルチタスク学習と指示チューニングを行い、モデルのすべての構成要素を最適化します。
高効率分散システム大規模ビデオデータのトレーニングとテストをサポートするため、InternVideo 2.5はマルチモーダルシーケンス並列処理に基づく分散システムを開発しました。このシステムは、分散シーケンス処理とテンソル処理を動的データパッケージング技術と組み合わせることで、トレーニング効率を大幅に向上させています。

InternVideo 2.5 プロジェクトアドレス

GitHubリポジトリ：https://github.com/OpenGVLab/InternVideo/tree/main/InternVideo2.5
ハギングフェイスモデルライブラリ：https://huggingface.co/OpenGVLab/InternVideo2_5
arXiv技術論文：https://arxiv.org/pdf/2501.12386

InternVideo 2.5の応用シナリオ

動画コンテンツの理解と検索InternVideo 2.5は、ユーザーのテキストクエリに基づいて関連するビデオコンテンツを迅速に検索でき、複雑なビデオ検索タスクにも対応しています。
動画編集と制作InternVideo 2.5は、ハイライトクリップ、字幕、ナレーションの自動生成など、動画編集のためのインテリジェントなサポートを提供します。ユーザーの指示に基づいて動画を編集・調整できるため、動画制作の効率が向上します。
セキュリティ監視監視およびセキュリティの分野において、InternVideo 2.5は監視ビデオをリアルタイムで分析し、異常事象を迅速に特定して警報を発することができます。
自動運転InternVideo 2.5は、自動運転車からのカメラデータをリアルタイムで処理し、道路標識、信号機、障害物を正確に識別できます。