V-JEPA 2 - メタ AI オープンソースワールドモデル - AiBoss

V-JEPA 2とは何ですか？

Meta AIが発表したV-JEPA 2は、ビデオデータに基づいて物理世界の理解、予測、計画を可能にする世界最高水準のモデルです。V-JEPA 2は、12億個のパラメータを持つ統合型組み込み予測アーキテクチャ（JEPA）を採用し、100万時間以上のビデオと100万枚の画像を用いて自己教師あり学習で学習されています。V-JEPA 2は、動作認識、動作予測、ビデオによる質問応答などのタスクにおいて新たな性能レベルを達成し、ゼロショットロボットプランニングにも活用できるため、ロボットが新しい環境で未知の物体とインタラクションすることが可能になります。V-JEPA 2は、高度な機械知能への大きな一歩であり、物理世界における将来のAIアプリケーションの基盤を築くものです。

V-JEPA 2の主な機能

物理世界を理解する映像入力に基づいて物体、動作、動きを理解し、シーン内の意味情報を捉える。
将来の状態を予測する現在の状態と行動に基づいて、将来のビデオフレームまたは行動の結果を予測し、短期および長期の予測の両方をサポートします。
計画と管理予測機能を活用したゼロショットロボットプランニングにより、ロボットは物体をつかむ、配置する、操作するなど、新しい環境でタスクを実行できるようになる。
ビデオQ&A言語モデルと組み合わせることで、物理的な因果関係、行動予測、シーン理解など、ビデオコンテンツに関連する質問に答えることができます。
一般化能力未知の環境や物体に対しても優れた汎化能力を発揮し、ゼロショット学習や新たなシナリオへの適応をサポートする。

V-JEPA 2 技術原理

自己指導型学習手動でラベル付けされたデータを必要とせず、自己教師あり学習に基づいて大規模なビデオデータから一般的な視覚表現を学習します。
エンコーダー・予測器アーキテクチャ：
- エンコーダ: 生のビデオ入力を意味埋め込みに変換し、ビデオ内の重要な情報を抽出します。
- 予測器エンコーダの出力と追加のコンテキスト（動き情報など）に基づいて、将来のビデオフレームまたは状態を予測します。
多段階トレーニング：
- 事前トレーニング段階大規模なビデオデータを用いてエンコーダーを訓練し、一般的な視覚表現を学習させる。
- トレーニング後の段階事前学習済みのエンコーダーに基づいて、少量のロボットインタラクションデータを使用して動作状態予測器が学習され、モデルが計画と制御を行えるようになる。
動作条件予測行動情報を導入することで、モデルは特定の行動が世界の状態に及ぼす影響を予測できるようになり、モデルベースの予測制御をサポートする。
ゼロサンプルプログラミング: 予測器を使用して新しい環境でゼロショットプランニングを実行し、追加のトレーニングデータを必要とせずに、最適化されたアクションシーケンスに基づいて目標を達成します。

V-JEPA 2プロジェクトの住所

プロジェクト公式サイト：https://ai.meta.com/blog/v-jepa-2-world-model-benchmarks/
GitHubリポジトリ：https://github.com/facebookresearch/vjepa2
技術論文：https://scontent-lax3-2.xx.fbcdn.net/v/t39.2365-6

V-JEPA 2の応用シナリオ

ロボット制御と計画ゼロショットロボットプランニングをサポートし、ロボットが追加のトレーニングデータを必要とせずに、新しい環境で把持や配置などのタスクを完了できるようにします。
動画の理解度確認と質疑応答これは言語モデルを組み合わせて動画コンテンツに関する質問に答え、行動認識、予測、および動画コンテンツ生成をサポートします。
インテリジェントな監視とセキュリティ異常な行動や環境変化を検知することができ、ビデオ監視、産業機器の監視、交通管理などに利用されている。
教育と訓練仮想現実（VR）および拡張現実（AR）環境において、没入感のある体験やスキル訓練を提供するために使用されます。
医療と健康予測・分析された動作に基づいてリアルタイムのフィードバックとガイダンスを提供することで、リハビリテーション訓練や外科手術を支援します。