VideoJAM - Metaは、ビデオ生成モデルにおける動きの一貫性を向上させるためのフレームワークを導入します。

VideoJAMとは何ですか？

Meta社が開発したVideoJAMは、動画生成モデルにおける動きの一貫性を向上させるためのフレームワークです。外観と動きを統合した表現を導入することで、モデルは学習中にピクセル情報と動き情報の両方を予測できるようになります。推論時には、モデル自身の動き予測を動的なガイダンス信号として使用し、より一貫性のある動きを生成します。VideoJAMは、動き予測を学習目標に組み込み、推論時には内部ガイダンス機構を採用することで、視覚的な品質を維持しながら動画生成における動きの一貫性を大幅に向上させます。VideoJAMは汎用性が高く、学習データの変更やモデルのスケーリングを行うことなく、あらゆる動画生成モデルで使用できます。複数のベンチマークテストにおいて最先端のモデルを凌駕する性能を発揮し、動画生成技術の開発に新たな知見をもたらします。

VideoJAMの主な機能

• 動作の連続性を向上させる外観と動きの共同学習に基づいて、より自然で一貫性のある動きを生成し、ビデオ生成における歪みや物理的なエラーを低減します。
• 視覚品質を向上させる動きの滑らかさを向上させると同時に、生成される動画の全体的な視覚品質を最適化し、よりリアルな動画を実現します。
• 普遍VideoJAMは、トレーニングデータやモデルサイズを変更することなく、あらゆるビデオ生成モデルで使用できるため、幅広い用途に適用可能です。
• 動的誘導機構推論段階では、モデル自身の動き予測が動的なガイダンス信号として使用され、生成されるビデオの動きがより合理的で一貫性のあるものになるようにします。

VideoJAMの技術的原理

• 関節の外観 - スポーティなデザイン：
  • トレーニング段階トレーニング中、VideoJAMは動画のピクセル数（外観）だけでなく、動き情報（オプティカルフローなど）も予測します。これを実現するために、モデルの入力に線形層を追加して動画情報と動き情報を統合表現にし、出力に別の線形層を追加して統合表現から動き予測を抽出します。また、目的関数も外観予測と動き予測の両方を同時に最適化するように変更されます。
  • 動きの表現VideoJAMは、動きの表現としてオプティカルフローを使用し、オプティカルフローをRGBビデオに変換することで、モデルが動き情報を処理できるようにします。
• 動的ブートストラップ機構（内部ガイダンス）VideoJAMは動画生成時に、モデルの絶えず変化する動き予測を動的なガイダンス信号として使用します。サンプリング分布の変更に基づいて、生成プロセスを一貫性のある動きへと導きます。この仕組みにより、生成される動画はよりリアルで自然な動きを実現します。
• 普遍性と適応性VideoJAMは非常に汎用性が高く、既存の動画生成モデルに2つの線形層を追加し、目的関数をわずかに修正するだけで済みます。追加の学習データやモデルのスケーリングは不要で、幅広い動画生成モデルに容易に適用できます。

VideoJAMのプロジェクトアドレス

• プロジェクト公式サイト：https://hila-chefer.github.io/videojam
• 技術論文：https://hila-chefer.github.io/videojam-paper.github.io/VideoJAM_arxiv.pdf

VideoJAMの応用シナリオ

• エンターテインメントと映画制作クリエイティブな動画、アニメーション、特殊効果を生成し、制作効率と視覚効果を向上させます。広告、SF、アクション動画などに最適です。
• ゲーム開発ゲーム内でキャラクターのアニメーションや特殊効果を生成し、ゲームのパフォーマンスを最適化し、ゲームのテストや開発中に迅速なプロトタイピングを可能にします。
• 教育と訓練軍事、航空、医療などの分野で、訓練生が操作手順に慣れるためのシミュレーション訓練ビデオを生成できるほか、オンライン教育において、臨場感あふれる教育ビデオを作成するためにも利用できる。
• 広告とマーケティングソーシャルメディアやテレビCMなどで使用できる、魅力的な広告動画や製品デモンストレーション動画を作成し、ブランドの影響力と製品プレゼンテーションを向上させます。
• ソーシャルメディアとコンテンツ制作これは、ユーザーが興味深く高品質な動画コンテンツを迅速に作成できるように支援し、クリエイターの多様なニーズを満たし、ソーシャルメディアのインタラクティブ性を向上させます。