OmniCam - 浙江大学、上海交通大学、およびその他の大学が共同開発したマルチモーダル動画生成フレームワーク。

OmniCamとは何ですか？

OmniCamは、カメラ制御によって高品質な動画生成を実現する、高度なマルチモーダル動画生成フレームワークです。複数の入力方式に対応しており、テキストによる説明、動画の軌跡、画像などを参照として提供することで、カメラの動きを正確に制御できます。OmniCamは、大規模言語モデル（LLM）と動画拡散モデルを組み合わせることで、時空間的に一貫性のある動画コンテンツを生成します。大規模モデルのトレーニング、動画拡散モデルのトレーニング、強化学習による微調整という3段階のトレーニング戦略により、生成される動画の精度と一貫性を確保します。

OmniCamの主な機能

• マルチモーダル入力のサポートユーザーは、軌跡の基準としてテキストや動画を、コンテンツの基準として画像や動画を提供することで、カメラの動きを正確に制御できます。
• 高品質なビデオ生成大規模な言語モデルと動画拡散モデルに基づいて、時空間的に一貫性のある高品質な動画を生成する。
• 柔軟なカメラ制御：
  • フレームレベルの制御をサポートしており、操作の開始フレームと終了フレームを設定できます。
  • あらゆる方向への複合的な動き、カメラのズームイン・ズームアウト、あらゆる角度への移動と回転をサポートします。
  • 速度制御に対応しており、高速編集の基盤となる。
  • 様々な操作のシームレスな接続をサポートし、長時間の連続操作をサポートし、複数の命令を連続して実行することを可能にします。
  • カメラの回転など、一般的なエフェクトをサポートしています。
• データセットのサポートOmniTrデータセットが導入されました。これは、マルチモーダルカメラ制御のための最初の大規模データセットであり、モデルトレーニングのための強固な基盤を提供します。

OmniCamの技術原理

• 軌道計画ユーザーがテキストまたはビデオを入力すると、OmniCamはまずこの入力を離散的な動作表現に変換し、複雑な指示を単純な動作に分解します。高精度な軌道計画アルゴリズムにより、各フレームにおけるカメラの正確な位置と姿勢を計算し、後続の処理に備えます。具体的には、このアルゴリズムは、対象物の中心を中心としたカメラの動きを球面運動としてモデル化し、軌道上の各点の空間位置を計算して、カメラの外部パラメータのシーケンスに変換します。
• コンテンツレンダリングOmniCamは、ユーザーが提供するコンテンツ参照（画像または動画）と計画されたカメラ軌道を組み合わせ、高度な3D再構成技術を用いて初期視点からの動画フレームをレンダリングします。レンダリング処理では、点群、カメラの内部パラメータおよび外部パラメータなどの情報を使用し、特定のアルゴリズムによってカメラの内部パラメータを最適化することで、動画フレームのレンダリングを完了します。
• 細部まで完璧に仕上げるレンダリング処理中、OmniCamの拡散モデルは、事前の知識に基づいてビデオフレームに詳細情報を追加し、空白部分を埋めることで、最終的に完全で美しいビデオを生成します。
• 大規模モデルトレーニング大規模モデルの学習には、バックボーンネットワークとしてLlama3.1を使用してファインチューニングを行った。
• ビデオ拡散モデルのトレーニング: 動画拡散モデルを学習させる。
• 強化学習のファインチューニング下流のビデオ生成モデルは固定され、報酬モデルとして使用されます。その後、PPOアルゴリズムを使用して、大規模軌跡モデルを微調整し、その性能を最適化します。

OmniCamのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2504.02312

OmniCamの応用事例

• 映画およびテレビ制作OmniCamは複雑なカメラワークを迅速に生成できるため、監督やプロデューサーはショットの設計や撮影にかかる時間と労力を大幅に節約でき、制作効率の向上やより創造的なアイデアの実現に役立ちます。
• 広告広告主はOmniCamを使用することで、さまざまな広告ニーズに応じてカメラアングルや動きの軌跡を素早く調整し、消費者の注目を集める魅力的な広告動画を作成できます。
• 教育と訓練OmniCamは、複雑な概念を分かりやすく解説する、鮮明で魅力的な教育ビデオを生成します。これらのビデオを視聴することで、学生は知識をより深く理解し習得することができ、学習成果の向上につながります。
• スマートセキュリティOmniCamは、都市部のセキュリティ監視、交通管理、緊急指令などのシナリオにおいて、複数の部署からの映像リソースの統合と連携を実現するために使用できます。