SynCamMaster - 浙江大学や清華大学などの機関と共同でKuaishouが開発した、マルチビュー動画生成モデル。 - AiBoss

SynCamMasterとは何ですか？

SynCamMasterは、浙江大学、快手科技、清華大学、香港中文大学の研究者による共同プロジェクトであり、世界初のマルチビュー動画生成モデルです。6自由度カメラポーズを組み合わせることで、あらゆる視点からオープンワールド動画を生成します。SynCamMasterは、事前学習済みのテキスト・動画変換モデルを拡張し、異なる視点間でのコンテンツの一貫性を確保するとともに、マルチカメラ動画生成をサポートします。プラグインモジュールとマルチビュー同期モジュールに基づいて、視点間の動的な同期を実現し、4Dの一貫性を維持します。SynCamMasterは、新しい視点からの動画合成にも拡張可能で、入力動画を再レンダリングして新しい視点から表示できます。

SynCamMasterの主な機能

マルチビュービデオ生成SynCamMasterは、同じ動的なシーンを異なる視点から捉えた複数の動画を生成できます。
視点間の動的な同期複数の視点間で動的な同期を維持し、異なるカメラで生成されたビデオコンテンツ間の時間と空間の一貫性を確保します。
オープンワールドビデオ生成SynCamMasterは、あらゆる視点からのオープンワールド動画の生成をサポートしています。
6自由度カメラポーズ6自由度（6 DoF）のカメラポーズと組み合わせることで、ユーザーはあらゆる角度からシーンを撮影できます。
事前学習済みモデルの強化事前学習済みのテキストからビデオへの変換モデルを、マルチカメラビデオ生成用のプラグアンドプレイモジュールで強化します。
新しい視点のビデオ合成SynCamMasterは、新しい視点からのビデオ合成へと拡張することができ、参照ビデオをマルチカメラビデオ生成モデルに導入することで、入力ビデオを新しい視点から再レンダリングすることが可能です。

SynCamMasterの技術原理

事前学習済みのテキストからビデオへの変換モデル事前学習済みのテキストからビデオへの拡散モデルに基づいて、テキストの説明に従って一貫性のある3Dビデオコンテンツを生成します。
マルチビュー同期モジュール異なる視点間での外観と幾何学的整合性を維持するために、各Transformerブロックに統合されたマルチビュー同期モジュールが導入されています。
カメラエンコーダーカメラエンコーダは、カメラの外部パラメータ（回転行列や並進ベクトルなど）を、空間特徴と同じ次元の埋め込み空間にエンコードします。
異視点自己注意マルチビュー同期モジュールでは、異なる視点からの特徴をクロスビュー自己注意層を用いて集約し、ビュー間の情報交換と同期を実現します。
混合トレーニングデータセットマルチカメラ画像、単眼ビデオ、およびUnreal Engineでレンダリングされたマルチカメラビデオを組み合わせたハイブリッドトレーニング方式を設計する。
段階的なトレーニング戦略段階的なトレーニング戦略を導入し、トレーニング中に異なる視点間の相対的な角度差を徐々に増加させることで、大きな視点差を扱う際のモデルの性能を向上させる。

SynCamMasteのプロジェクトアドレス

プロジェクト公式サイト：jianhongbai.github.io/SynCamMaster
GitHubリポジトリ：https://github.com/KwaiVGI/SynCamMaster
arXiv技術論文：https://arxiv.org/pdf/2412.07760

SynCamMasterの応用シナリオ

バーチャルシューティング映画やビデオ制作においては、複数のアングルから映像を生成することで、監督や制作チームがシーンをプレビューしたり、複雑なショットの組み合わせを実現したりするのに役立ちます。
ゲーム開発ゲーム開発者は、ゲーム環境やキャラクターの相互作用をさまざまな視点から紹介するために、ダイナミックなゲームトレーラーやデモビデオを作成します。
仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションでは、ユーザーの視点に合わせて変化する動的なコンテンツを生成することで、没入感を高めます。
シミュレーション訓練運転シミュレーションや手術シミュレーションなど、多角度からの観察が必要なシナリオでは、さまざまな視点からのリアルタイム動画を提供することで、トレーニング効果を高めます。
監視システムセキュリティ監視の分野では、複数のカメラからの映像ストリームを統合して統一された視点からの映像を生成することで、監視担当者が事態の推移をより容易に把握できるようになる。