project
ReCamMaster - 浙江大学と快手などが共同開発した動画再レンダリングフレームワーク。
ReCamMasterは、浙江大学、快手科技などが共同開発した動画再レンダリングフレームワークです。新しいカメラ軌跡に基づいて動画コンテンツを再生成できます。事前学習済みモデルとフレーム次元条件メカニズムを、マルチカメラ同期データと組み合わせることで、…
ReCamMasterとは何ですか？
ReCamMasterは、浙江大学、快手科技などが共同開発した動画再レンダリングフレームワークです。新しいカメラ軌跡に基づいて動画コンテンツを再生成できます。事前学習済みモデルとフレーム次元条件メカニズムを、マルチカメラ同期データセットとカメラ姿勢条件と組み合わせることで、動画の視点とモーション軌跡を柔軟に調整できます。ユーザーは動画をアップロードして軌跡を指定するだけで、システムが新しい視点の動画を生成します。動画制作、ポストプロダクション、教育など幅広い分野で活用されており、動画コンテンツに新たな視点とダイナミックな効果をもたらし、創造性と品質を向上させます。
ReCamMasterの主な機能
- カメラ軌道制御によるビデオ再レンダリングユーザーが指定したカメラの軌跡に基づいて入力ビデオを再レンダリングすることで、元のビデオとの外観の一貫性を維持しながら、新しい視点を持つ動的なシーンを生成することができます。
- 動画の手ぶれ補正不安定な動画を、元のシーンと動きを維持したまま、滑らかな動画に変換します。
- ビデオの超解像と拡張このフレームワークは、ズーム軌跡を入力することで動画の局所的な超解像度を実現し、より鮮明なディテールを生成できます。また、ズームアウト軌跡を入力することで、元の動画の視野範囲を超えるコンテンツを生成することも可能です。
- 複雑な軌道入力に対応並進、回転、拡大縮小など、さまざまな複雑な軌道を処理でき、ユーザーはカメラの動きをカスタマイズできます。
- 高品質なビデオ生成フレームレベルの条件付きスティッチング技術を用いることで、動画の動的な同期と複数フレーム間の整合性を維持し、高品質な動画を生成します。
ReCamMasterの技術原理
- 事前学習済みのテキストからビデオへの拡散モデルReCamMasterは、事前学習済みのテキストからビデオへの拡散モデルを基盤として使用しています。このモデルは、3D変分オートエンコーダー（VAE）とTransformerベースの拡散モデル（DiT）で構成されており、高品質なビデオコンテンツを生成できます。
- フレーム寸法条件機構このフレームワークは、フレーム次元に沿ってソースビデオとターゲットビデオのタグを連結し、それを拡散トランスフォーマーへの入力として使用する、革新的なフレーム次元条件付きメカニズムを提案しています。これにより、モデルはビデオペア間の時空間関係をよりよく理解し、ソースビデオと同期し、整合性のあるターゲットビデオを生成できます。
- カメラの姿勢条件ReCamMasterは、学習可能なカメラエンコーダを使用して、ターゲットカメラの軌跡をビデオ特徴量にエンコードします。カメラの軌跡は回転行列と並進行列として表現され、ビデオマーカーと同じチャンネルに投影されるため、カメラの軌跡を柔軟に制御できます。
- マルチカメラ同期ビデオデータセット訓練データの不足という問題を克服するため、研究チームはUnreal Engine 5を用いて大規模なマルチカメラ同期ビデオデータセットを構築した。このデータセットには多様なシーンとカメラの動きが含まれており、モデルが実世界のビデオに汎化するのに役立っている。
- トレーニング戦略ReCamMasterは、トレーニング中に主要コンポーネントの微調整、ノイズの適用、カメラ制御タスクの統合といった戦略を採用しています。これらの戦略は、モデルの汎化能力と生成能力を向上させると同時に、合成データと実データ間のドメインギャップを縮小するのに役立ちます。
ReCamMasterのプロジェクトアドレス
- プロジェクト公式サイト：https://jianhongbai.github.io/ReCamMaster/
- GitHubリポジトリ：https://github.com/KwaiVGI/ReCamMaster
- arXiv技術論文：https://arxiv.org/pdf/2503.11647
ReCamMasterの応用事例
- 動画制作およびポストプロダクションReCamMasterは、ユーザーが指定したカメラパスに基づいて動画を再レンダリングし、新たな視点と動きの軌跡を持つ動画コンテンツを生成します。クリエイターはカメラパスを調整することで、より創造的なカメラワークを追加し、動画の視覚効果を高めることができます。
- 動画の手ぶれ補正ReCamMasterは、手持ち撮影で撮影した手ブレのある動画を、元のシーンや動きを損なうことなく、滑らかで安定した動画に変換できます。
- 自動運転とロボットビジョンReCamMasterは、さまざまな視点から運転シナリオを生成するために使用でき、自動運転モデルのトレーニングや、複雑なシナリオへの適応性の向上に役立ちます。
- 仮想現実と拡張現実ReCamMasterは、仮想環境に合わせたビデオコンテンツを生成できるため、仮想現実（VR）や拡張現実（AR）アプリケーション向けに、より豊かな視覚素材を提供できます。