VerseCrafter - 復旦大学とテンセントがオープンソース化した、ダイナミックでリアルなビデオ世界モデル。

VerseCrafterとは何ですか？

VerseCrafterは、復旦大学やテンセントPCG ARC Labなどが共同開発した、動的でリアルなビデオ世界モデルであり、4D幾何学的制御機能を備えています。大規模な実世界データセットVerseControl4Dで学習されたこのモデルは、複雑な動的シーンを処理しながら、高い時空間的一貫性を維持できます。ユーザーはカメラとターゲットの軌道を指定することで、高品質で幾何学的に一貫性のあるビデオを生成できます。このモデルは、ビデオ生成、仮想現実、ゲーム開発など、幅広い分野での応用が期待されています。

VerseCrafterの主な機能

• 4Dジオメトリ制御ユーザーは、複数のターゲットに対してカメラ軌道と3Dガウス軌道を指定することで、動画内の視点とオブジェクトの動きを正確に制御できます。
• 柔軟な制御モードこのモデルは、さまざまなシナリオのニーズに対応するため、カメラの個別制御、ターゲットの個別制御、およびカメラとターゲットの同時制御をサポートしています。
• 高品質なビデオ生成映像のリアリティを維持しつつ、生成された映像の幾何学的整合性を確保し、歪みを回避してください。
• 多角的視点の一貫性このモデルは、さまざまな視点から一貫性のあるビデオコンテンツを生成できるため、複数人でのインタラクティブなシナリオに適しています。
• 大規模データサポート動的シーンと静的シーンの両方を網羅するVerseControl4Dデータセットで学習させることで、モデルの汎化能力が向上します。

VerseCraafter の技術原則

• 凍結されたWAN2.1バックボーンネットワークこのモデルは、事前学習済みのWan2.1をベースモデルとして使用し、強力なビデオ生成能力と汎化能力を維持しつつ、Wan2.1に基づいて幾何学的制御信号を注入します。
• GeoAdapter軽量なジオメトリアダプタで、4D制御信号（カメラ軌道と3Dガウス軌道）をマルチチャンネルマップにエンコードし、それをWan2.1ディフューザーブロックに注入して精密な制御を実現します。
• 4D制御信号レンダリングカメラの軌跡とターゲットの軌跡は、背景RGB/深度マップと3Dガウス軌跡マップとしてレンダリングされ、これらは生成モデルへの入力条件信号として使用されます。
• VerseControl4Dデータセット大規模な実世界のビデオデータからカメラとターゲットの軌跡を抽出することで、モデルトレーニングのための豊富な幾何学的監視情報を提供し、動的シーンと静的シーンの生成をサポートします。

VerseCrafterのプロジェクトアドレス

• プロジェクト公式サイト：https://sixiaozheng.github.io/VerseCrafter_page/
• GitHubリポジトリ：https://github.com/TencentARC/VerseCrafter
• ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/VerseCrafter
• arXiv技術論文：https://arxiv.org/pdf/2601.05138

VerseCrafterの応用事例

• 仮想現実（VR）と拡張現実（AR）VerseCrafterは没入感のある仮想世界を構築でき、ユーザーはカメラやオブジェクトの動きを制御することでリアルタイムにシーンを探索できるため、インタラクティブな体験が向上します。
• ゲーム開発ゲーム向けに動的な背景やオブジェクトの動きを生成し、視点切り替えやレンダリング効果を最適化し、開発コストを削減します。
• 動画コンテンツ制作クリエイターはVerseCrafterを使用することで、広告、映画、アニメーション制作におけるクリエイティブなニーズを満たす、高品質でダイナミックな動画を迅速に生成できます。
• 教育と訓練VerseCrafterは、歴史再現や科学実験シミュレーションなど、現実的な仮想教育シナリオを作成することで、生徒の学習意欲と参加度を高めることができます。
• エンターテインメントとメディア視聴者が視点やオブジェクトの動きを制御することで物語の展開を変えることができる、選択肢ベースの物語型動画など、インタラクティブな動画コンテンツの開発に使用されます。