TrajectoryCrafter - テンセントと香港中文大学が発表した、単眼式ビデオ自由移動カメラ技術 - AiBoss

TrajectoryCrafterとは何ですか？

テンセントPCG ARCラボと香港中文大学が開発したTrajectoryCrafterは、単眼ビデオ用のカメラ軌道再指向手法です。ポストプロダクションでカメラの位置と角度を柔軟に調整でき、ビデオ内のカメラの動きを容易に変更できます。TrajectoryCrafterは、分離したビュー変換とコンテンツ生成に基づいて、2ストリーム条件付きビデオ拡散モデルを使用し、点群レンダリングとソースビデオを条件として、ユーザー指定のカメラ軌道を正確に制御し、高品質の4Dコンテンツを生成します。TrajectoryCrafterは、革新的なデュアル再投影戦略とハイブリッドデータセット（動的な単眼ビデオと静的なマルチビューデータの組み合わせ）を使用してモデルをトレーニングし、多様なシナリオにおける汎化能力を大幅に向上させています。TrajectoryCrafterは、マルチビューおよび大規模な単眼ビデオデータセットで非常に優れた性能を発揮し、高忠実度でソースと一貫性のある軌道ビデオを生成し、没入型ビデオ体験の新たな可能性を提供します。

TrajectoryCrafterの主な機能

精密な軌道制御ユーザーは任意のカメラ軌道（平行移動、回転、拡大縮小など）を指定し、それに合わせたビデオコンテンツを生成します。
高忠実度ビデオ生成生成された動画は、高品質なディテールと質感を備え、元の動画と視覚的に一貫性があります。
4Dコンシステンシー生成された動画は、目標とする軌道と空間的に一致し、元の動画と時間的に整合性が取れているため、コンテンツのずれやちらつきが発生しません。
多様なシナリオの一般化このモデルは、屋内、屋外、動的なシーンなど、さまざまなシナリオに適応でき、優れた汎化能力を備えています。

TrajectoryCrafterの技術的原理

2ストリーム条件付きビデオ拡散モデル：
- ビュー変換とコンテンツ生成の分離この手法は、カメラ軌道の決定論的な変換とコンテンツ生成のランダム性を分離します。点群レンダリングに基づいて正確な視点変換を実現し、ビデオ拡散モデルを用いて高品質なコンテンツを生成します。
- デュアルストリーム条件付きメカニズムこのモデルには、2つの条件付き入力が含まれています。1つは点群レンダリング（視点変換の精密な制御に使用）、もう1つはソースビデオ（詳細情報とテクスチャの提供に使用）です。独自のRef-DiTモジュール（参照条件付き拡散トランスフォーマー）を使用することで、ソースビデオからの詳細情報をクロスアテンション機構を介して生成プロセスに注入し、生成されるビデオの忠実度を向上させています。
動的な点群レンダリング深度推定は、単眼ビデオを動的な点群に変換し、ユーザーが指定したカメラ軌跡に基づいて新しいビューをレンダリングします。点群レンダリングは、幾何学的関係とビュー変換を正確に捉え、幾何学的なガイダンスを提供します。
混合データセットとトレーニング戦略トレーニングには、ネットワーク規模の単眼ビデオと静的なマルチビューデータセットを組み合わせたハイブリッドデータセット戦略が採用されています。単眼ビデオについては、大規模なトレーニングサンプルを生成するためにデュアル再投影戦略が使用されています。具体的には、ビデオは深度推定によって点群にアップスケールされ、新しいビューがレンダリングされた後、元のビューに再投影され、点群レンダリングの効果をシミュレートします。モデルは2段階のトレーニング戦略を採用しています。第1段階では、ビュー変換の精度と欠落領域の合成に重点が置かれ、第2段階では、マルチビューデータセットを使用して、生成されたビデオとソースビデオの一貫性を向上させます。

TrajectoryCrafterのプロジェクトアドレス

プロジェクト公式サイト：https://trajectorycrafter.github.io/
GitHubリポジトリ：https://github.com/TrajectoryCrafter/TrajectoryCrafter
arXiv技術論文：https://arxiv.org/pdf/2503.05638
オンラインでデモを体験してください：https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter

TrajectoryCrafterの応用事例

没入型エンターテイメントVR/ARで使用されることで、ユーザーは自由に視点を切り替えることができ、没入感を高めることができる。
クリエイティブなビデオ制作これは、映画や短編動画の制作者が新たな視点を取り入れ、コンテンツの魅力を高めるのに役立ちます。
インテリジェントなビデオ会議会議の視点を動的に調整して、特定の領域や人物に焦点を当て、インタラクティブ性を高めます。
自動運転とロボット工学アルゴリズムのトレーニングおよびテストに使用するため、マルチビューの運転シナリオまたはナビゲーションシナリオを生成します。
教育と訓練生徒の理解と学習を促進するために、多角的な視点から解説した教育ビデオを作成する。