DimensionX - 香港科技大学、清華大学、およびBiodata Technologyが共同開発した、単一画像から複雑な3Dおよび4Dシーンを生成するためのフレームワーク。

DimensionXとは何ですか？

DimensionXは、香港科技大学、清華大学、およびBioNTechが共同開発したフレームワークです。単一の画像から非常にリアルな3Dおよび4Dシーンを生成でき、ビデオ拡散技術に基づいて空間的および時間的な次元を精密に制御します。このフレームワークは、ST-Director技術に基づいて空間的要素と時間的要素を分離し、独立した制御または組み合わせた制御をサポートすることで、動的な変化を伴う複雑なシーンを生成します。DimensionXには、シーンの一貫性とリアリズムを高めるための軌道認識メカニズムとアイデンティティ保持型ノイズ除去戦略が含まれています。

DimensionXの主な機能

• 3Dシーン生成1枚の画像から新たな透視投影画像を生成し、3Dシーンを構築する。
• 4Dシーン生成単一の画像から、時間的・空間的な変化を含む動的なシーンを生成します。
• ビデオ拡散制御ST-Directorの技術に基づき、映像配信における空間的・時間的要素の分離と精密な制御を実現します。
• 軌道認識メカニズム3D生成向けに設計されており、複雑な現実世界のシーンやカメラの動きを処理できます。
• アイデンティティ保持ノイズ除去戦略4D生成向けに設計されており、特に動的なオブジェクトと背景間のシーンの一貫性を向上させます。

DimensionXの技術原則

• STディレクター（スペース・アンド・タイム・ディレクター）：
  • 次元認識LoRA次元的に多様なデータから低ランク適応（LoRA）を学習し、ビデオ拡散における空間的要因と時間的要因を分離する。
  • S-Director（空間ディレクター）空間的な変化に関連するビデオフレームを生成し、カメラの視点と位置を制御する役割を担います。
  • T-Director（タイムディレクター）: 時間とともに変化するビデオフレームを生成し、シーン内のオブジェクトのダイナミクスを制御する役割を担います。
• 次元知覚分解空間的および時間的な等価関係を定義し、S商空間とT商空間を作成し、それぞれビデオ内の空間軌跡と時間的運動軌跡を捉える。
• トレーニング不要の寸法認識アセンブリビデオ拡散プロセスにおけるノイズ除去メカニズムに基づいて、混合次元制御を実現するためのトレーニング不要の手法が開発され、ノイズ除去プロセスの異なる段階でS-DirectorとT-Directorを切り替えることで、空間的および時間的な変動を含むビデオを生成するために使用される。
• 3Dシーン生成：
  • 軌道認識メカニズム: さまざまなカメラ動作軌跡に基づいて複数のS-Directorをトレーニングし、幅広いカメラ動作モードに対応します。
  • ビデオ補間モデル疎なビューでも滑らかで一貫性のあるトランジションを備えた、高品質な補間ビデオを生成します。
• 4Dシーン生成：
  • 参考動画の潜在的共有: 参照フレームを選択し、その潜在コードを共有することで、すべての空間バリアントビデオ間の一貫性を向上させます。
  • 外観の洗練各視点からの動的なビデオを洗練させ、マルチビュービデオ間の安定性と一貫性を向上させます。

DimensionXプロジェクトの住所

• プロジェクト公式サイト：chenshuo20.github.io/DimensionX
• GitHubリポジトリ：https://github.com/wenqsun/DimensionX
• arXiv技術論文：https://arxiv.org/pdf/2411.04928

DimensionXの応用事例

• 映画・エンターテインメント業界特殊効果シーンを生成し、撮影コストを削減し、仮想背景を作成します。
• ゲーム開発リアルなゲーム環境を生成し、迅速にプロトタイプを作成する。
• 仮想現実（VR）と拡張現実（AR）ユーザーエクスペリエンスを向上させるために、ダイナミックな3D環境を作成します。
• 建築と都市計画設計図面に基づいて建築モデルを作成し、都市計画をシミュレーションする。
• 教育と訓練緊急事態をシミュレーションするために、過去の事例を視覚化する。