project
CityDreamer4D - 南洋理工大学が開発した、境界のない4D都市モデリングフレームワーク。
CityDreamer4Dは、南洋理工大学のS-Labチームが開発した、境界のない4D都市を生成するための複合生成モデルです。これは、3つのモジュールを通して、動的なオブジェクト（車両など）と静的なシーン（建物や道路など）を分離します。
CityDreamer4Dとは何ですか？
CityDreamer4Dは、南洋理工大学のS-Labチームが開発した、境界のない4D都市を生成するための組み合わせ生成モデルです。車両などの動的オブジェクトと建物や道路などの静的シーンを分離し、建物インスタンスジェネレータ、車両インスタンスジェネレータ、都市背景ジェネレータの3つのモジュールを通して、効率的な鳥瞰図シーン表現に基づいて都市シーンを生成します。このモデルは、OSM、Google Earth、CityTopiaなど、複数のデータセットに基づいて構築されており、様々な視点と照明条件を網羅しています。CityDreamer4Dは、リアルな4D都市を生成でき、都市のスタイル設定、ローカル編集、都市シミュレーションなどのアプリケーションをサポートします。
CityDreamer4Dの主な機能
- ボーダーレス4D都市生成CityDreamer4Dは、車両などの動的なオブジェクトと、建物や道路などの静的なシーンを分離することで、時間的・空間的な次元の両方を取り入れた動的な都市シーンを生成できます。また、複数の視点間で一貫性を保ちながら、無限に拡張可能な都市レイアウトの生成にも対応しています。
- 例：編集および部分的な修正CityDreamer4Dは、建物や車両のインスタンスを部分的に編集する機能をサポートしており、車両の位置やスタイルを変更したり、建物の高さや外観を調整したりする際に、他のシーン要素に影響を与えることなく編集を行うことができます。
- 都会的なスタイルこのモデルは、生成された都市のスタイルを変更する機能をサポートしており、例えば、都市のスタイルをMinecraft風やサイバーパンク風に変換することで、複数の視点間で一貫性を保つことができます。
- 都市シミュレーションCityDreamer4Dは、リアルな4D都市シーンを生成する強力な都市シミュレーションツールとして使用でき、ストリートビューや航空写真の視点にも対応しており、自動運転、都市計画、バーチャルリアリティなどのアプリケーションに適しています。
- データセットのサポート開発チームは、OSM（OpenStreetMap）、Google Earth、CityTopiaなど、複数の視点や照明条件を網羅した複数のデータセットを構築した。
CityDreamer4Dの技術的原理
- 動的要素と静的要素を分離するCityDreamer4Dは、動的なオブジェクト（車両など）と静的なシーン（建物や道路など）を分離し、それぞれ異なるジェネレーターで処理します。
- モジュール式発電このモデルは主に3つのモジュールで構成されています。
- インスタンスジェネレーターの構築（建物インスタンス生成器）：オブジェクトの中心座標空間を使用して建物のコンパクトな形状を捉え、建物インスタンスを生成する役割を担います。
- 車両インスタンスジェネレーター（車両インスタンスジェネレータ）：オブジェクト固有の座標空間と周期的な位置エンコーディングを組み合わせて車両インスタンスを生成します。
- 都市背景ジェネレーター（都市背景ジェネレーター）：道路や植生などの背景要素を生成し、生成ハッシュグリッドを使用して背景の不規則なテクスチャを処理します。
- 鳥瞰図によるシーン表現効率性と拡張性を向上させるため、CityDreamer4Dは効率的な鳥瞰図（BEV）シーン表現を採用しています。コンパクトなBEVマップを使用して都市のレイアウトを描写し、建物の高さを表すハイトマップと組み合わせることで、無限の拡張に対応しています。
- 神経場結合このモデルは、背景指向型およびインスタンス指向型のニューラルフィールドに基づいて、背景要素とインスタンス（建物や車両）を生成します。これにより、都市における様々な要素の多様性と独自性を効果的に捉えることができます。
CityDreamer4Dプロジェクトの住所
- プロジェクト公式サイト：https://www.infinitescript.com/project/city-dreamer-4d
- GitHubリポジトリ：https://github.com/hzxie/CityDreamer4D
- arXiv技術論文：https://arxiv.org/pdf/2501.08983
CityDreamer4Dの応用事例
- 都市シミュレーションと計画CityDreamer4Dは、リアルな4D都市シーンを生成するための強力な都市シミュレーションツールとして使用でき、動的なオブジェクト（車両など）や詳細な環境の生成をサポートします。
- ローカル編集とカスタマイズCityDreamer4Dはモジュール式のアーキテクチャを採用しているため、建物や車両のインスタンスを部分的に編集できます。車両の位置やスタイルを個別に変更したり、建物の高さや外観を調整したりすることができ、他のシーン要素に影響を与えることはありません。
- 都会的なスタイルCityDreamer4Dは都市のスタイル設定に対応しており、Minecraftやサイバーパンクなど、さまざまなスタイルを都市全体にシームレスに適用できます。
- 多角的視点の一貫性CityDreamer4Dは、生成された4D都市において、複数の視点間での一貫性を確保し、ストリートビューや航空写真の生成をサポートします。