DynamicCity - 上海AIラボが発表した4D動的シーン生成フレームワーク - AiBoss

ダイナミックシティとは何ですか？

DynamicCityは、上海AIラボが開発した、大規模な動的シーン生成のための4D生成フレームワークです。DynamicCityは、意味情報を含む動的なLiDARシーンの生成に特化しており、大規模な空間データ（80×80×6.4 m³）と長尺のシーケンスデータ（最大128フレーム）を処理できます。DynamicCityは、VAEモデルに基づいて4DシーンをコンパクトなHexPlane表現にエンコードし、拡散ベース（DiT）ジェネレータを使用して動的シーンを再構築します。DynamicCityフレームワークは、軌道誘導、指示駆動型生成、動的シーンのインペインティングなど、さまざまなアプリケーションをサポートしています。DynamicCityは、CarlaSCおよびOcc3D-Waymoデータセットで非常に優れた性能を発揮し、既存の手法を大幅に上回り、高品質な動的シーン生成における強力な能力を実証しており、自動運転およびロボット技術を強力にサポートします。

DynamicCityの主な機能

高品質な4Dシーン生成大規模かつ高品質な動的LiDARシーンを生成し、現実世界の環境における動的な時空間的変化を捉えます。最大128フレームの長尺シーケンスの生成をサポートし、複雑な動的環境のシミュレーションが可能です。
多様な下流アプリケーション：
- 軌道誘導型生成特定の入力軌道に基づいて、シーン内のオブジェクトの動きを制御する。
- 命令駆動型生成車両やシーンの動きを、コマンド（「左折」「右折」「前進」など）に基づいて制御します。
- 動的なシーン復元（インペインティング）欠落または破損したシーンを修復して、完全な動的シーンを生成します。
- レイアウト条件生成鳥瞰図レイアウトに基づいて、車両やその他のオブジェクトの配置を制御します。

ダイナミックシティの技術的原則

VAEモデル：
- エンコード段階4D LiDARシーンをコンパクトなHexPlane表現にエンコードします。特徴は3D畳み込みニューラルネットワークを使用して抽出され、4D特徴は投影モジュールを使用して6つの2D特徴マップに圧縮されます。これにより、HexPlaneの適合精度が向上します（mIoUが最大12.56%向上）。
- デコード段階拡張＆圧縮戦略（ESS）に基づき、HexPlaneは並列にデコードされ、3D特徴ボリュームが再構築されます。ESSは、ポイントごとのクエリ方法と比較して、適合品質の向上（mIoUで最大7.05%の向上）、トレーニングの高速化（最大2.06倍の向上）、およびメモリ使用量の削減（最大70.84%の削減）を実現します。
DiTモデル：
- 六面体生成エンコードされたHexPlaneに基づいて、DiTモデルを使用して新しいHexPlaneを生成し、4D LiDARシーンの生成を可能にします。HexPlaneをDiT生成に適したものにするために、パディングロールアウト操作（PRO）が提案されています。これは、6つの特徴平面を正方形の2D特徴マップに再編成し、特徴シーケンス内の空間的および時間的関係を効率的にモデル化します。
- 条件付き生成DiTは、条件付き注入（軌跡、指示、レイアウトなど）に基づく多様な4Dシーン生成アプリケーションをサポートします。分類器不要ガイダンス（CFG）により、モデルはトレーニング中に条件付き生成と無条件生成の両方を学習できるため、生成プロセスにおけるよりきめ細かな制御が可能になります。

DynamicCityプロジェクトの住所

プロジェクト公式サイト：https://dynamic-city.github.io/
GitHubリポジトリ：https://github.com/3DTopia/DynamicCity
arXiv技術論文：https://arxiv.org/pdf/2410.18084

DynamicCityの応用シナリオ

自動運転シミュレーション自動運転アルゴリズムの開発およびテストのための複雑な動的シナリオを生成することで、システムの安全性を向上させる。
バーチャルリアリティVRやARアプリケーションをサポートする、リアルな仮想環境を作成する。例えば、仮想運転や都市計画のデモンストレーションなどが挙げられる。
ロボットナビゲーションロボットが経路計画や障害物検出を実行できるように、3次元の動的な環境をシミュレートし、ロボットの適応性を向上させる。
交通流分析交通流のモデリングと分析、渋滞の予測、交通信号と道路計画の最適化。
スマートシティ計画都市レベルの動的なシーンを生成し、都市レイアウトや公共施設の計画の評価に役立てる。