GaussianCity - 南洋理工大学のS-Labチームが開発した3D都市生成フレームワーク。

GaussianCityとは何ですか？

GaussianCityは、南洋理工大学のS-Labチームが開発した、効率的で境界のない3D都市生成フレームワークです。3Dガウスレンダリング（3D-GS）技術をベースとしており、コンパクトなBEV-Point表現方法を採用することで、シーンのVRAM使用量を一定に保ち、大規模シーン生成におけるVRAMとストレージ要件の過剰という問題を解決しています。また、空間認識型BEV-Pointデコーダーを導入し、ポイントシリアライザとポイントトランスフォーマーに基づいてBEVポイントの構造的特徴と文脈的特徴を捉え、高品質な3Dガウス特性を生成します。GaussianCityは、ドローン視点とストリートビュー視点の両方から3D都市生成タスクにおいて卓越した性能を発揮し、既存の手法（CityDreamerなど）と比較して60倍の速度向上を実現し、生成品質と効率の両面で新たな高みへと到達しています。

GaussianCityの主な機能

• 大規模な3D都市を効率的に生成するドローン視点からストリートビュー視点まで、多様なシーンに対応し、リアルで境界のない都市環境を迅速に生成できます。
• ビデオメモリとストレージの要件が低いコンパクトなBEV-Point表現方法に基づいているため、ビデオメモリとストレージの要件を低く抑えることができ、大規模シーン生成における従来の方法のビデオメモリのボトルネック問題を解決します。
• 高品質な視覚効果空間認識機能を備えたBEVポイントデコーダーを使用して、様式化された編集や局所的な変更をサポートする、非常に詳細でリアルな3D都市を生成します。
• リアルタイムレンダリングとインタラクションリアルタイムレンダリングとインタラクションをサポートし、高品質な3D都市画像を迅速に生成できるため、ゲーム、アニメーション、バーチャルリアリティなどの用途に適しています。

GaussianCityの技術原理

• 3Dガウスレンダリング（3D-GS）シーン内のオブジェクトや構造は3Dガウス分布で表現され、GPUアクセラレーションによるレンダリングによって効率的な3Dシーン生成が可能になります。
• BEVポイントとは3Dシーン内の点情報は、位置属性とスタイル属性に分解され、鳥瞰図（BEV）とスタイルルックアップテーブルに基づいて圧縮されるため、シーンのサイズに応じて使用されるビデオメモリの量が増加しないようになっています。
• 空間認識BEVポイントデコーダーポイントシリアライザとポイントトランスフォーマーに基づいて、BEVポイントの構造とコンテキスト情報をキャプチャし、3Dガウス特性を生成し、高品質な3Dシーンレンダリングを実現します。
• 高効率レンダリングプロセスこのシステムは、位置エンコーダと変調MLPを組み合わせて3Dガウス属性を生成し、それをガウスラスタライザーを使用して最終画像にレンダリングします。

GaussianCityプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/hzxie/GaussianCity
• ハギングフェイスモデルライブラリ：https://huggingface.co/spaces/hzxie/gaussian-city
• arXiv技術論文：https://arxiv.org/pdf/2406.06526

GaussianCityの応用シナリオ

• ゲームとバーチャルリアリティ（VR）リアルな仮想都市を迅速に生成し、リアルタイムレンダリングとインタラクションをサポートし、開発コストと時間を削減できます。
• アニメーションと映画制作複雑な都市景観を効率的に生成し、様式化されたレンダリングをサポートし、制作効率を向上させます。
• 都市計画と建築設計都市のレイアウトや建築物の背景を素早く生成し、計画や設計の視覚化を支援します。
• 自動運転と交通シミュレーションアルゴリズムのテストや交通流分析のために、現実的な交通シナリオを生成する。
• 地理情報システム（GIS）地理データを迅速に3Dビジュアライゼーションシーンに変換し、都市モデリングと分析をサポートします。