SpatialGen - GroupCore Technology社によるオープンソースの3Dシーン生成モデル

SpatialGenとは何ですか？

SpatialGenは、Quncore Technologyが開発したオープンソースの3Dシーン生成モデルです。拡散モデルアーキテクチャに基づき、テキスト記述、参照画像、3D空間レイアウトから、時空間的に一貫性のあるマルチビュー画像の生成をサポートします。さらに、3Dガウスシーンの生成やウォークスルー動画のレンダリングも可能です。膨大な屋内3Dシーンデータを活用することで、様々なカメラアングルから、空間属性とオブジェクトの物理的関係を正確に表現した、視覚的にリアルな画像を生成し、ユーザーが自由にシーンを移動して没入感のある体験を楽しめるようにします。SpatialGenは、既存の動画生成モデルが抱える空間的一貫性の問題を解決し、AI動画制作のための強力なツールを提供します。

SpatialGenの主な機能

• マルチビュー画像生成テキストによる説明、参照画像、および3D空間レイアウトに基づいて、時空間的に一貫性のあるマルチビュー画像を生成し、同じオブジェクトが異なる視点から見ても正確な空間属性と物理的関係を維持するようにします。
• 3Dガウスシーン生成さらに、生成されたマルチビュー画像は3Dガウスシーンに変換され、移動動画のレンダリングをサポートし、ユーザーに没入感のある3D空間体験を提供する。
• 時空間的一貫性の保証生成された動画では、物体の形状と空間的な関係が複数のフレームにわたって安定かつ一貫して維持されるため、既存の動画生成モデルでよく見られる空間的な一貫性の問題が解決される。
• パラメトリックレイアウトの制御可能な生成パラメータ化されたレイアウトに基づく制御可能な生成をサポートしており、将来的には、さまざまなユーザーのシーン生成に関する特定のニーズを満たすために、より豊富な構造化されたシーン情報制御を実現できるようになる予定です。

SpatialGenの技術原理

• マルチビュー拡散モデルSpatialGenは拡散モデルアーキテクチャに基づいています。3D空間内の複数のカメラビューをサンプリングすることで、3Dレイアウトを対応するビューの2Dセマンティックマップと深度マップに変換します。テキストによる説明と参照画像を組み合わせることで、拡散モデルに基づいて各ビューのRGB画像、セマンティックマップ、および深度マップを生成します。
• 大規模で高品質なデータセットQunhe Technology社の膨大な屋内3Dシーンデータを活用することで、モデル学習のための豊富な素材が提供され、生成される画像はより視覚的にリアルになり、物体の空間的な関係性もより正確になります。
• 3D再構成アルゴリズムこのシステムは再構成アルゴリズムを用いて、生成されたマルチビュー画像を3Dガウスシーンに変換し、2D画像から3Dシーンへの変換を実現することで、ユーザーにより豊かなインタラクティブ体験を提供する。
• 時空間一貫性技術特定のアルゴリズムと技術を用いることで、生成されるマルチビュー画像の時間的・空間的な一貫性が確保され、異なるフレーム間での位置ずれや空間的な論理の混同といった問題が回避されるため、ビデオ生成の品質と使いやすさが向上する。

SpatialGenのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/manycore-research/SpatialGen
• ハギングフェイスモデルライブラリ：https://huggingface.co/manycore-research/SpatialGen-1.0

SpatialGenの応用シナリオ

• インテリアデザインと装飾ユーザーが入力した説明や間取り図に基づいて複数のインテリアデザイン案を生成することで、デザイナーは効果を迅速に提示し、デザイン案を最適化することができ、デザイン効率が向上します。
• 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーション向けにリアルな3Dシーンを生成し、仮想展示ホールや観光名所などの没入型体験を提供するとともに、ユーザーインタラクションを強化します。
• ゲーム開発ゲーム内の屋内シーンや街並みなどの3Dシーンや環境を迅速に生成できるため、ゲーム開発プロセスを加速し、開発コストを削減し、ゲームシーンをより豊かにすることができます。
• ロボットのトレーニングとシミュレーションロボットのトレーニング用に、住宅や工業用作業場などの3Dシーンを生成し、ロボットの適応性と性能を向上させるための豊富なトレーニングデータを提供する。
• 映画・テレビ制作およびアニメーションSpatialGenは、映画やテレビ番組の制作、アニメーションの背景などに使用できる、未来都市や古代建築物などの高品質な3Dシーンやアニメーションを生成し、制作効率を向上させ、リアルな視覚効果を提供します。