SceneGen - 上海交通大学が開発した3Dシーン生成フレームワーク

SceneGenとは何ですか？

SceneGenは、上海交通大学の研究チームが開発した、高効率なオープンソースの3Dシーン生成フレームワークです。単一のシーン画像とその対応するオブジェクトセグメンテーションマスクから、単一の順伝播処理によって、完全な形状、テクスチャ、空間レイアウトを含む3Dシーンを直接生成します。その革新性は、エンドツーエンドの生成プロセスにあり、時間のかかる最適化プロセスやアセットライブラリからの取得・組み立てが不要となるため、生成効率が大幅に向上します。コア技術には、ローカルおよびグローバルなシーン情報を集約するモジュールと、3Dアセットとその相対的な空間位置を同時に予測する位置予測ヘッドが含まれており、生成されたシーンの物理的な妥当性と視覚的な一貫性を保証します。このツールは主にVR/AR、エンボディドAI、ゲーム開発、インテリアデザインを対象としており、リアルな仮想環境を迅速に構築するための強力なソリューションを提供します。

SceneGenの主な機能

• 単一画像から3Dシーンを生成する単一のシーン画像とその対応するオブジェクト分割マスクから、完全な形状、テクスチャ、空間レイアウトを含む3Dシーンを直接生成できます。
• 高効率エンドツーエンド生成シーン生成は、時間のかかる最適化プロセスやアセットライブラリからの取得・組み立てに頼ることなく、単一の順伝播処理で完了できるため、生成効率が大幅に向上します。
• 地域およびグローバルな情報集約特徴抽出プロセス中に集約モジュールを導入することで、局所的な詳細情報と全体的なシーン情報を効果的に組み合わせ、生成されるシーンの合理性と一貫性を確保した。
• 共同予測資産および拠点独自のポジショニングヘッドにより、シーン内の3Dアセット（オブジェクト）とその正確な相対空間位置を同時に予測できます。
• 高精度とリアルさ合成データセットと実データセットの両方において、本手法が生成するシーンは、幾何学的精度、テクスチャの詳細度、および視覚的品質の点で、従来の手法と比較して優れた性能を示している。

SceneGenの技術的原則

• 入力処理と特徴抽出このアルゴリズムは、単一のシーン画像とその対応するオブジェクトセグメンテーションマスクを入力として受け取り、ビジュアルエンコーダとジオメトリエンコーダを介して、それぞれアセットレベル（オブジェクト）の特徴とシーンレベルのグローバル特徴を抽出します。
• 局所的なテクスチャの精緻化事前学習済みのローカルアテンションモジュールは、個々のオブジェクトのテクスチャの詳細を最適化および強化するために使用され、生成されるアセットの視覚的な品質を保証します。
• グローバル機能融合設計されたグローバルアテンションモジュール（集約モジュール）を介して、ローカルなオブジェクトの特徴とシーンレベルのレイアウト情報を統合することにより、オブジェクト間の空間的な関係と文脈的な依存関係が捉えられ、シーンの合理性と一貫性が確保されます。
• 共同復号化および生成このシステムは、市販の構造デコーダを使用して融合された特徴を処理すると同時に、独自の位置予測ヘッドによってオブジェクトの正確な相対空間位置を予測することで、形状、テクスチャ、位置を一度で生成することを実現します。
• エンドツーエンドの最適化プロセス全体は単一の順伝播によって完了するため、反復的な最適化や外部アセットの取得が不要となり、生成効率が大幅に向上し、合成データセットと実データセットの両方で高い精度とリアリズムを実現します。

SceneGenのプロジェクトアドレス

• プロジェクト公式サイト：https://mengmouxu.github.io/SceneGen/
• GitHubリポジトリ：https://github.com/mengmouxu/scenegen
• ハギングフェイスモデルライブラリ：https://huggingface.co/haoningwu/scenegen
• arXiv技術論文：https://arxiv.org/pdf/2508.15769

SceneGenの応用シナリオ

• ゲームおよび映画制作コンセプトアートや参考写真に基づいてすぐに使える3Dシーンリソースを迅速に生成できるため、シーンモデリングにかかる時間を大幅に削減できます。これは、インディーズゲーム開発者など、リソースが限られているチームにとって特に有益です。
• 仮想現実（VR）と拡張現実（AR）VR/ARアプリケーション向けに、現実的でインタラクティブな3D環境を効率的に生成し、エンボディドAIなどの分野における高品質な仮想シーンに対する緊急のニーズに応える。
• 不動産とインテリアデザイン間取り図や実写写真をインタラクティブな3Dディスプレイに素早く変換できるため、不動産業者、開発業者、顧客などが住宅の空間レイアウトやデザイン効果をより直感的に理解するのに役立ちます。
• シミュレーションおよび訓練環境の構築これは、自動運転やロボットナビゲーションなど、高忠実度仮想環境での広範なテストとトレーニングを必要とするタスク向けに、効率的なシーン生成ソリューションを提供する。