HouseCrafter - ノースイースタン大学とStability AIが、2Dの屋内シーンを3Dに変換する技術を発表

HouseCrafterとは何ですか？

ノースイースタン大学とStability AIが共同開発した先進技術「HouseCrafter」は、2Dフロアプランを自動的に3Dインテリアシーンに変換します。ネットワーク規模の画像学習済み2D拡散モデルに基づき、一貫性のあるマルチビューカラー（RGB）画像と深度（D）画像を生成します。画像自己回帰バッチ生成によりグローバルな一貫性が確保され、高品質な3Dシーンが再構築されます。複雑な仮想環境の作成が簡素化され、ユーザーはフロアプラン上で家具を移動することでシーンレイアウトを簡単に編集し、生成された3Dシーンをリアルタイムで更新できます。これにより、HouseCrafterは建築、インテリアデザイン、不動産など幅広い分野で活用される可能性を秘めています。

HouseCrafterの主な機能

• 2D図面から3Dシーンへの変換2Dの平面図を、住宅モデルなどの完全な3Dインテリアシーンに変換します。
• マルチビュー画像生成異なる場所から撮影したシーンの、一貫性のあるマルチビューRGBおよび深度（RGB-D）画像を生成する。
• 自己回帰画像生成以前に生成された画像は、隣接する場所で新しい画像を生成する際の条件として使用されます。
• 世界的な一貫性生成される画像の一貫性は、グローバルな平面グラフとアテンションメカニズムによって保証されます。
• 3Dシーンの再構築TSDF融合技術に基づき、生成されたRGB-D画像から3Dメッシュモデルが再構築される。
• ユーザーとのやり取りと編集この機能を使うと、ユーザーはフロアプラン上で家具やその他の要素を移動させてシーンのレイアウトを編集でき、3Dビューもそれに合わせて更新されます。

HouseCrafterの技術原則

• 2次元拡散モデル大規模ネットワーク画像で学習させた2次元拡散モデルを調整して、RGB-D画像を生成する。
• 自己回帰バッチ生成空間的な整合性を確保するため、以前に生成された画像に基づいて、新しい画像がバッチ処理で生成される。
• レイアウトガイドフロアプランを全体的なレイアウトガイドとして使用し、レイアウトアテンションレイヤーを通して、生成された画像がフロアプランと一致するようにします。
• 深層情報融合画像生成時にRGB情報と深度情報を同時に考慮することで、幾何学的および意味的な一貫性を向上させる。
• 注意機構画像生成の品質を向上させるため、参照深度からの幾何学的情報に基づいてクロスアテンション層を更新する。
• 3D再構成アルゴリズムTSDF融合技術に基づき、マルチビューRGB-D画像を3Dメッシュに変換する。

HouseCrafterのプロジェクト住所

• プロジェクト公式サイト：neu-vi.github.io/houseCrafter
• arXiv技術論文：https://arxiv.org/pdf/2406.20077

HouseCrafterの応用事例

• 建築設計および計画これにより、建築家やデザイナーは平面図を迅速に3Dモデルに変換でき、より優れた空間計画と設計レビューが可能になります。
• インテリアデザインインテリアデザイナーは、インテリアデザインプランを作成・修正したり、家具の配置や装飾の効果をプレビューしたりすることができます。
• 不動産マーケティング不動産開発業者は、HouseCrafterが生成した3Dモデルを使用して顧客にバーチャル住宅ツアーを提供し、マーケティング資料の魅力を高めている。
• ゲーム開発ゲームデザイナーは、複雑な3Dゲーム環境を迅速に構築できる。
• 仮想現実（VR）と拡張現実（AR）仮想現実および拡張現実アプリケーション向けに詳細な3D屋内シーンを提供し、ユーザーエクスペリエンスを向上させます。
• 映画およびアニメーション制作映画やアニメーションに必要な3Dシーンを迅速に生成し、制作効率を向上させます。