Edify 3D - NVIDIAの3Dジェネレーティブモデリングツール

Edify 3Dとは何ですか？

Edify 3Dは、NVIDIAが提供する高度な3Dアセット生成ソリューションで、テキストプロンプトや参照画像から高品質な3Dモデルを迅速に合成できます。Edify 3Dは、詳細なジオメトリ、明確なトポロジー、高解像度テクスチャ、PBRマテリアルを備えた3Dアセットをわずか2分で生成し、ビデオゲームデザイン、拡張現実、シミュレーションなど、幅広い分野のアプリケーションをサポートします。このテクノロジーは、マルチビュー拡散モデルとTransformerベースの再構築モデルを組み合わせることで、3Dコンテンツ制作の効率性と拡張性を大幅に向上させています。

Edify 3Dの主な機能

• テキストから3Dを生成する入力されたテキスト記述に基づいて、詳細な形状、明確なトポロジー、高解像度のテクスチャ、およびPBRマテリアルを備えた3Dアセットを生成します。
• 画像から3Dへの変換参照画像から前景オブジェクトを自動的に識別し、対応する3Dアセットを生成できます。
• 迅速な生成高品質な3Dアセットを2分以内に生成し、迅速な制作ニーズに対応します。
• 高解像度テクスチャ最大4K解像度のテクスチャ生成をサポートし、生成されるアセットの視覚的な品質を保証します。
• PBR材料サポート生成される3Dアセットには、物理ベースレンダリング（PBR）マテリアルが含まれており、これにより、アセットはさまざまな照明条件下でもリアルな外観を維持できます。
• UVマップとマテリアルマップ生成されたアセットには、整理されたUVマップとマテリアルマップが含まれており、その後の編集やレンダリングを容易にします。

Edify 3Dの技術原理

• マルチビュー拡散モデルこの技術は、マルチビュー拡散モデルを用いて、オブジェクトのRGB外観画像と表面法線画像を合成します。これらのモデルは、テキスト情報やカメラの姿勢を考慮に入れ、複数の視点からオブジェクトの外観を合成することができます。
• 変圧器の基本再構築モデル合成されたマルチビューRGB画像と表面法線画像に基づいて、Transformerモデルを用いて3D形状の形状、テクスチャ、および材質を予測します。このモデルは、3Dオブジェクトを潜在トークンとして表現し、メッシュ形状は等値面抽出とメッシュ処理から導出されます。
• クロスビュー注意メカニズムマルチビュー拡散モデルは、自己注意層を拡張し、異なる視点間で注意を配分し、視点の一貫性を向上させます。
• 高解像度アップサンプリングアップサンプリングControlNetを使用してマルチビューRGB画像の解像度を向上させ、指定された3Dメッシュのテクスチャと表面法線に基づいて条件付きで処理します。
• PBRレンダリング物理ベースのレンダリング技術は、マテリアルや照明効果のリアリティを確保するために、生成プロセス中に適用されます。
• メッシュの後処理生成された3Dメッシュは、芸術的およびデザイン上のニーズに合わせて、四角形メッシュへのリトポロジー、UVマッピングの生成、PBR属性のベイクなどの後処理を受けます。

Edify 3Dプロジェクトの住所

• プロジェクト公式サイト：research.nvidia.com/labs/dir/edify-3d
• arXiv技術論文：https://arxiv.org/pdf/2411.07135

Edify 3Dの応用事例

• ビデオゲームデザインゲーム開発者は、壁、塔、内部構造を含む中世の城の3Dモデル、およびそれに対応するテクスチャやマテリアルを迅速に生成し、今後の戦略ゲームで使用することができます。
• 拡張現実（XR）バーチャルリアリティ体験のデザイナーは、様々な海洋生物やサンゴ礁を含むリアルな水中世界を創造し、ダイビング愛好家に没入感のあるバーチャルダイビング体験を提供する。
• 映画およびビデオ制作映画制作チームは、SF映画の重要な追跡シーンのために、超高層ビル、空飛ぶ車、エイリアンの植物などが登場する未来都市の3Dシーンを作成した。
• シミュレーションとトレーニング軍事訓練シミュレーターは、兵士が戦術訓練を行い、戦闘をシミュレーションするために、複雑な都市環境や戦場地形を生成する。
• 建築と都市計画都市計画担当者は、最新の都市設計案に基づいて、新しい住宅地、ビジネスセンター、公園などを含む3D都市モデルを迅速に作成し、一般公開や意見収集に活用する。