3DTopia 2.0 - 上海AI研究所が南洋理工大学と共同で開発した、大規模な3Dオブジェクト生成モデル。 - AiBoss

Scholar's Treasures 2.0とは何ですか？

3DTopia 2.0は、上海人工知能研究所と南洋理工大学が共同開発した大規模3Dオブジェクト生成モデルです。このモデルは、形状、テクスチャ、マテリアル情報をコンパクトなテンソル形式にエンコードする革新的なプリミティブベースの3D表現手法であるPrimXを採用しており、高解像度の幾何モデリングを可能にします。Diffusion Transformerフレームワークに基づき、3DTopia 2.0はテキストまたは画像入力から、物理ベースレンダリング（PBR）特性を備えた高品質な3Dアセットを効率的に生成します。モデルコードはオープンソースで、商用ライセンスも無料で提供されており、ゲーム、映画・テレビ、建築、デザインなどの業界における3Dコンテンツ制作ワークフローに革命をもたらす可能性を秘めています。

Scholar's Treasures 2.0の主な機能

マルチモーダル入力により3Dオブジェクトが生成されるテキストによる説明や画像入力に基づいて、対応する3Dモデルを迅速に生成できます。
高効率な発電プロセスこのモデルは入力データから3Dモデルへの変換を5秒以内に行うことができ、作成効率を大幅に向上させる。
高品質できめ細かい質感生成された3Dオブジェクトは、滑らかな形状と空間的に変化する質感や素材を持ち、実際の物理的な素材の感触に非常に近い。
ゲームエンジンやデザインソフトウェアに直接適用可能生成された3Dモデルは、追加処理なしでゲームエンジンや工業デザインソフトウェアで直接使用できます。
高解像度ジオメトリをサポートPrimX表記法に基づいており、高解像度の3D形状をモデル化できます。

Scholar's Essence 2.0の技術的原理

PrimX表記法新規なプリミティブベースの3D表現手法は、3Dオブジェクトの形状、アルベド、およびマテリアル情報をコンパクトなテンソル形式にエンコードします。各プリミティブは小さなボクセルであり、その3D位置、グローバルスケーリング係数、および対応する空間的に変化するペイロード（SDF、RGB、およびマテリアル情報を含む）によってパラメータ化されます。
オリジナルパッチ圧縮3次元変分オートエンコーダー（VAE）を用いて、各プリミティブの空間情報を圧縮し、潜在的なプリミティブラベルを取得します。このプロセスでは、3次元畳み込み層を用いて、プリミティブのペイロードを高次元空間から低次元の潜在空間に圧縮し、後続の生成モデルへの効率的な入力を提供します。
潜在的原始拡散拡散変換（DiT）フレームワークに基づき、このモデルはランダムノイズからノイズを段階的に除去し、入力条件を満たす潜在的なプリミティブラベルを生成する方法を学習します。このプロセスは物理プロセスにおける拡散とノイズ除去をシミュレートし、高解像度の形状とPBRマテリアルを備えた3Dオブジェクトを生成できます。
微分可能なレンダリングPrimX表記法は微分可能なレンダリングをサポートしており、モデルが2D画像データから直接学習することを可能にするため、既存の画像リソースから学習するモデルの能力が向上します。

「Scholar's Abundance 2.0」のプロジェクトアドレス

GitHubリポジトリ：https://github.com/3DTopia/3DTopia-XL
arXiv技術論文：https://arxiv.org/pdf/2409.12957

Scholar's Abundance 2.0の応用シナリオ

ゲーム開発ゲームデザインにおいては、キャラクター、小道具、環境要素など、さまざまな3Dゲームアセットを迅速に生成できるため、ゲーム開発の効率性と豊かさを向上させることができます。
映画およびアニメーション制作映画やアニメーション用の3Dシーンやキャラクターモデルを作成するために使用され、手作業によるモデリングにかかる時間とコストを削減しながら、より自由な創作活動を可能にします。
仮想現実（VR）と拡張現実（AR）仮想現実および拡張現実アプリケーション向けに、リアルな3D環境とオブジェクトを生成し、ユーザーエクスペリエンスを向上させます。
建築と都市計画建築設計や都市計画において、3Dの建物モデルや都市景観を迅速に生成できるため、設計者や計画担当者がデザインを洗練させ、その効果を示すのに役立ちます。