Sparc3D - 南洋理工大学およびその他の機関によって開発された3Dモデル生成フレームワーク。 - AiBoss

Sparc3Dとは何ですか？

南洋理工大学がSensory Universeおよびインペリアル・カレッジ・ロンドンと共同開発したSparc3Dは、高解像度3Dモデル生成のためのフレームワークであり、従来の3D生成手法におけるディテールの損失と非効率性の問題を解決します。このフレームワークは、疎な変形可能なマーチングキューブ表現（Sparcubes）と疎な畳み込み変分オートエンコーダー（Sparconv-VAE）を組み合わせています。Sparcubesは、元のメッシュを高解像度（1024³）の閉じた曲面に高速に変換し、ディテールを保持しながら計算コストを削減します。Sparconv-VAEは、疎な畳み込みネットワークに基づいて効率的な3D再構成を実現し、複雑なアテンションメカニズムを不要にします。Sparc3Dは、複雑な形状や開いた曲面を扱う3D再構成および生成タスクに優れており、トレーニングと推論のコストを大幅に削減し、高解像度3D生成のための新しいソリューションを提供します。

Sparc3Dの主な機能

高解像度3D再構成: 元のメッシュをディテールを保持したまま、高解像度（1024³）の閉じたサーフェスに素早く変換します。
詳細が保存されています複雑な幾何学的形状を扱う場合、細かい幾何学的ディテールを保持し、細部の損失を防ぐことができます。
効率的な訓練と推論疎な畳み込みネットワークに基づいているため、学習および推論コストを大幅に削減し、生成効率を向上させます。
互換性既存の暗黙的拡散モデル（TRELLISなど）とシームレスに統合し、生成される3Dオブジェクトの解像度を向上させます。
複雑な入力の処理開いた表面、分離した部品、複雑な形状にも対応し、閉じた印刷可能な3Dモデルを生成できます。

Sparc3Dの技術原理

スパーキューブ（疎変形マーチングキューブ）このプロセスでは、入力メッシュから疎なアクティブボクセルを抽出し、計算コストとストレージコストを削減するために表面付近のボクセルのみをサンプリングします。フラッドフィルアルゴリズムを使用してボクセルに大まかな内側ラベルと外側ラベルを割り当て、勾配最適化を使用してSDF（表面深度マップ）をさらに洗練し、ボクセルメッシュが表面により適合するようにします。勾配降下法を使用してボクセルメッシュの頂点位置を最適化し、メッシュがターゲット表面により正確に一致するようにします。微分可能なレンダリング技術をマルチビュー画像、輪郭、または深度マップと組み合わせて使用し、幾何学的詳細をさらに最適化します。
Sparconv-VAE（スパース畳み込み変分オートエンコーダー）Sparcubesのパラメータ（記号距離と変形可能ベクトル）は、疎な潜在特徴としてエンコードされます。デコード中、ボクセル解像度は自己剪定メカニズムに基づいて動的に調整され、元の幾何学的詳細が復元されます。エンコードとデコードは疎なボクセル表現に対して直接実行されるため、表面点からSDFへのモード変換が回避され、情報損失が低減されます。占有率、符号、サイズ、変形可能性、およびKLダイバージェンス損失を最小化することで、効率的なトレーニングと高品質な再構成が実現されます。

Sparc3Dプロジェクトのアドレス

プロジェクト公式サイト：https://lizhihao6.github.io/Sparc3D/
GitHubリポジトリ：https://github.com/lizhihao6/Sparc3D
arXiv技術論文：https://arxiv.org/pdf/2505.14521
オンラインでデモを体験してください：https://huggingface.co/spaces/ilcve21/Sparc3D

Sparc3Dの応用例

仮想現実（VR）と拡張現実（AR）高解像度の3Dモデルを迅速に生成できるため、VRやAR向けのリアルな仮想環境を提供し、没入感を高めることができます。
3Dプリンティング生成された閉じた高解像度3Dモデルは、3Dプリンティングに直接使用できるため、印刷結果の精度と完全性が保証されます。
ゲーム開発高解像度のゲームシーンやキャラクターを迅速に生成できるだけでなく、リアルタイムレンダリングを最適化することで開発時間とコストを削減します。
ロボットシミュレーション高精度な3D環境モデルを提供することで、ロボットが複雑なシナリオにおいてより効果的なシミュレーションと経路計画を実行できるようになる。
映画やテレビの特殊効果およびアニメーション制作高解像度の3Dキャラクターやシーンモデルを迅速に生成できるため、映画やテレビの特殊効果、アニメーション制作における視覚効果を向上させることができます。