GaussianAnythingは、南洋理工大学のS-Labや上海AIラボなどが開発した3D生成フレームワークです。

GaussianAnythingとは何ですか？

GaussianAnythingは、南洋理工大学S-Labが上海AIラボをはじめとする複数の機関と共同で開発した3D生成フレームワークです。インタラクティブな点群構造化潜在空間とカスケードフローマッチングモデルに基づき、高品質でスケーラブルな3Dコンテンツ生成を実現します。点群、テキスト、シングルビュー/マルチビュー画像など、マルチモーダルな条件付き入力をサポートし、ジオメトリとテクスチャを分離した3Dアセットを生成することで、後々の編集を容易にします。GaussianAnythingは、テキスト誘導型と画像誘導型の両方の3D生成タスクにおいて、既存の手法を凌駕し、より優れた3Dの一貫性と生成結果を実現します。

GaussianAnythingの主な機能

マルチモーダル条件付き入力点群、テキスト記述、単一/複数視点画像など、複数の入力形式をサポートしています。
高品質な3D生成豊富なディテールと高品質な表面を備えた3Dモデルを生成し、さまざまな解像度と詳細レベルでの出力をサポートします。
非常に効率的な3D編集機能生成された3Dモデルの形状調整やテクスチャの置換など、柔軟な編集に対応しています。
複数の出力フォーマットに対応生成された3Dモデルは、さまざまなアプリケーションシナリオのニーズに合わせて、点群、サーフェルガウス面、または三角形メッシュとしてエクスポートできます。

GaussianAnythingの技術的原理

3D VAEエンコーダーマルチビューRGB-D（深度）およびノーマル（Normal）レンダリングマップを入力として使用し、3Dアテンショントランスフォーマーエンコーダを使用して、3Dオブジェクトを点群によって構造化された潜在空間に圧縮します。これにより、豊富な3D幾何学的情報とテクスチャ情報が保持され、潜在空間の次元が削減され、トレーニング効率が向上します。
点群構造化潜在空間クロスアテンションに基づき、特徴量を疎な3D点群に投影して構造化された点群を持つ潜在変数を形成し、3Dオブジェクトの幾何学的情報を保持し、3D拡散モデルの効率的なトレーニングをサポートします。
カスケード拡散モデル：
- フェーズ1疎な点群を生成し、3Dオブジェクトの幾何学的配置を決定する。
- 第2段階セクション：点群条件に基づいてテクスチャの詳細を生成し、ジオメトリとテクスチャの分離を実現します。
高品質デコーダー点群の潜在変数は、3Dトランスフォーマーとアップサンプリングモジュールを使用して高解像度のガウス曲面に段階的にアップサンプリングされ、最終的に高密度の3Dモデルにデコードされます。

GaussianAnythingのプロジェクトアドレス

プロジェクト公式サイト：https://nirvanalan.github.io/projects/GA/
GitHubリポジトリ：https://github.com/NIRVANALAN/GaussianAnything
arXiv技術論文：https://arxiv.org/pdf/2411.08033
オンラインでデモを体験してください：https://huggingface.co/spaces/yslan/GaussianAnything

GaussianAnythingの応用シナリオ

3Dゲームと映画の特殊効果高品質な3Dモデルを迅速に生成し、コンテンツ制作プロセスを簡素化します。
仮想現実（VR）と拡張現実（AR）没入感を高めるために、仮想シーンやオブジェクトを作成します。
工業デザインと製品開発テキストや画像に基づいて、3Dデザインのプロトタイプを素早く生成・編集できます。
文化遺産と建築ビジュアライゼーションこれは、デジタル保存および展示に利用できる3D再構築および修復を可能にする。
ロボット工学とAIのトレーニングロボットビジョンおよびAIモデルのトレーニング用の3Dデータを生成する。