project
Unique3D - 清華大学が開発した、オープンソースの画像から3Dを生成する生成モデル。
Unique3Dは、清華大学が開発した、単一画像を3Dモデルに変換するためのオープンソースフレームワークです。マルチビュー拡散モデルとノーマル拡散モデルを組み合わせ、効率的なマルチレベルアップサンプリング戦略を用いることで、単一画像を3Dモデルに変換できます。
Unique3Dとは何ですか？
Unique3Dは、清華大学が開発した、単一画像を3Dモデルに変換するためのオープンソースフレームワークです。マルチビュー拡散モデルとノーマル拡散モデルを組み合わせ、効率的なマルチレベルアップサンプリング戦略を採用することで、単一画像から高精細でテクスチャ豊かな3Dメッシュを高速に生成できます。さらに、ISOMERアルゴリズムと組み合わせることで、生成される3Dモデルの幾何学的および色彩の一貫性と精度が保証されます。単一ビュー画像から3Dモデルへの変換をわずか30秒で完了でき、InstantMesh、CRM、OpenLRMなどの画像から3Dモデルへの変換ツールよりも優れた結果が得られます。
独自の3D機能
- 単一画像からの3Dメッシュ生成Unique3Dは、単一の2D画像から3Dメッシュモデルを自動的に生成し、平面画像を空間的な奥行きを持つ3次元形状に変換することができます。
- マルチビュー生成このシステムは、マルチビュー拡散モデルを用いて、同一物体の4つの直交ビュー画像を生成します。これらのビューは、物体の特徴を異なる方向から捉え、3D再構成のための包括的な遠近情報を提供します。
- 法線マップの生成Unique3Dは、各マルチビュー画像に対応する法線マップを生成します。これらのマップは、オブジェクトの表面の向きに関する情報を記録しており、これは後続の3Dモデルレンダリングにとって非常に重要です。これらのマップは、光が表面とどのように相互作用するかをシミュレートし、モデルのリアリティを高めることができます。
- マルチレベル解像度向上生成された画像の解像度は、低解像度から高解像度（例えば、256×256から2048×2048）へと、多段階のアップサンプリング処理によって徐々に向上し、3Dモデルの質感やディテールがより鮮明になります。
- 幾何学的ディテールとテクスチャディテールの統合再構築プロセスにおいて、Unique3Dは色情報と形状を密接に統合することで、生成された3Dモデルが元の2D画像と視覚的に一貫性を保ちつつ、複雑な幾何学的構造と豊かな質感の詳細を備えるようにします。
- 高忠実度出力生成された3Dモデルは、形状、質感、色において入力された2D画像と非常に高い一致性を示し、幾何学的精度と質感の豊かさの両面で高い忠実度を実現している。
Unique3Dの公式サイトへの入り口
- 公式プロジェクトホームページ：https://wukailu.github.io/Unique3D/
- GitHubリポジトリ:https://github.com/AiuniAI/Unique3D
- オンラインデモ体験：https://u45213-bcf9-ef67553e.westx.seetacloud.com:8443/
- Hugging Face Demo：https://huggingface.co/spaces/Wuvin/Unique3D
- モデルの重みをダウンロード：https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
- arXivの技術論文：https://arxiv.org/abs/2405.20343
Unique3Dの技術原則
- マルチビュー拡散モデルこの技術は、拡散モデルを利用して、単一視点画像から多視点（通常は4つの直交視点）画像を生成します。これらのモデルは、トレーニングを通じて2D画像の分布を学習し、それを3D空間に拡張することで、異なる視点からの画像を生成します。
- 通常の拡散モデルこれは、マルチビュー拡散モデルと連携して、生成された各ビュー画像に対応する法線マップを生成します。これらの法線マップには、表面法線の方向情報が含まれており、これは後続の3D再構成にとって非常に重要です。
- 多段階アップサンプリング処理生成画像の解像度を段階的に向上させるために、多段階アップサンプリング戦略が採用されています。最初に生成された画像は低解像度ですが、アップサンプリング技術によって徐々に高解像度化され、より鮮明なディテールが得られます。
- イソマーメッシュ再構築アルゴリズム高解像度マルチビューRGB画像と法線マップから3Dメッシュを再構築するための効率的なメッシュ再構築アルゴリズム。ISOMERアルゴリズムには以下が含まれます。
- 初期メッシュ推定：3Dオブジェクトの概略的なトポロジーと初期メッシュを迅速に生成します。
- 粗密メッシュ最適化：反復的な最適化プロセスを通じて、メッシュの形状を徐々に改善し、目標形状に近づけていきます。
- 明示的なターゲット最適化：各頂点に対して最適化ターゲットを指定することで、視点の不一致によって生じる問題を解決し、幾何学的詳細の精度を向上させます。
- 色と幾何学的事前統合メッシュ再構築プロセスにおいて、最終モデルの視覚的なリアリズムと精度を向上させるために、色情報と幾何学的情報がメッシュ結果に統合されます。
- 明示的なターゲット各頂点に対して最適化目標を定義します。これは、頂点セットからカラーセットへのマッピング関数であり、頂点カラーの最適化をガイドし、モデルのマルチビューの一貫性を向上させるために使用されます。
- 拡張正則化: 最適化プロセスで使用される手法で、頂点を法線方向に移動させることにより、表面の崩壊を回避し、モデルの整合性を確保する。
- 色補完アルゴリズム不可視領域における色補完のために、可視領域から不可視領域へ色をスムーズに伝播させる効率的なアルゴリズムが使用され、モデル全体を通して色の一貫性が確保されます。