Hi3DGen - 香港中文大学、ByteDance、清華大学が共同開発した3Dジオメトリ生成フレームワーク。

Hi3DGenとは何ですか？

Hi3DGenは、香港中文大学、深圳中文大学、ByteDance、清華大学の研究者らが共同開発した、高精度3Dジオメトリ生成フレームワークです。2D画像から高精度3Dモデルを生成できます。Hi3DGenは、法線マップを中間表現として使用することで、豊富な幾何学的詳細を生成し、既存の手法を大幅に凌駕します。このフレームワークは、画像から法線への推定器、法線からジオメトリへの学習手法、および3Dデータ合成パイプラインという3つの主要コンポーネントで構成されています。

Hi3DGenの主な機能

• 2D画像から高精細な3Dモデルを生成する2D画像を、詳細な情報を含む3D幾何モデルに変換できます。
• 画像から法線への推定ノイズを注入し、2つのストリームを学習させることで、低周波と高周波の画像モードを分離し、汎用性、安定性、鮮明さを備えた法線推定を実現します。
• 法線から幾何学を学ぶ法線正則化に基づく潜在拡散学習により、3D形状生成の忠実度を向上させる。
• 3Dデータ合成トレーニングをサポートするために、高品質な3Dデータセットを構築する。

Hi3DGenの技術原理

• 画像から法線への推定器このコンポーネントは、ノイズ注入とデュアルストリーム学習によって、画像の低周波モードと高周波モードを分離します。低周波モードは全体の形状と構造を担い、高周波モードは細部とテクスチャを担います。汎用性が高く、安定した鮮明な法線マップを生成し、後続の3Dジオメトリ生成のための高品質な中間表現を提供します。
• 幾何学学習法の法線潜在拡散モデルは、正則化手法として法線マップを用いて学習されます。これにより、3D形状生成の精度が向上し、生成された3Dモデルがより詳細な情報を保持できるようになります。
• 3Dデータ合成パイプラインこの機能は、3Dデータ合成パイプラインを利用して、モデル学習用の高品質な3Dデータセットを構築します。これにより、モデルが2D画像から3D形状へのマッピング関係を学習できるようになります。
• 2段階生成プロセスHi3DGenは2段階の生成プロセスを採用しています。
  • フェーズ1：基本的なマルチビュー生成事前学習済みのビデオ拡散モデルを、追加のカメラ姿勢条件で微調整することにより、単一視点の画像が低解像度の3D知覚シーケンス画像（軌道ビデオ）に変換されます。
  • フェーズ2：3D知覚マルチビューの改良第1段階で生成された低解像度のマルチビュー画像は、3D知覚ビデオリファイナーに入力され、画像の解像度とテクスチャの詳細をさらに向上させる。
• 3次元ガウス散乱（3DGS）生成された高解像度マルチビュー画像から暗黙的な3Dモデルを学習し、3DGSを介して追加の補間ビューをレンダリングします。
• SDFベースの再構成高品質な3Dメッシュは、SDF（符号付き距離関数）に基づく再構成手法を用いて、高密度に強調された画像から抽出されます。

Hi3DGenのプロジェクトアドレス

• プロジェクト公式サイト：https://stable-x.github.io/Hi3DGen/
• GitHubリポジトリ：https://github.com/Stable-X/Hi3DGen

Hi3DGenの応用事例

• ゲーム開発キャラクター、小道具、シーンなど、高品質な3Dゲームアセットを素早く生成します。
• 映画およびテレビ制作リアルな3D効果やアニメーションを作成するために使用され、従来のモデリングに伴う時間とコストを削減します。
• 3Dビジュアライゼーションこれにより、3Dモデルをさまざまな角度から表示および分析することが可能になり、建築設計や工業デザインなどの分野に適しています。
• バーチャル写真オンラインでの表示やマーケティング用に、さまざまな視点から高品質な画像を生成します。
• 文化財保護文化遺産の一枚の写真から3Dモデルを再構築し、デジタル保存と研究に役立てる。
• 医用画像処理診断や治療を支援するために、医療画像（X線写真やCTスキャンなど）から3Dモデルを生成する。