GeneMAN - 上海AI研究所と北京大学などが共同開発した、3D人体モデル作成フレームワーク。 - AiBoss

GeneMANとは何ですか？

GeneMANは、上海AI研究所、北京大学、南洋理工大学、上海交通大学が共同開発した3D人体生成フレームワークです。1枚の画像から高精度の3D人体モデルを作成できます。このフレームワークはパラメトリック人体モデルに依存せず、3Dスキャン、マルチビュー動画、単一写真、合成データなど、複数のソースから得られた高品質な人体データセットを用いて、人体固有の2Dおよび3D事前モデルを学習します。GeneMANは、画像内の人体のプロポーション、ポーズ、服装のバリエーションに関わらず、幾何学的初期化、スカルプティング処理、およびマルチ空間テクスチャ精緻化技術に基づいて、自然環境画像データから高品質な3D人体モデルを抽出するという目標を達成します。

GeneMANの主な機能

多様な体格の人を扱う画像に写っている人物が全身像、半身像、またはクローズアップ像のいずれであっても、GeneMANは対応する3Dモデルを再構築できます。
さまざまな服装や姿勢に適応するGeneMANは、自然なポーズや身近な物など、さまざまな衣服や身体のポーズに対応できます。
処理中のフィールド画像GeneMANは、さまざまな複雑な背景や照明条件を含む可能性のある、自然環境から得られる画像、いわゆる「フィールドデータ」の処理に優れています。
高品質なテクスチャを生成するGeneMANは、マルチスペーステクスチャ精緻化プロセスに基づいて、詳細に富み、入力画像と整合性の取れた3D人体テクスチャを生成することができます。

GeneMANの技術原理

2Dおよび3Dの人間の事前モデルのトレーニング：
- テキストから画像への拡散モデル人間特有のテキストから画像への拡散モデルを訓練し、2次元の人間の事前分布を生成する。
- 条件拡散モデルの表示視点条件付き拡散モデルを訓練して、3D人間の事前分布を生成する。
幾何学的初期化および彫刻プロセス：
- テンプレート不要のジオメトリ初期化NeRF（ニューラル放射場）技術を用いて、テンプレートを使用しない3Dジオメトリを初期化します。
- 過去の知識と損失を組み合わせる: GeneMANの2Dおよび3D事前分布を構造化差分損失（SDS損失）と組み合わせることで、形状の初期化をガイドします。
- 参照損失参照損失を使用して、入力画像との位置合わせを確実にします。
- 高解像度精製: 事前学習済みの人体固有の法線と深度適応型拡散モデルに基づいて、NeRFをDMTEt（深度多面体メッシュ）に変換し、高解像度の幾何学的精緻化を行います。
マルチスペーステクスチャ精緻化プロセス：
- 粗いテクスチャの生成マルチビューテクスチャ技術を用いて、粗いテクスチャを生成する。
- 空間の改良の可能性潜在空間におけるテクスチャを繰り返し洗練させる。
- ピクセル空間の精緻化: 詳細なテクスチャは、最適化されたUVマップに基づいてピクセル空間で取得され、2D事前情報に基づくControlNetを使用して最適化されます。

GeneMANのプロジェクトアドレス

プロジェクト公式サイト：roooooz.github.io/GeneMAN
GitHubリポジトリ：https://github.com/roooooz/GeneMAN（近日中にオープンソース化予定）
arXiv技術論文：https://arxiv.org/pdf/2411.18624

GeneMANの応用例

バーチャル試着ユーザーは全身写真をアップロードして3Dモデルを生成し、オンラインで服を試着することで、よりリアルな着心地を体験できる。
ゲームとエンターテイメントゲームや映画制作において、より個性的でリアルなキャラクターデザインを実現するために、キャラクターモデルを作成または修正する。
拡張現実（AR）と仮想現実（VR）ARおよびVRアプリケーションでは、ユーザーの3Dアバターを生成することで、没入感とインタラクティブ性を向上させます。
ファッションデザインデザイナーはデザインスケッチを素早く3Dモデルに変換できるため、デザインプロセスを加速できます。
フィットネスと健康管理ユーザーの3Dモデルの分析に基づき、パーソナライズされたフィットネス指導と健康アドバイスを提供します。