Fancy123 - 華中科技大学と華南理工大学が発表した3Dメッシュ生成技術 - AiBoss

Fancy123とは何ですか？

Fancy123は、華中科技大学と華南理工大学が共同開発した3Dメッシュ生成技術です。プラグアンドプレイ方式のモーフィング技術に基づき、単一画像から高品質な3Dメッシュを生成します。この手法は、2つの強調モジュールとバックプロジェクション演算で構成されており、それぞれマルチビュー画像の局所的な不整合の解消、入力画像に対するメッシュの忠実度の向上、高解像度の確保を実現しています。外観強調モジュールは、モーフィングされた2Dマルチビュー画像に基づいてピクセルを整列させ、忠実度強調モジュールは、入力画像とモーフィングされた3Dメッシュをマッチングさせます。Fancy123は、定性的および定量的実験の両方において顕著な性能向上を示しており、既存の単一画像から3Dへの変換手法にシームレスに統合できます。

Fancy123の主な機能

1枚の画像から3Dメッシュを生成する単一のRGB画像から、視覚的に魅力的で、色の鮮明さ、入力忠実度に優れた3Dメッシュモデルを生成します。
マルチビュー画像における局所的な不整合の解決外観強調モジュールに基づき、2Dマルチビュー拡散モデルによって生成された画像における不整合が修正され、マルチビューの一貫性が向上する。
入力画像におけるグリッドの精度を向上させる。忠実度向上モジュールに基づいて、3Dメッシュが入力画像により正確に一致するように調整され、メッシュと入力画像の類似性が向上します。
高解像度を確保バックプロジェクション演算に基づいて、入力画像と変形されたマルチビュー画像がLRMによって生成されたメッシュに投影され、メッシュの色の鮮明度が向上し、ぼやけ効果が除去されます。

Fancy123の技術原則

マルチビュー拡散モデル入力画像に基づいて、2次元マルチビュー拡散モデルを用いて、複数の視点からの画像セットを生成します。
大規模再構築モデル（LRM）LRMを使用して、マルチビュー画像から初期3Dメッシュを迅速に再構築します。
外観向上モジュール：マルチビュー画像における位置ずれピクセルのメッシュベースの2D変形フィールドアライメントを最適化します。変形されたマルチビュー画像は元のメッシュに逆投影され、外観品質が向上し、ゴースト効果が軽減されます。
忠実度向上モジュールメッシュは、入力画像に近づけるために、パラメトリックメッシュ変形（ヤコビアン場を使用）に基づいて最適化されます。変形中も入力画像との対応関係を維持するために、入力画像のカメラパラメータが推定されます。
バックプロジェクション操作2Dおよび3D変形後、Fancy123は逆投影演算を実行し、入力画像と変形されたマルチビュー画像をメッシュにほぼロスレスでマッピングすることで、メッシュの色の鮮明度を向上させます。
プラグアンドプレイモジュールFancy123の2つの拡張モジュールはプラグアンドプレイ方式で設計されており、推論時に動作し、既存のさまざまな単一画像から3Dへの変換手法へのシームレスな統合をサポートします。

Fancy123のプロジェクトアドレス

GitHubリポジトリ：https://github.com/YuQiao0303/Fancy123
arXiv技術論文：https://arxiv.org/pdf/2411.16185

Fancy123の応用事例

仮想現実（VR）と拡張現実（AR）VRやARアプリケーションでは、既存の2D画像から3Dモデルを作成するために使用され、より没入感のある体験を提供する。
ゲーム開発ゲームデザイナーは3Dゲームアセットを迅速に生成できるため、手作業によるモデリングにかかる時間とコストを削減できます。
映画およびアニメーション制作アーティストは、映画やアニメーション制作で使用するための複雑な3Dキャラクターやシーンを作成する。
3Dプリンティング2Dデザインや写真を3Dモデルに変換し、おもちゃや美術品など様々なアイテムの3Dプリントに使用します。
電子商取引Eコマースプラットフォームは、製品の3D表示を提供することで、消費者が製品をより直感的に理解できるように支援している。