FabricDiffusion - Googleがカーネギーメロン大学と共同開発した、高精度な3D衣服生成技術。

ファブリックディフュージョンとは何ですか？

Googleとカーネギーメロン大学が共同開発した高精細3D衣服生成技術「FabricDiffusion」は、実世界の2D衣服画像のテクスチャやプリントを、任意の形状の高品質な3D衣服モデルに転送できます。FabricDiffusionは、ノイズ除去拡散モデルと大規模な合成データセットに基づいて入力テクスチャ画像の歪みを補正し、拡散、粗さ、法線、金属感など、さまざまなテクスチャマップを生成します。また、さまざまな照明条件下で3D衣服の正確な再照明とレンダリングを実現し、優れた性能と汎用性を発揮します。

FabricDiffusionの主な機能

• 高品質なテクスチャ転写2Dの衣服画像からテクスチャとプリントを自動的に抽出し、3Dの衣服モデルに転送します。
• 複数のテクスチャを処理する様々な種類の質感、模様、素材に対応できます。
• 複数のテクスチャマップを生成する拡散マップだけでなく、粗さマップ、法線マップ、金属テクスチャマップも生成できます。
• 様々な照明条件下でのレンダリングさまざまな照明条件下での3D衣服の正確な再照明とレンダリングをサポートします。
• ゼロショット一般化合成画像のみを使用して学習させた場合、実世界の画像にも一般化できる。

FabricDiffusionの技術的原理

• ノイズ除去拡散モデルノイズ除去拡散モデルは、歪んだ入力テクスチャ画像から、歪みのない、タイル状に並べやすいテクスチャ素材を復元する方法を学習するために使用されます。
• 大規模合成データセットモデルの学習のために、10万枚以上の繊維カラー画像、3,800枚のマテリアルPBRテクスチャマップ、7,000枚のプリント、および22個の3D衣類メッシュを含む大規模な合成データセットを構築しました。
• テクスチャ画像補正モデルの学習に基づいて、入力テクスチャ画像の歪みを補正し、物理ベースレンダリング（PBR）マテリアル生成プロセスと密接に統合されたフラットなテクスチャマップを生成します。
• 機能転送: 1枚の衣服画像から、質感パターン、素材特性、詳細なプリントやロゴなど、さまざまな特徴を転送します。
• 正規化とタイル化可能性生成されたテクスチャマップは、衣服のUV空間内で正規化およびタイル化され、既存のPBRマテリアル推定ワークフローとシームレスに統合されます。
• 条件付き生成このモデルは、入力された衣服画像の条件に基づいて対応するテクスチャを生成し、2Dから3Dへの高品質なテクスチャ転送を実現します。

FabricDiffusionプロジェクトの住所

• プロジェクト公式サイト：humansensinglab.github.io/fabric-diffusion
• arXiv技術論文：https://arxiv.org/pdf/2410.01801

FabricDiffusionの応用シナリオ

• バーチャル試着eコマースやファッション小売業界において、バーチャル試着室を作成することで、消費者はオンラインで3Dの服を試着できるようになり、ショッピング体験が向上する。
• ゲームとエンターテイメントゲーム開発においては、リアルな質感を持つ3D衣服を迅速に生成することが可能になり、ゲームキャラクターの視覚的なリアリティを高める。
• 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションでは、ユーザーの没入感を高めるために、リアルな仮想環境とキャラクターを作成します。
• 映画およびテレビ制作映画やテレビ制作においては、特殊効果や衣装デザインの効率を高めるために、衣服の質感を生成または修正する。
• ファッションデザインとプロトタイピングデザイナーは新しいデザインや質感を探求し、衣服のプロトタイプを迅速に作成し、デザインの反復作業を加速させる。