ClotheDreamer - 上海大学がテンセントおよび他の大学と共同で開発した3D衣服生成技術。 - AiBoss

ClotheDreamerとは何ですか？

ClotheDreamerは、上海大学、上海交通大学、復旦大学、およびテンセントYouTu Labが共同開発した3D衣服生成技術です。テキストによる説明に基づいて、高精細な着用可能な3D衣服アセットを生成できます。ClotheDreamerは3D Gaussianを基盤とし、衣服と人体を最適に分離するためにDisentangled Clothes Gaussian Splatting（DCGS）を採用し、衣服のレンダリング品質を向上させるために双方向Score Distillation Sampling（SDS）を採用しています。ClotheDreamerはカスタム衣服テンプレートをサポートしており、生成された衣服をさまざまな体型に適応させることができるため、仮想試着や物理的に正確なアニメーションに適しています。

ClotheDreamerの主な機能

テキスト駆動型3D衣服生成テキストによる説明に基づいて、対応する3D衣服モデルを自動的に生成します。
高忠実度レンダリング生成された3D衣服は、非常に高いディテールとリアリティを備えている。
着用性生成された服のモデルは着用可能で、バーチャル試着に使用できます。
物理的に正確なアニメーション生成された衣服に対して、物理的に正確なアニメーション効果をサポートします。
カスタムテンプレート入力ユーザーが独自の服のテンプレートをアップロードして、パーソナライズされた3D服を生成する機能をサポートしています。
さまざまな体型に適応可能生成された衣服は、さまざまな体型の仮想キャラクターにフィットさせることができる。

ClotheDreamerの技術原則

Disentangled Clothe Gaussian Splatting (DCGS)衣服と人体をガウスモデルとして表現する新しい表現方法であり、独立した最適化とレンダリングをサポートする。
双方向スコア蒸留サンプリング（SDS）事前学習済みの2D拡散モデルは、3D衣服と人体のレンダリングを最適化するために使用され、衣服と人体のRGBDレンダリングにそれぞれガイダンスを提供することで、生成されるデータの品質を向上させます。
テキスト記述の解析言語モデル（ChatGPTなど）を使用してテキスト記述を解析し、衣服の種類と特性を判断し、衣服モデルの初期化の基礎を提供する。
ゼロショット学習特定の種類の衣服が表示されない場合は、対応する3D衣服モデルを生成します。
新しい剪定戦略提案されたゆったりとした衣服のトリミング戦略は、最適化プロセス中に有用なガウス点が誤って削除されることを回避し、衣服の完全性を維持する。
テンプレートに基づいた衣服生成カスタムの服飾テンプレートメッシュを使用して3D服飾の生成をガイドすることで、生成プロセスのパーソナライズと実用性を向上させます。

ClotheDreamerのプロジェクトアドレス

プロジェクト公式サイト：ggxxii.github.io/clothedreamer
GitHubリポジトリ：https://github.com/ggxxii/clothedreamer
arXiv技術論文：https://arxiv.org/pdf/2406.16815

ClotheDreamerの応用事例

ファッションデザインデザイナーは3D服飾モデルを迅速に生成・反復できるため、デザインプロセスを加速させ、仮想環境でデザイン効果をプレビューできます。
バーチャル試着eコマースでは、顧客は仮想環境で服を試着できるため、ショッピング体験が向上し、返品率が低下する。
ゲームとエンターテイメントゲーム開発者は、ゲームキャラクターのために多様な衣装をデザインし、より豊富で個性的なキャラクターカスタマイズの選択肢を提供している。
映画およびアニメーション制作映画・アニメーション業界では、3Dコスチュームの迅速な生成とアニメーション化により、制作効率が向上し、コスト削減につながる。
仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションでは、ユーザーに没入感のある服の試着とデザイン体験を提供する。