BAG - 香港中文大学とテンセントが共同で開発した、3Dウェアラブル資産生成技術。

BAGとは何ですか？

BAG（Body-Aligned 3D Wearable Asset Generation）は、香港中文大学とテンセントが共同で提案した革新的な3Dウェアラブルアセット生成技術です。マルチビュー画像拡散モデルとControlNetを組み合わせることで、人体の形状と姿勢情報を活用し、衣服やアクセサリーなど、人体に完璧にフィットする3Dウェアラブルアセットを自動生成します。BAGの中核は、マルチビュージェネレーターと3D拡散モデルにあります。まず、マルチビュー画像拡散モデルを使用して、人体にアライメントされたマルチビュー画像を生成します。次に、これらの画像を3D拡散モデルに基づいて3Dアセットに変換します。物理シミュレーションと最適化により、生成されたアセットは人体に自然にフィットし、貫通の問題を回避します。

BAGの主な機能

• マルチビュー画像生成: 多視点画像拡散モデルを使用し、人体の形状と姿勢情報に基づいて、人体に位置合わせされた多視点画像を生成します。
• 3Dアセット生成複数の視点から撮影した画像を3D拡散モデルに入力することで、高品質な3Dウェアラブルアセットを生成します。
• 多様性とパーソナライゼーション単一のアセットから複数のコンポーネントの組み合わせまで、あらゆるものの生成をサポートし、さまざまなシナリオにおける多様なニーズに対応します。
• 高効率適応さまざまな人体モデルに適応するアセットを迅速に生成できるため、仮想衣料試着、ゲーム開発、VRおよびAR分野に適しています。

BAGの技術原則

• 画像拡散モデルを表示BAGはまず、多様性と汎化能力を実現するために、大規模なObjaverseデータセットで学習させた、単一画像から一貫性のあるマルチビュー画像への拡散モデルを構築します。このモデルはControlNetによって誘導され、人体に位置合わせされたマルチビュー画像を生成します。制御信号は、対象となる人体のマルチビュー2D投影を利用し、ピクセル値は正規化空間における人体表面のXYZ座標を表します。
• 3D形状生成生成されたマルチビュー画像は、ローカル3D拡散モデルに入力され、アセットの3D形状が生成されます。マルチビュー輪郭監視下で類似変換（Sim3）が復元され、生成された3Dアセットが人体モデルと空間的に整合していることが保証されます。
• 物理シミュレーションと最適化生成された3Dアセットが人体に自然にフィットするように、BAGは物理シミュレーション技術を用いて、アセットと人体との干渉問題を解決しています。布シミュレーションの代表としてプロキシメッシュを用いることでアセットの基本形状を保持し、最終的に干渉のないアライメントを実現しています。

BAGのプロジェクト住所

• プロジェクト公式サイト：https://bag-3d.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2501.16177

BAGの応用シナリオ

• バーチャル試着BAGは、ユーザーの体型モデルに基づいて、適切な3Dの服やアクセサリーを素早く生成できます。ユーザーは仮想環境で様々なスタイルやデザインの服をリアルタイムで試着できるため、ショッピング体験が向上し、サイズ違いによる返品率を低減できます。
• ゲーム開発ゲーム開発において、BAGはゲームキャラクター用の多様な衣服やアクセサリーを生成するために使用でき、パーソナライズされたカスタマイズをサポートし、プレイヤーのキャラクター体験を豊かにします。
• 仮想現実（VR）と拡張現実（AR）BAGで生成された3Dアセットは、VRやARアプリケーションにシームレスに統合でき、ユーザーに没入感のある服の試着とデザイン体験を提供し、仮想ショールームでさまざまなスタイルの服を試着できるようにします。
• ファッションデザインデザイナーはBAGを使用することで、3D服飾モデルを迅速に生成・反復し、デザインプロセスを加速させ、仮想環境でデザイン効果をプレビューし、デザインコストを削減できます。