TANGLED - 上海科技大学と華中科技大学が共同開発した3Dヘアスタイル生成手法。

「塔の上のラプンツェル」とは何ですか？

TANGLEDは、上海科技大学、Deemos Technology、華中科技大学が共同開発した3Dヘアスタイル生成手法です。あらゆるスタイルと視点の画像から、高品質な3Dヘアストランドを生成できます。TANGLEDは、3つの主要なステップに基づいています。まず、多様なMultiHairデータセットを使用して豊富なヘアスタイルサンプルを提供します。次に、マルチビュー線画の拡散フレームワークに基づいた線画特徴の相互注意を使用して、ヘアスタイルのトポロジー構造を捉えます。最後に、パラメトリック後処理モジュールを使用して、複雑なヘアスタイル（三つ編みなど）の詳細を復元します。TANGLEDは、ヘアスタイルのリアリズムと多様性を向上させ、文化的に包括的なデジタルキャラクターの作成をサポートし、アニメーションや拡張現実などの分野に新たな応用可能性をもたらします。

TANGLEDの主な機能

• 多様なヘアスタイルの世代三つ編み、カール、伝統的なヘアスタイルなど、さまざまな複雑なヘアスタイルに対応しています。
• マルチビュー入力対応入力として、単一ビュー画像または複数ビュー画像を受け付けます。
• 柔軟な入力スタイル写真、手描きのスケッチ、漫画、油絵など、多様な入力スタイルに対応しており、さまざまなアプリケーションシナリオのニーズを満たします。
• 文化的包括性カールや三つ編みなど、これまであまり注目されてこなかった髪質や複雑な形状に特に注意を払い、文化的に意義のあるヘアスタイルの創出を支援する。
• 高効率統合生成された3Dヘアスタイルは、BlenderやUnreal Engineなどの既存のCGワークフローに直接統合できます。

TANGLEDの技術原理

• NeuraPressMultiHairデータセットこのデータセットには、複雑で文化的に重要なスタイルを中心に、74の属性が付与された457種類の多様なヘアスタイルが収録されています。多様性は、マルチビューレンダリングと線画抽出によって強化され、詳細なテキスト注釈はGPT-4を用いて生成されています。
• 拡散フレームワークマルチビュー線画に基づく拡散モデルは、ヘアスタイルのトポロジー構造（髪の密度や分け目など）を捉えます。線画の特徴はDINOv2を使用して抽出され、クロスアテンションメカニズムに基づいて拡散モデルに統合されます。異なる視点からの線画の特徴はランダムに混合され、さまざまな入力スタイルや視点へのモデルの適応性を高めます。
• パラメータ化された後処理モジュールパラメトリックモデリングと復元技術は、複雑なヘアスタイル（例えば、三つ編み）向けに設計されています。フレネ・セレフレームワークを用いて三つ編みの形状を生成し、アテンションメカニズムに基づいて自然にヘアスタイルに統合します。ラプラシアン平滑化技術を用いて高周波ノイズを低減し、ヘアスタイルの幾何学的整合性と視覚的な魅力を確保します。

TANGLEDのプロジェクトアドレス

• プロジェクト公式サイト：https://sites.google.com/view/tangled
• arXiv技術論文：https://arxiv.org/pdf/2502.06392v1

TANGLEDの応用シナリオ

• 文化的多様性を考慮した仮想キャラクター作成多様なヘアスタイルを生成し、異なる文化的背景を持つバーチャルキャラクターのデザインをサポートします。
• アニメーションヘアスタイルデザインスケッチから3Dヘアスタイルを生成することで、アニメーション制作の効率を向上させます。
• 拡張現実（AR）ヘアスタイルのプレビューAR技術を組み合わせることで、ユーザーはさまざまなヘアスタイルを仮想的に試着できるようになります。
• バーチャルメイクアップ試着アプリ購入前にヘアスタイルの効果をプレビューするのに役立ちます。
• スケッチベースの3Dヘア編集修正したスケッチに基づいてヘアスタイルを素早く調整できるため、クリエイティブなデザイン分野に適している。