project
UniRig - 清華大学とVASTがオープンソース化した、汎用的な自動スケルトンリギングフレームワーク。
UniRigは、清華大学コンピュータサイエンス学部とVASTが共同開発した革新的な自動スケルトンリギングフレームワークで、複雑で多様な3Dモデルの処理に使用されます。大規模な自己回帰モデルとボーンポイントのクロスアテンションメカニズムに基づいて、高品質なスケルトンリギングを生成します。
UniRigとは何ですか？
UniRigは、清華大学コンピュータサイエンス学部とVASTが共同開発した革新的な自動スケルトンリギングフレームワークで、複雑で多様な3Dモデルの処理に使用されます。大規模な自己回帰モデルとボーンポイントのクロスアテンションメカニズムに基づいて、高品質なボーン構造とスキニングウェイトを生成します。このフレームワークは、複数のカテゴリを網羅する14,000以上の3Dモデルを含むRig-XLデータセットをトレーニングと評価に活用します。UniRigは、スケルトンリギング精度とモーション精度の両面で既存の学術的および商用手法を大幅に上回り、アニメキャラクターから複雑な有機・無機構造まで、さまざまなオブジェクトカテゴリにシームレスに適用できるため、アニメーション制作の効率を大幅に向上させます。
UniRigの主な機能
- 自動骨格生成様々な3Dモデル（人間、動物、架空のキャラクターなど）に対して、トポロジー的に正しい骨格ツリーを生成します。
- 皮膚重量予測メッシュの頂点に対する各ボーンの影響度を予測し、スケルタルアニメーションの駆動下でメッシュが自然に変形するようにします。
- 多様なモデルを支援する複雑な有機構造や無機構造を含む、様々な3Dモデルに適しています。
- 高効率アニメーション制作アニメーション制作の効率を向上させ、手作業にかかる時間と作業量を削減する。
- 動的効果のサポート物理シミュレーションをサポートする骨の特性（バネ状の骨など）を生成します。
UniRigの技術原則
- 骨格樹のマークアップ骨格ツリー構造はシリアル化されたラベルに変換され、自己回帰モデルによる効率的な処理を容易にします。骨の種類（バネ骨、テンプレート骨など）を表す特別なラベル（<type>など）に基づいて、深さ優先探索（DFS）アルゴリズムを使用して、骨格構造をコンパクトに表現する線形骨チェーンを抽出します。骨アイビーツリーラベリングは、シーケンス長を短縮し、モデルのトレーニングと推論の効率を向上させることができる。
- 自己回帰モデルこの手法では、Transformer（Skeleton Tree GPTなど）に基づく自己回帰モデルを用いて、スケルトンツリーを予測します。モデルはラベルを一つずつ生成してスケルトンツリーを構築し、生成されたスケルトン構造がトポロジー的に妥当であることを保証します。モデルの入力には、3Dメッシュからサンプリングされた点群とオプションのカテゴリ情報が含まれ、出力はスケルトンツリーを表すラベルのシーケンスです。
- 骨格点交差注意機構点群エンコーダと骨格エンコーダに基づいて、点群と骨格木の特徴をそれぞれ抽出し、クロスアテンション機構を用いてこれらの特徴を組み合わせることで、スキニングの重みを予測する。
- 大規模データセットUniRigの学習と評価のために、研究者たちは複数のカテゴリを網羅する14,000以上の3Dモデルを含むRig-XLデータセットを構築しました。このデータセットの多様性と規模により、UniRigはさまざまな種類の骨格構造とスキニングウェイトを学習することができ、モデルの汎化能力が向上します。
- 物理シミュレーション支援型トレーニングこの手法では、トレーニング中に物理シミュレーションを取り入れ、重力や弾性などの物理的な力の下での骨の動きをシミュレーションすることで、予測されたスキニングウェイトと骨の特性の妥当性を評価します。間接的な監視によってモデルは現実的なスキニングウェイトを学習し、アニメーションのリアリティを向上させます。
UniRigのプロジェクトアドレス
- プロジェクト公式サイト：https://zjp-shadow.github.io/works/UniRig/
- GitHubリポジトリ：https://github.com/VAST-AI-Research/UniRig
- ハギングフェイスモデルライブラリ：https://huggingface.co/VAST-AI/UniRig
- arXiv技術論文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf
UniRigの活用事例
- アニメーション制作ボーンとスキニングウェイトを迅速に生成することで、手作業を減らし、アニメーション制作の効率を向上させます。
- バーチャルキャラクター仮想キャラクター（VTuberなど）向けに、自然で滑らかな骨格リギングを生成し、リアルタイムアニメーションをサポートします。
- ゲーム開発キャラクターやオブジェクトの骨格リギングを迅速に生成し、動的なエフェクトをサポートし、ゲームの視覚体験を向上させます。
- 3Dコンテンツ制作建築設計、工業デザインなどに適用可能で、多様な3Dモデルのスケルトンリギングをサポートします。
- 教育教育ツールとして、学習者がスケルタルアニメーションの基本概念を素早く理解するのに役立ちます。