MagicArticulate - 南洋理工大学とByteDanceが開発した、静的な3Dモデルから骨格を生成するためのフレームワーク。

MagicArticulateとは何ですか？

MagicArticulateは、南洋理工大学とByteDance Seed Labsが共同開発したフレームワークで、静的な3Dモデルをアニメーション可能なアセットに自動的に変換します。自己回帰的なスケルトン生成とスキニングウェイトの予測に基づき、MagicArticulateはリアルなアニメーションを実現します。33,000を超える高品質な関節注釈付き3Dモデルを含むArticulation-XLデータセットを統合し、異なるモデル間での骨数や依存関係の変動を自然に処理する自己回帰型Transformerベースのスケルトン生成手法を採用しています。MagicArticulateは、多様なオブジェクトカテゴリにおいて既存の手法を大幅に上回り、3Dモデルアニメーションのための効率的かつ高品質なソリューションを提供します。

MagicArticulateの主な機能

• 自動骨格生成モデルに適した骨格構造を自動的に生成し、モデルごとに異なる数の骨や関節の依存関係をサポートします。
• 皮膚重量予測頂点と関節間の予測されたスキンウェイトに基づいて、モデル表面と骨格間の結合が実現されます。
• 高品質アニメーション生成された骨格と皮膚のウェイトは、リアルなアニメーション効果をサポートし、さまざまな3Dモデルやアプリケーションシナリオに適しています。
• 大規模データサポート33,000点以上の高品質な注釈付き3Dモデルを含むArticulation-XLデータセットは、関連技術の開発と検証を促進するために公開されました。

MagicArticulateの技術的原理

•  自己回帰的骨格生成：
  • 点群のサンプリングとエンコーディング入力された3Dモデルの表面から点群をサンプリングし、点を固定長の形状トークンにエンコードして、モデルの幾何学的特徴とトポロジー構造を捉えます。
  • 骨格配列モデリング形状マーカーは骨格マーカーの先頭に追加され、自己回帰型トランスフォーマーに基づいて段階的に骨格シーケンスが生成されます。自己回帰モデルは、以前に生成されたコンテンツをコンテキスト情報として使用し、各ステップで1つの骨または関節を生成し、骨の数の変化や異なるモデル間の依存関係を自然に処理します。
  • 変圧器の利点Transformerの並列処理能力とアテンションメカニズムは、グローバルな依存関係を効率的に捉えることができ、また、その自己回帰生成方法は、複雑さの異なる骨格構造に柔軟に対応できる。
• 皮膚重量予測皮膚の重み分布は、拡散モデルに基づいて段階的に最適化されます。拡散プロセスはノイズから始まり、ノイズ除去プロセスと同様に、頂点と関節間の重み関係を徐々に回復していきます。皮膚の重みを予測する際には、頂点と関節間の体積測地距離が事前情報として導入されます。拡散モデルは、大量のラベル付きデータ（Articulation-XLデータセットなど）でトレーニングされ、さまざまな3Dモデルの皮膚の重み分布パターンを学習します。
• 大規模データセットのサポートこのデータセットには、高品質な関節アノテーションが付いた33,000以上の3Dモデルが含まれています。このデータはモデル学習のための豊富な教師データを提供し、骨格生成モジュールとスキニング重量予測モジュールが異なるモデル間で共通するパターンを学習し、多様なシナリオで優れた性能を発揮することを可能にします。

MagicArticulateのプロジェクトアドレス

• プロジェクト公式サイト：https://chaoyuesong.github.io/MagicArticulate/
• GitHubリポジトリ：https://github.com/Seed3D/MagicArticulate
• arXiv技術論文：https://arxiv.org/pdf/2502.12135

MagicArticulateの応用事例

• 3Dアニメーション制作静的モデルをアニメーション可能なアセットに迅速に変換できるため、手動でのボーンのバインドやスキニングの作業量を削減し、アニメーション制作の効率を向上させることができます。
• ゲーム開発ゲームキャラクターや小道具の骨格とスキニングウェイトを生成し、リアルタイムアニメーションレンダリングをサポートし、ゲーム開発の効率とアニメーション効果を向上させます。
• VR/AR仮想環境における没入感とインタラクティブな体験を向上させるため、インタラクティブでダイナミックな3Dモデルを生成します。
• 工業デザインと3Dプリンティングこれにより、設計者は可動ジョイントモデルを迅速に生成し、製品の動作機能を最適化し、設計コストを削減できます。
• 人工知能とロボット工学ロボットの動作シミュレーションやAIモデルのトレーニング、関節動作の最適化、アルゴリズム開発などに使用されます。