AnimaX - 北京航空航天大学、清華大学などが共同開発した3Dアニメーション生成フレームワーク。 - AiBoss

AnimaXとは何ですか？

AnimaXは、北京航空航天大学が清華大学、香港大学などと共同で開発した、高効率な3Dアニメーション生成フレームワークです。ビデオ拡散モデルの動きの事前情報とスケルトンベースのアニメーション構造を組み合わせています。このフレームワークは、ビデオから3D領域へ動きの知識を効果的に転送し、任意のスケルトン構造を持つ多様なジョイントメッシュをサポートします。AnimaXは、3Dモーションをマルチビュー、マルチフレームの2Dポーズマップとして表現することを基本としています。ジョイントビデオポーズ拡散モデルを、共有位置エンコーディングとモダリティ認識埋め込みと組み合わせることで、ビデオとポーズシーケンス間の時空間的なアライメントを保証し、高品質な3Dアニメーション生成を実現します。このフレームワークのトレーニングデータセットには、16万のバインディングシーケンスが含まれています。AnimaXは、汎化性能、モーション忠実度、効率性において業界最高水準を達成し、クラスに依存しない3Dアニメーションのためのスケーラブルなソリューションを提供します。

AnimaXの主な機能

任意の骨格構造サポートAnimaXは、様々な骨格トポロジーを持つ3Dモデルの処理をサポートしており、人間、動物、家具など、様々なキャラクターやオブジェクトに適しています。
テキスト駆動型アニメーションユーザーは簡単なテキスト説明に基づいてアニメーションの内容を指定し、AnimaXはテキストプロンプトに基づいて対応するアニメーションシーケンスを生成します。
複数ビューの一貫性生成されたアニメーションは複数の視点において一貫性を保ち、異なる角度から見てもその連続性とリアリティが確保される。
高効率発電AnimaXはフィードフォワード方式に基づいており、短時間で高品質な3Dアニメーションを生成することで、アニメーション制作の効率を大幅に向上させます。

AnimaXの技術原則

関節ビデオポーズ拡散モデルAnimaXは、3Dモーションをマルチビュー、マルチフレームの2Dポーズグラフとして表現します。ビデオポーズ拡散モデルからの強力なモーション事前情報をサポートし、3Dスケルタルアニメーションとの互換性を維持します。ビデオポーズ拡散モデルを共同で生成することで、AnimaXはビデオとそれに対応する2Dポーズシーケンスを同時に生成できます。共同生成戦略により、ビデオとポーズ間の時空間的な整合性が確保されます。
共有位置エンコーディングとモダリティ認識型埋め込み動画とポーズシーケンス間の時空間的な整合性を確保するため、AnimaXは共有位置エンコーディングを導入しています。このエンコーディングメカニズムにより、モデルは異なるモダリティ（RGB動画とポーズグラフ）間で空間情報をより適切に理解し、整合させることができます。モダリティ認識型埋め込みは、異なるモダリティを区別するために使用され、モデルがRGB動画とポーズグラフの違いを正しく処理することを保証します。
複数ビューの一貫性AnimaXは、マルチビューアテンションメカニズムとカメラ条件付き埋め込みを導入することで、生成される動画が複数の視点間で一貫性を保つようにします。これにより、モデルは異なる視点間の空間的な対応関係を学習し、一貫性のあるマルチビュー動画を生成できるようになります。
3Dモーションの再構築とアニメーション生成されたマルチビューポーズシーケンスは、三角測量に基づいて3D関節位置に変換されます。次に、逆運動学を使用して3D関節位置を関節角度に変換し、3Dモデルのアニメーションを駆動します。
大規模データセットでのトレーニングAnimaXは、新たにキュレーションされた16万個の結合配列を含むデータセットで学習されました。このデータは、人間、動物、家具など、さまざまなカテゴリを網羅しており、モデルの高い汎化能力を保証します。

AnimaXプロジェクトのアドレス

プロジェクト公式サイト：https://anima-x.github.io/
GitHubリポジトリ：https://github.com/anima-x/anima-x
arXiv技術論文：https://arxiv.org/pdf/2506.19851

AnimaXのアプリケーションシナリオ

ゲーム開発キャラクターや環境のアニメーションを迅速に生成することで、開発効率とコンテンツの充実度を向上させます。
映画およびテレビ制作アニメーション映画、視覚効果、および仮想キャラクターのアニメーション生成において、視覚効果を高めるために使用される。
仮想現実（VR）と拡張現実（AR）仮想キャラクターや動的な環境のアニメーションを生成し、没入感とインタラクティブな体験を向上させます。
広告とマーケティング視聴者の注目を集め、エンゲージメントを高めるために、ダイナミックな広告や商品表示アニメーションを作成しましょう。
教育と訓練仮想実験やシミュレーション訓練用のアニメーションを作成し、教育・訓練効果を向上させる。