DanceFusion - 清華大学が、音声駆動型のダンス動作再構築・生成のためのオープンソースフレームワークを発表。

ダンスフュージョンとは何ですか？

DanceFusionは、清華大学が開発したオープンソースのフレームワークで、音声駆動型のダンスモーションの再構築と生成に特化しています。階層的な時空間Transformer-VAEと拡散モデルを組み合わせることで、DanceFusionはソーシャルメディアからの不完全でノイズの多い骨格データも処理し、音楽と同期したリアルなダンスモーションを生成できます。高度なマスキング戦略と反復的な拡散プロセスに基づき、DanceFusionはモーションシーケンスを最適化し、モーション生成と音楽同期の忠実度を高め、コンテンツ制作、バーチャルリアリティ、インタラクティブエンターテイメントなど幅広い分野で活用されています。

DanceFusionの主な機能

• 音声駆動によるダンス動作の再構築と生成DanceFusionは、音楽と同期したダンスの動きを生成する。これは、TikTokなどのソーシャルメディアプラットフォームから抽出された、不完全でノイズの多い骨格データに適している。
• 不完全でノイズの多いデータの処理このフレームワークは、関節の欠損、遮蔽、ノイズの問題を効果的に処理でき、階層的な時空間VAEに基づいて骨格シーケンスの空間的および時間的情報を正確に捉えることができます。
• 音声とモーションの同期DanceFusionは拡散モデルに基づき、ダンスの動きが音楽のリズム、メロディー、感情に完璧に合致するように設計されている。
• 高度なマスキング技術不完全な骨格データを処理するマスキング戦略を開発し、再構築時にモデルが信頼できる関節データのみを考慮するようにします。
• 高品質なダンスムーブを生成するこのフレームワークは、多様性とスタイルに富んだ、高品質でリアルなダンスの動きのシーケンスを生成できる。

ダンスフュージョンの技術的原理

• 階層型時空間VAEエンコーディング：
  • 空間符号化各骨格関節をトークンとして扱い、同一フレーム内の関節間の空間的な関係を捉える。
  • タイムコーディングフレーム間の時間的な依存関係を学習することで、アクションシーケンスの時間的な連続性と滑らかさを確保します。
• 拡散モデルノイズの多い骨格シーケンスから始め、動きのリアリティと音声との同期を向上させるために、段階的に反復的に最適化を行いました。
• マスキング機構エンコード段階でマスキング機構を適用して関節の有無をマークし、モデルが欠落した関節を考慮しないようにする。
• オーディオ機能の融合生成されたアクションと音楽の正確な同期を実現するために、反復処理中にオーディオ機能を組み込む。
• 実験的評価生成されたダンスシーケンスの品質は、FIDと多様性スコアを用いて評価され、出力の多様性と非反復性を確保した。

DanceFusionのプロジェクトアドレス

• プロジェクト公式サイト：th-mlab.github.io/DanceFusion
• arXiv技術論文：https://arxiv.org/pdf/2411.04646

DanceFusionの応用事例

• コンテンツ作成ソーシャルメディアや動画制作で使用するために、音楽と同期したダンス動画を作成します。
• 仮想現実（VR）と拡張現実（AR）仮想キャラクターに自然なダンスの動きを提供し、没入感を高めます。
• インタラクティブなエンターテイメントとゲームゲーム内でリアルなダンスの動きを生成し、ゲーム体験を向上させます。
• ダンス教育とトレーニング教育的なデモンストレーションとして、学習者がダンスのスキルを学び、習得するのに役立ちます。
• アニメーションと映画制作仮想キャラクター向けに複雑なダンスの動きを生成することで、モーションキャプチャの必要性を低減します。