X-Dancer - ByteDanceなどが音楽主導の人型ダンス動画生成フレームワークを発表

X-Dancerとは何ですか？

X-Dancerは、ByteDance、カリフォルニア大学サンディエゴ校、および南カリフォルニア大学の研究者が共同開発した、音楽駆動型の人間ダンス動画生成フレームワークです。単一の静止画像から、多様でリアルな全身ダンス動画を生成することを可能にします。X-Dancerは、自己回帰型トランスフォーマー（Transformer）と拡散モデルを組み合わせて2Dの人間のポーズをモデル化し、広く利用可能な単眼ビデオデータに基づいて、ダンスの動きと音楽のリズムの複雑なアライメントを捉えます。X-Dancerは、マルチパート2Dポーズ表現と信頼度を考慮した量子化手法を用いて、音楽に同期したダンスポーズシーケンスを生成し、拡散モデルに基づいてこれらのシーケンスを一貫性のあるビデオフレームに変換します。X-Dancerは、動きの多様性、音楽とのアライメント、ビデオ品質において既存の手法を凌駕し、さまざまな体型やスタイルの参照画像に適応し、ゼロショット生成や特定の振り付けのための微調整をサポートします。

X-Dancerの主な機能

• 一枚の静止画像からダンス動画を生成する人物画像と楽曲を用いて、音楽のリズムに同期した全身ダンス動画を生成する。
• 多様で個性的なダンスの動き頭部や手の細かな動きを含む、多様なスタイルや複雑な動きの生成をサポートし、様々な体型やスタイルのキャラクターアニメーションにも対応しています。
• 音楽のリズムの調和ダンスの動きは音楽のリズムと密接にシンクロしており、音楽のビートとスタイルを捉えている。
• ゼロサンプル生成とカスタマイズゼロサンプル生成と、特定の振り付けスタイルに合わせた微調整をサポートし、さまざまなダンスのニーズに対応します。
• 高品質なビデオ合成生成されたダンス動画は、高解像度でリアルな映像を実現しつつ、参照画像との一貫性を保っている。

X-Dancerの技術原理

• ポーズモデリングこの手法は、2Dの人体姿勢推定に基づいて単眼ビデオからダンスの動きを抽出するため、3D姿勢推定の複雑さやデータ量の制約を回避できる。
• マルチパート姿勢量子化人体は複数の部位（上半身、下半身、頭部、手など）に分割され、各部位はポーズトークンとして符号化および量子化されます。これらのトークンは、共通のデコーダーに基づいて完全なポーズに結合されます。
• 自己回帰型トランスフォーマーGPT型の自己回帰モデルを用いて、音楽の特徴と過去の姿勢情報に基づいて将来の姿勢マーカーシーケンスを予測し、音楽との同期を実現する。
• 拡散モデルの合成生成されたポーズマーカーは、学習可能なモーションデコーダを使用して空間誘導信号に変換され、参照画像の特徴と組み合わされて、拡散モデルに基づいて一貫性のあるダンスビデオが生成される。
• AdaINと時空モジュール生成された動画の時空間的な一貫性と同一性の整合性を確保するために、適応型インスタンス正規化（AdaIN）と時空間モジュールが使用されます。

X-Dancerのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2502.17414

X-Dancerの応用事例

• ソーシャルメディアでの共有ユーザーは写真や音楽を使って自分だけのダンス動画を作成でき、ソーシャルメディアプラットフォーム上のコンテンツの楽しさやエンゲージメントを高めることができる。
• バーチャルキャラクターアニメーション仮想現実やメタバース内のキャラクターの表現力を高めるため、同期したダンス動作を生成する。
• 音楽ゲームとのインタラクションダンスの動きをリアルタイムで生成することで、音楽リズムゲームの視覚効果とインタラクティブ性が向上します。
• 広告ブランド音楽を組み合わせてダンス動画を作成し、広告やプロモーションに活用することで、ユーザーの注目を集めましょう。
• ダンス教育ダンス指導の補助や文化的な特徴を紹介するために、さまざまなスタイルのダンス動画を作成する。