GCDance - サリー大学と江南大学が開発した3Dダンス生成フレームワーク

GCDanceとは何ですか？

GCDance（Genre-Controlled 3D Full Body Dance Generation Driven by Music）は、英国のサリー大学と江南大学が開発した3Dダンス生成フレームワークです。音楽とテキストキューに基づいて、特定のスタイルに準拠した全身ダンスシーケンスを生成できます。GCDanceは、事前学習済みの音楽基盤モデル（Wav2CLIPなど）から抽出された高レベルの音楽特徴と、手動で設計された音楽特徴（STFTなど）を組み合わせることで、多粒度音楽特徴の融合を実現しています。CLIPモデルは、ダンス生成の各タイムステップにテキストキューを埋め込むことで、スタイル制御によるダンス生成を実現します。GCDanceは、同じミュージッククリップ内で複数のスタイルのダンスを生成することをサポートしており、ダンスの動きと音楽のリズムやメロディーとの間に高い一貫性を確保します。

GCDanceの主な機能

• スタイル主導のダンス世代ストリートダンス、ジャズダンスなど、ダンススタイルを指定するテキストプロンプトに基づいて、そのスタイルに合ったダンスの動きを生成する。
• 音楽のリズムに正確に合致するダンスの動きは音楽のリズム、ビート、メロディーと高度に同期しており、ダンスと音楽の自然な調和を保証している。
• 多様なダンス世代同じ音楽クリップを使って複数のスタイルのダンスを生成することができ、ダンスの表現力と多様性を豊かにする。
• 部分編集に対応ユーザーは、ダンスの特定の部分（手の動きや特定の時間帯など）をカスタマイズできます。
• 高品質な全身モーションを生成する52の関節（指関節を含む）をカバーしており、生成されるダンスの動きは自然でリアルであり、高い物理的妥当性を備えている。

GCDanceの技術原則

• 拡散モデルフレームワーク分類器を用いない拡散モデルに基づき、段階的なノイズ除去手法を用いてノイズからダンスシーケンスを生成する。
• 音楽の特徴抽出この手法は、事前学習済みの音楽モデル（Wav2CLIPなど）を用いて高レベルのセマンティック特徴を抽出し、手作業で作成した音楽特徴（短時間フーリエ変換（STFT）など）を用いて低レベルの音楽的詳細を捉えるものです。この多段階の特徴融合手法により、音楽とダンスの複雑な関係性をより的確に捉えることができます。
• テキスト特徴量の埋め込みCLIPモデルに基づき、ダンス生成の各タイムステップにテキストによる手がかり（ダンススタイルの説明など）が埋め込まれ、特徴アダプタを使用して音楽の特徴と整合させることで、スタイル制御されたダンス生成を実現します。
• 特徴変調（FiLM）特徴量線形変調（FiLM）レイヤーは、テキストプロンプトに基づいてダンス生成プロセスを動的に調整し、生成されたダンスが指定されたスタイルに適合するようにします。
• デュアルストリームアーキテクチャこのモデルは、体の動きと手の動きを分離し、2つのTransformerネットワークを使用してそれぞれを独立して処理することで、より詳細で表現力豊かな全身のダンスの動きを生成します。
• 編集機能拡散モデルに基づく編集メカニズム（拡散修復など）により、ユーザーは生成プロセス中にダンスの特定の部分に制約を課すことができ、局所的な編集やカスタマイズされた生成が可能になります。

GCDanceプロジェクトの住所

• arXiv技術論文：https://arxiv.org/pdf/2502.18309

GCDanceアプリケーションシナリオ

• 仮想現実（VR）と拡張現実（AR）没入感を高めるために、仮想キャラクターのダンスを生成する。
• ゲーム開発ゲームキャラクターのダンスの動きを動的に生成し、インタラクティブ性を向上させる。
• ダンス指導さまざまなスタイルのダンス例を提供することで、振り付けや指導を支援します。
• ミュージックビデオ制作音楽に基づいてダンスを自動生成し、創造的な素材を提供する。
• スマートフィットネス音楽を組み合わせてフィットネスダンスを作り、運動の楽しさを高めましょう。