MikuDanceは、静止画像をダイナミックでスタイリッシュなキャラクターアートに変換するハイブリッドアニメーション生成技術です。

MikuDanceとは何ですか？

MikuDanceは、拡散モデルに基づいたアニメーション生成技術であり、ハイブリッドモーションダイナミクスを統合して、様式化されたキャラクターアートをアニメーション化します。ハイブリッドモーションモデリングとハイブリッド制御拡散技術に基づき、MikuDanceは高ダイナミックモーションや参照ガイドのずれといった問題を解決します。動的なカメラとキャラクターの動きを明示的にモデル化し、キャラクターの形状、ポーズ、プロポーションを暗黙的に調整することで、一貫性のあるモーションコントロールを実現します。MikuDanceは、様々なキャラクターアートスタイルやモーションガイドに対して有効性と汎用性を発揮し、ダイナミックな動きを持つ高品質なアニメーションを生成します。

MikuDanceの主な機能

アニメーション風の様式化されたキャラクターアートMikuDanceは静止したキャラクター画像を動的なアニメーションに変換できるため、アニメ風のアートなど、様式化されたキャラクターアートに適しています。
高ダイナミックモーションの処理複雑な前景や背景における高ダイナミックレンジの動き、例えばキャラクターの大きな動きやカメラの素早い動きなども処理できます。
参照ガイド付きアライメント暗黙的な位置合わせ技術に基づいて、キャラクターの形状、姿勢、比率とモーションガイダンスとの間のずれを解消します。
グローバルおよびローカルモーションコントロールシーンモーション追跡モジュールとモーション適応型正規化モジュールを組み合わせることで、シーン全体の動きとキャラクターの局所的な動きの両方を制御します。
多様なスタイルへの適応性MikuDanceは、セル画、古典画、線画など、さまざまな画風に対応でき、高い汎用性を示しています。

MikuDanceの技術的原則

ハイブリッドモーションモデリングMikuDanceは、3Dカメラのポーズをピクセルレベルのシーンモーション表現に変換し、動的なカメラとキャラクターの動きを明示的にモデル化することで、キャラクターとシーンの統一的なモーションモデリングを実現します。
ハイブリッド制御拡散これにより、参照キャラクターアート、参照ポーズ、およびすべてのキャラクターポーズガイドが統一された可能性空間に統合され、アニメーションの整合性の取れたモーションコントロールが可能になります。
モーション適応型正規化モジュールキャラクターアニメーションにグローバルなシーンモーションを効果的に注入し、包括的なキャラクターモデルアニメーション生成をサポートします。
ハイブリッドソーストレーニング方法2段階の学習方法を採用する。第1段階では、ペアになったビデオフレームを用いて学習を行う。第2段階では、MANモジュールと時間モジュールを追加し、MMDビデオクリップとキャラクターのいないカメラモーションビデオを混合して学習させることで、モデルの堅牢性と汎化能力を向上させる。
安定拡散の前提条件MikuDanceは、自動画像符号化のためのVAEとノイズ推定のためのUNetを含む、安定拡散（SD）モデルに基づいています。逆拡散プロセスに基づいて、ノイズの多い画像を段階的に潜在画像に変換します。

MikuDanceのプロジェクトアドレス

プロジェクト公式サイト：kebii.github.io/MikuDance
GitHubリポジトリ：https://github.com/Kebii/MikuDance（近日中にオープンソース化予定）
arXiv技術論文：https://arxiv.org/pdf/2411.08656

MikuDanceの応用事例

ゲーム開発ゲーム開発においては、キャラクターアニメーションを迅速に生成できるため、従来のアニメーション制作にかかるコストと時間を削減できる。
映画およびテレビ制作映画やテレビシリーズのポストプロダクションにおいて、視覚的なインパクトを高めるために、複雑でダイナミックなシーンや特殊効果を作り出す。
仮想現実（VR）と拡張現実（AR）VRやARアプリケーションでは、ユーザーとインタラクトする動的なキャラクターが生成され、没入感を高めます。
アニメーション制作これは、従来の2Dアニメーションや3Dアニメーション、特に様式化されたキャラクターアニメーションのための新しいアニメーション生成方法を提供する。
ソーシャルメディアコンテンツの作成コンテンツ制作者は、ソーシャルメディアプラットフォームで使用するための、魅力的なアニメーション画像や動画を作成します。