Sketch2Anim - エジンバラ大学をはじめとする複数の機関によって開発された、2Dスケッチから3Dアニメーションへの変換フレームワーク。

Sketch2Animとは何ですか？

Sketch2Animは、エジンバラ大学がSnap Researchおよびノースイースタン大学と共同で開発した自動化フレームワークです。2Dスケッチストーリーボードを高品質な3Dアニメーションに直接変換できます。条件付きモーション合成技術に基づき、3Dキーポーズ、関節軌跡、アクションワードを用いてアニメーション生成を精密に制御します。このフレームワークは、マルチ条件モーションジェネレーターと2D/3Dニューラルマッパーという2つのコアモジュールで構成されています。Sketch2Animは、自然で滑らかな3Dアニメーションを生成し、インタラクティブな編集をサポートすることで、アニメーション制作の効率と柔軟性を大幅に向上させます。

Sketch2Animの主な機能

• 自動変換2Dスケッチのストーリーボードを素早く3Dアニメーションに変換することで、手作業による制作の煩雑な手順を削減します。
• 高品質アニメーション滑らかで自然な3Dアニメーションを生成し、複数のセグメント間のスムーズな遷移をサポートします。
• インタラクティブ編集ユーザーは、主要なポーズや軌道などを変更するなど、生成されたアニメーションをリアルタイムで調整できるため、デザインの柔軟性が向上します。
• 効率を向上させる自動化されたプロセスは、アニメーション制作の効率を大幅に向上させ、迅速なデザイン反復を可能にします。

Sketch2Animの技術的原理

• マルチコンディションモーションジェネレーターこの手法は、モーション拡散モデルに基づき、軌道制御ネットワーク（ControlNet）とキーポーズアダプタを組み合わせたものです。ControlNetは、関節軌道をモーション拡散モデルに組み込み、グローバルな動的モーションを制御します。キーポーズアダプタは、ControlNetに基づいてローカルな静的ポーズをさらに洗練させ、生成されるアニメーションが入力キーポーズと正確に一致するようにします。
• 2D-3Dニューラルマッパー2Dおよび3Dのキーポーズと軌道エンコーダを搭載。2Dスケッチと3Dモーション制約を共有埋め込み空間に整列させることで、2Dから3Dへのアニメーション制御を直接行うことができます。
• モーション融合と最適化決定論的なDDIM逆処理とガイド付きノイズ除去に基づき、複数のアニメーションクリップを滑らかに遷移させて完全なアニメーションを生成します。生成されたアニメーションは、分類器誘導型の二次最適化手法を用いてさらに最適化され、入力された2D条件により適合するように調整されます。
• データ処理とデータ拡張本モデルは、14,646の動作とそれに対応する44,970の動作注釈を含むHumanML3Dデータセットを使用して学習されました。カメラビューの拡張、関節の摂動、および身体比率の摂動に基づいて、多様な2Dキーポーズと軌跡が生成され、モデルの汎化能力が向上しました。

Sketch2Animプロジェクトのアドレス

• プロジェクト公式サイト：https://zhongleilz.github.io/Sketch2Anim/
• arXiv技術論文：https://arxiv.org/pdf/2504.19189

Sketch2Animの応用シナリオ

• 映画とアニメーション映画やテレビ番組制作におけるプリプロダクション段階でのプレビューに使用され、効率性の向上に役立つ。
• ゲーム開発ゲームのアクションシーケンスのデザインとストーリーアニメーションの制作を加速する。
• 広告独創的なスケッチを3Dアニメーション広告に変換することで、視覚効果を高め、視聴者の注目を集めましょう。
• 教育と訓練学生が複雑な知識をよりよく理解できるように支援するため。
• VR/ARアプリケーション2Dスケッチを直接没入感のある3Dアニメーションに変換でき、仮想シーンをより豊かにします。