MotionCanvas - 香港中文大学、Adobe、およびその他の組織によって開発された、画像から動画への変換を制御する手法。

MotionCanvasとは何ですか？

香港中文大学、Adobe Research、モナッシュ大学が共同開発したMotionCanvasは、静止画をダイナミックな効果を豊富に含んだ動画に変換する画像-動画（I2V）生成手法です。モーションデザインモジュールをベースとしたMotionCanvasは、ユーザーが画像上でカメラやオブジェクトの動きを直感的に計画できるため、複雑なショットデザインが可能です。モーション信号変換モジュールにより、MotionCanvasは3Dシーン空間におけるユーザーの動きの意図を2Dスクリーン空間における制御信号に正確に変換し、動画拡散モデルを駆動して高品質な動画を生成します。MotionCanvasはカメラとオブジェクトの動きの同時制御をサポートし、複雑な軌跡を持つ長尺動画の生成や、局所的なオブジェクトの動きの精密な制御を実現します。

MotionCanvasの主な機能

• カメラと被写体の動きを連動制御ユーザーは、入力画像上で、カメラの動きの経路（移動、回転、ズームなど）や、オブジェクトの全体的な動き（移動、拡大縮小など）、およびオブジェクトの局所的な動き（腕を振るなど）を直感的に設計できます。
• 3Dセンシングモーションコントロールこのシステムは、深度推定モジュールとモーション信号変換モジュールに基づいており、3Dシーン空間におけるモーションデザインを実現し、それを2Dスクリーン空間におけるモーション信号に変換し、3D知覚効果のあるビデオを生成します。
• 長尺動画の生成あらゆる長さの動画生成に対応し、複雑な動作軌跡や連続撮影デザインもサポートしています。
• 多様な応用シナリオモーション転送や初期フレーム編集に基づくビデオ生成など、シンプルなビデオ編集タスクのためのアプリケーションをサポートしています。

MotionCanvasの技術原理

• モーションデザインモジュールユーザーが入力した画像は「キャンバス」として機能し、カメラとオブジェクトの動きは3Dシーン空間内で設計されます。カメラの動きは指定されたキーフレームのカメラ姿勢に基づいて実現され、オブジェクトの動きはシーンに固定されたバウンディングボックスと疎な点の軌跡を使用して定義されます。
• モーション信号変換モジュールこのモジュールは、3Dシーン空間で設計されたユーザーの動作意図を、2Dスクリーン空間における動作信号に変換します。深度推定とカメラパラメータ推定に基づいて、3Dカメラパスを2D点軌跡に変換し、シーンに固定されたバウンディングボックスと点軌跡をスクリーン空間における信号に変換します。
• モーション条件付きビデオ生成モデルこの手法は、画面空間における動きの条件に基づいて動画を生成するように微調整された、事前学習済みのDiT（拡散変換）モデルに基づいています。このモデルは、エンコードされた点軌跡とバウンディングボックスのシーケンスを条件信号として動画生成モデルに入力し、ユーザーの意図に合致する動画を生成します。
• 自己回帰生成この手法は自己回帰的なアプローチを採用しており、生成されたビデオセグメントを後続の生成条件として使用することで、連続したビデオコンテンツを徐々に生成し、長いビデオを直接生成することによって生じる可能性のある動きの不連続性の問題を回避する。

MotionCanvasプロジェクトのアドレス

• プロジェクト公式サイト：https://motion-canvas25.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2502.04299

MotionCanvasの応用事例

• 映画およびビデオ制作複雑なショットを素早くデザインし、静止画像をダイナミックな動画に変換して、広告、プロモーション、その他の用途で視覚的な魅力を高めることができます。
• アニメーション制作アニメーションのプレビューやキャラクターの動きを生成し、静止画のストーリーボードや画像から動的な効果を抽出し、クリエイティブな効率性を向上させます。
• VR/AR体験仮想現実および拡張現実アプリケーション向けに動的なシーンを生成し、ユーザーの没入感を高め、リアルタイムのインタラクションをサポートします。
• ゲーム開発ゲームのカットシーンやダイナミックシーンを作成し、ゲームの物語性や視覚効果を高め、プレイヤー体験を豊かにする。
• 教育と訓練その目的は、静止画の教育画像を動的な動画に変換し、教室での講義や専門的なシミュレーション訓練に活用することで、教育への関心と効果を高めることである。