DragAnything - Kuaishouが浙江大学およびその他の機関と共同でオープンソース化した、制御可能なビデオ生成手法。

DragAnythingとは何ですか？

Kuaishouが浙江大学およびシンガポール国立大学のShow Labと共同開発したDragAnythingは、実体表現に基づく制御可能なビデオ生成手法です。シンプルな軌跡入力で、ビデオ内のあらゆるオブジェクトを正確にモーション制御できます。DragAnythingは、拡散モデルの潜在的特徴を用いてビデオ内の各実体を表現することで、ピクセルをドラッグしてオブジェクトの動きを正確に制御する従来の手法の限界を克服しています。DragAnythingは、ユーザーフレンドリーなインターフェースを備え、前景、背景、カメラの動きを柔軟に制御できるだけでなく、FID、FVD、ユーザー調査などの評価指標において、最先端の性能を実現しています。

DragAnythingの主な機能

• 物理的な動作制御ピクセルレベルだけでなく、ビデオ内のあらゆる要素（前景と背景を含む）の正確な動き制御。
• 複数事業体による独立統制複数の物体を同時に独立して動作制御することができ、各物体はユーザーが定義した軌道に従って異なる動きをします。
• ユーザーフレンドリーなインタラクションユーザーは、複雑な入力信号（セグメンテーションマスクや深度マップなど）を必要とせずに、単純な操作（領域の選択とドラッグなど）に基づいて複雑なモーションコントロールを実現できます。
• カメラのモーションコントロールDragAnythingは、動画内のオブジェクトを制御するだけでなく、ズームやパンなどのカメラの動きを制御することもできます。
• 高品質なビデオ生成高品質なビデオコンテンツを生成しながら、モーションコントロールの精度を維持するため、様々な用途に適しています。

DragAnythingの技術的原理

• エンティティ表現本論文では、拡散モデルの潜在特徴から意味情報を抽出し、動画内の各オブジェクトを表現する新しいエンティティ表現手法を提案する。オブジェクトの意味特徴とモーション軌跡を組み合わせることで、高精度なエンティティレベルのモーション制御を実現する。
• 2次元ガウス表現2Dガウス表現を導入することで、ガウス分布に基づいてオブジェクトの中心領域に高い重みを割り当て、エッジピクセルの影響を軽減し、より自然な動きの制御を実現します。
• 拡散モデル拡散モデルアーキテクチャ（安定ビデオ拡散など）に基づき、強力な生成機能とノイズ除去機能を備えた高品質なビデオコンテンツを生成します。拡散モデルは、ノイズを段階的に除去してビデオフレームを再構築する方式で、ユーザーが入力したモーション軌跡とエンティティ表現を組み合わせています。
• 軌道誘導型モーション制御ユーザーは、単純な描画軌跡に基づいてオブジェクトの動きの経路を定義します。DragAnythingは、この軌跡とエンティティ表現を組み合わせることで、ユーザーの意図に合致したビデオコンテンツを生成します。これにより、ピクセルを直接操作する際の制約を回避し、より自然で正確なモーションコントロールを実現します。
• 損失関数と最適化トレーニング段階では、マスク付き平均二乗誤差（MSE）損失関数を用いて、ユーザーが指定した領域におけるモーションコントロールの最適化に重点を置きつつ、他の領域の生成品質を維持する。

DragAnythingのプロジェクトアドレス

• プロジェクト公式サイト：https://weijiawu.github.io/draganything
• GitHubリポジトリ：https://github.com/showlab/DragAnything
• arXiv技術論文：https://arxiv.org/pdf/2403.07420

DragAnythingの応用事例

• 動画制作と編集アニメーションを素早く生成し、オブジェクトの動きの軌道を調整することで、クリエイティブな効率性を向上させます。
• ゲーム開発キャラクターアニメーションを生成し、プレイヤーのインタラクティブな体験を向上させる。
• 教育と訓練これは科学的なシミュレーションや技能訓練を支援し、複雑な運動過程の理解に役立ちます。
• 広告とマーケティング製品の特徴を際立たせる、ダイナミックな広告や製品ディスプレイを作成する。
• エンターテイメントとソーシャルインタラクティブな動画を生成し、仮想キャラクターの動きを制御することで、楽しさをさらに高めます。