SketchVideo - Kuaishouは、複数の大学と共同で、スケッチベースの動画生成・編集フレームワークを発表しました。 - AiBoss

SketchVideoとは何ですか？

SketchVideoは、中国科学院大学、香港科技大学、およびKuaishou Kelingチームが開発したスケッチベースのビデオ生成・編集フレームワークです。キーフレーム上にスケッチを描画し、テキストプロンプトと組み合わせることで、ビデオの空間レイアウトと動きをきめ細かく制御します。このフレームワークはDiTビデオ生成モデルに基づいており、スケッチ制御ブロックやフレーム間アテンションメカニズムなど、効率的なスケッチ制御ネットワークを備えています。このメカニズムは、疎なキーフレームスケッチ条件をすべてのビデオフレームに伝播します。SketchVideoは、実在ビデオと合成ビデオの両方のきめ細かな編集をサポートします。ビデオ挿入モジュールとポテンシャル融合技術に基づいて、新しいコンテンツと元のビデオ間の空間的および時間的な一貫性を確保し、編集されていない領域の詳細を保持します。

SketchVideoの主な機能

ビデオ生成スケッチとテキストに基づいて動画を生成する。
動画編集キーフレーム上にスケッチを描き、ビデオコンテンツを修正します。
動的制御モーション補間とモーション外挿をサポートします。
詳細が保存されています編集時に、変更されていない領域の詳細を保持する。
高効率発電メモリ最適化により、高品質な動画を高速に生成することが可能になります。

SketchVideoの技術的原理

条件付きネットワークの概略図DiT（拡散ベーストランスフォーマー）ビデオ生成モデルに基づき、特殊なスケッチ条件ネットワークを設計した。このスケッチ条件ネットワークは複数のスケッチ制御ブロックを含み、スキップされたDiTブロックの残差特徴を予測する。スケッチ制御ブロックはDiTブロック内に均一に配置され、異なるレベルの特徴に制御信号を注入する。
フレーム間注意機構フレーム間アテンション機構に基づき、キーフレーム上のスケッチ条件をすべてのビデオフレームに伝播させる。すべてのフレームの隠れ特徴と制御フレームの隠れ特徴との関係を計算することで、スケッチ特徴の時空間的な伝播を実現する。
動画挿入モジュール動画編集作業において、入力スケッチと元の動画との関係性を分析する動画挿入モジュールが設計されました。このモジュールは、元の動画と空間的にも時間的にも整合性の取れた新しいコンテンツを生成し、編集後の動画と元の動画とのシームレスな統合を実現します。
潜在的な核融合技術推論処理では、DDIM（Denoising Diffusion Implicit Models：ノイズ除去拡散暗黙モデル）に基づいて、入力ビデオのノイズを含む潜在コードが生成されます。これらの潜在コードは、編集されていない領域で置き換えられ、元のビデオの詳細が保持され、編集後のビデオが視覚的に自然で一貫性のあるものに見えるようになります。
ハイブリッドトレーニング戦略この手法では、画像データと動画データを組み合わせたハイブリッド学習戦略を採用しています。学習の第1段階では、画像データと動画データを用いて収束を加速させ、動画データの不足という課題に対処します。第2段階では、動画データを用いて時間的整合性をさらに最適化します。

SketchVideoのプロジェクトアドレス

プロジェクト公式サイト：http://geometrylearning.com/SketchVideo
GitHubリポジトリ：https://github.com/IGLICT/SketchVideo
arXiv技術論文：https://arxiv.org/pdf/2503.23284

SketchVideoの応用シナリオ

映画と広告クリエイティブな動画やエフェクトのプレビューを素早く生成し、制作プロセスを最適化して、時間とコストを節約します。
教育と訓練教育ビデオや研修教材の制作を支援し、それによって教育効果を向上させる。
ゲーム開発レベルプレビューやキャラクターアニメーションを素早く生成することで、開発効率を向上させます。
個人的な創作パーソナライズされたショートビデオを簡単に作成でき、クリエイターにとっての参入障壁を下げます。
建築設計建築デザインやインテリアデザインの動的なプレビューを生成し、顧客とのコミュニケーションを強化します。