CineMaster - Kuaishouが開発した、3D認識機能を備えたテキストから動画を生成するフレームワーク。

CineMasterとは何ですか？

CineMasterは、Kuaishouが開発した3D認識機能を備えたテキストからビデオへの生成フレームワークです。ControlNetのビデオ版とも言えるこのフレームワークでは、様々な制御信号を用いて、ビデオ内のオブジェクトの位置やカメラの動きを正確に操作できます。テキストプロンプトに基づいてビデオを生成でき、深度マップ、カメラ軌跡、オブジェクトラベルなどの信号を組み合わせることで、より細かく調整することが可能です。Kuaishouは、大規模ビデオから3Dバウンディングボックスとカメラ軌跡を抽出するワークフローを提供しており、CineMasterのトレーニングとアプリケーションを強力にサポートするデータ基盤となっています。

CineMasterの主な機能

• 3Dオブジェクトとカメラの制御ユーザーは、3D空間内のオブジェクトの位置、サイズ、および移動軌跡を自由に調整できるだけでなく、カメラの動き（並進や回転など）を定義することで、正確なシーンレイアウトとレンズ設計を実現できます。
• インタラクティブなデザインとライブプレビューインタラクティブなインターフェースを通して、ユーザーは3Dレイアウトの効果をリアルタイムでプレビューし、映画撮影におけるショットデザインと同様に、理想的な視覚効果が実現するまでデザインを段階的に最適化することができます。
• 3D対応ビデオ生成CineMasterは、深度マップ、オブジェクトラベル、カメラ軌跡を条件信号として利用することで、ユーザーの設計意図に正確に合致し、複雑なオブジェクトやカメラの動きをサポートするビデオコンテンツを生成できます。
• 自動データ注釈この技術は、通常の動画から3Dバウンディングボックスとカメラ軌跡を抽出する自動化プロセスを提供し、大規模な3Dラベル付きデータの不足という問題を解決し、モデルのトレーニング効果を向上させます。
• 高画質ビデオ出力高品質で多様なビデオコンテンツの生成をサポートし、様々なクリエイティブな場面に適しており、プロフェッショナルなニーズとエンターテイメントのニーズの両方を満たします。

CineMasterの技術原理

• 2段階のワークフロー
  • フェーズ1ユーザーは3Dインターフェースを通してオブジェクトとカメラの配置を定義し、制御信号として深度マップとモーション軌跡を生成する。
  • フェーズ2制御信号は拡散モデルに入力され、設計意図に合致する動画が生成される。
• セマンティックレイアウト制御ネットワーク3D空間レイアウトと意味情報を組み合わせ、MLPを通して深度マップとオブジェクトラベルを融合することで、ビデオ生成を正確に誘導することができる。
• カメラアダプターカメラの姿勢を生成プロセスに組み込み、オブジェクトの動きとカメラの動きを区別し、複雑なショットデザインをサポートします。
• 自動データ注釈パイプラインインスタンスセグメンテーション、深度推定、および3D点群計算を用いて、通常の動画から3Dバウンディングボックスとカメラ軌跡を抽出し、モデルトレーニングのためのデータサポートを提供する。
  • インスタンス分割前景インスタンスのセグメンテーション結果を取得するには、Grounding DINOとSAM 2を使用します。
  • 深度推定DepthAnything V2を使用して、メトリック深度マップを生成します。
  • 3D点群と境界ボックスの計算: バックプロジェクションにより各エンティティの3D点群を計算し、最小体積の3Dバウンディングボックスを計算します。
  • エンティティ追跡と3Dバウンディングボックス調整SpatialTrackerを使用して点追跡を行い、各フレームの3Dバウンディングボックスを計算し、深度マップをレンダリングします。
• 拡散モデルとトレーニング戦略事前学習済みの拡散モデルに基づき、多段階学習（深度マップ学習、意味レイアウト学習、および共同学習を含む）を通じて、生成品質と制御性を向上させる。

CineMasterのプロジェクトアドレス

• プロジェクト公式サイト：https://cinemaster-dev.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2502.08639

CineMasterの応用事例

• 映画およびテレビ制作ストーリーボードのデザイン、特殊効果のプレビュー、アニメーション制作などに使用され、監督やクリエイターがアイデアを迅速に実現し、制作効率を向上させるのに役立ちます。
• 広告とマーケティング広告効果とユーザーエクスペリエンスを向上させるために、クリエイティブな動画、製品デモンストレーション、仮想シナリオを作成する。
• ゲーム開発ゲームの物語性や視覚効果を高めるために、カットシーン、シーンデザイン、キャラクターアニメーションを生成する。
• 教育と訓練教育・研修の効果を高めるため、指導ビデオ、仮想実験、安全研修コンテンツを作成します。
• エンターテインメントとソーシャルメディアユーザーのエンゲージメントと没入感を高めるために、クリエイティブな動画、バーチャルツアー、インタラクティブなエンターテイメントコンテンツを作成する。