CausVid - AdobeがMITと共同開発した、自己回帰型のリアルタイム動画生成技術。

CausVidとは何ですか？

AdobeとMITが共同開発したリアルタイム自己回帰型動画生成技術「CausVid」は、瞬時の動画再生を可能にします。蒸留法で事前学習された双方向拡散モデルに基づいた自己回帰型生成モデルを構築することで、最初のフレームの動画生成遅延をわずか1.3秒に短縮し、毎秒9.4フレームの生成速度を実現しています。CausVidは従来の動画生成モデルの限界を打ち破り、テキストから動画、画像から動画への生成、動画スタイルの変換など、様々なアプリケーションをサポートし、リアルタイム動画の作成と編集に新たな可能性をもたらします。

CausVidの主な機能

• リアルタイムビデオ生成ユーザーは「生成」をクリックした後、動画シーケンス全体が生成されるのを待つことなく、すぐに動画を視聴できます。
• 高速ストリーミング世代高画質ビデオは、単一のGPUで9.4 FPSの高速ストリーミングが可能です。
• ゼロサンプル画像からビデオへの生成追加のトレーニングなしで、このモデルは静止画像を滑らかな動画に自然に変換できます。
• ビデオスタイル変換ゲーム映像を実写シーンに変換するなど、あるビデオスタイルを別のスタイルにリアルタイムで変換できます。
• インタラクティブなストーリー生成ユーザーはプロンプトを調整して動画のストーリー展開をリアルタイムで誘導することができ、新たな創造的な体験を生み出すことができる。
• 長尺動画の生成訓練中、10秒間の動画に触れることで、30秒、あるいはそれ以上の長さの動画が生成されることがある。

CausVidの技術原則

• 自己回帰生成モデル自己回帰生成モデルに基づいて、ビデオの各フレームは順次生成されます。
• 分布整合蒸留（DMD）DMD技術に基づき、多段階拡散モデルをわずか4段階のジェネレーターに簡略化することで、生成ステップ数を大幅に削減し、効率を向上させた。
• 非対称蒸留戦略双方向教師モデルを用いて自己回帰型の単方向生徒モデルを監督することで、誤差の蓄積を減らし、動画生成の品質を向上させる。
• 学生の初期化蒸留トレーニングの前に、事前学習済みの学生モデルに基づいて、その後のトレーニングプロセスが安定化される。
• KVキャッシュ推論技術キーバリュー（KV）キャッシュ機構は、生成効率を向上させ、モデルが以前に生成されたフレーム情報に迅速にアクセスできるようにします。
• スライド式窓機構スライディングウィンドウ機構を用いることで、長さ無制限の動画生成が可能となり、従来モデルの長さ制限を打破する。
• エラー蓄積制御教師と生徒の関係性に基づいた構造と特定のトレーニング戦略により、この方法は自己回帰モデルによく見られる誤差蓄積問題を軽減し、より安定した高品質のビデオコンテンツを生成します。

CausVidのプロジェクトアドレス

• プロジェクト公式サイト：causvid.github.io
• 技術論文：https://causvid.github.io/causvid_paper.pdf

CausVidの応用事例

• コンテンツ制作とエンターテイメントこれは、Vlogger、映画制作者、ゲーム開発者がビデオコンテンツを迅速に作成し、改良していくための手段を提供する。
• ニュースとレポートニュース報道においては、視聴者が出来事の展開を素早く理解できるよう、動画による要約を迅速に作成する。
• 教育と訓練CausVidは、複雑なプロセスや歴史的出来事をシミュレートする教育ビデオを制作し、学習者に直感的な学習教材を提供します。
• ゲーム開発ゲーム開発者は、ゲーム内に動的な背景を作成したり、ゲームのストーリーラインを迅速にプロトタイプ化したりします。
• 広告とマーケティングこれにより、市場の需要に基づいて広告コンテンツを迅速に調整することが可能になり、マーケターはよりターゲットを絞った広告動画を作成できるようになります。