MirageLSD - Decart AIによるリアルタイム動画生成モデル

MirageLSDとは何ですか？

Decart AIチームが開発したMirageLSDは、世界初のライブストリーム拡散AIビデオモデルです。40ミリ秒という低遅延で無制限のリアルタイムビデオ生成を可能にし、毎秒24フレームのスムーズな出力をサポートします。拡散強制と履歴データ拡張トレーニングにより、従来の自己回帰モデルにおける長期生成時のエラー蓄積問題を解決し、無制限のビデオ生成を実現します。Hopper最適化メガカーネル、アーキテクチャ認識型枝刈り、ショートカット蒸留に基づき、MirageLSDは高画質を維持しながら生成速度を大幅に向上させ、真のリアルタイムインタラクションを可能にします。

MirageLSDの主な機能

• 無制限のリアルタイムビデオ生成MirageLSDは、40ミリ秒という低遅延で無制限の長さのビデオストリームを生成でき、毎秒24フレームのリアルタイム生成速度をサポートすることで、従来のビデオ生成モデルにおける長時間の生成時のエラー蓄積問題を解決します。
• リアルタイムのインタラクティブ性ユーザーは、動画生成プロセス中にリアルタイムでプロンプトを受け取ったり、トランジションを行ったり、動画を編集したりすることができ、継続的なインタラクティブ体験が可能になります。
• 低遅延処理このモデルは、Hopper最適化メガカーネルやアーキテクチャを考慮した枝刈りなどの最適化技術により、40ミリ秒という超低遅延処理を実現し、リアルタイムのビデオ生成を可能にする。
• 幅広い応用シナリオライブ配信、ビデオ通話、ゲーム開発、アニメーション制作など、様々な分野で活用でき、ありふれたシーンをユーザーが指定したスタイルやシーンにリアルタイムで変換できる。

MirageLSDの技術的原理

• 拡散強制技術フレームごとにノイズを除去することで、モデルは完全なビデオコンテキストがなくても単一フレームの画像を生成することが可能になり、フレームレベルの生成を実現できる。
• 歴史力強化トレーニング過去のフレームからのノイズデータはトレーニング中に導入され、モデルが入力のエラーを予測および修正することを可能にし、それによって無限の生成を実現します。
• 最適化戦略：
  • ホッパー最適化メガカーネルNVIDIA Hopper GPUアーキテクチャ向けに最適化されており、モデルの各レイヤーにおけるレイテンシを低減します。
  • アーキテクチャを考慮した剪定モデルのパラメータサイズをGPUアーキテクチャに合わせて調整することで、計算負荷を軽減できる。
  • Shortcut Distillationより小さなモデルを、より大きなモデルのノイズ除去軌跡に一致するように訓練することで、生成に必要な拡散ステップが削減される。

MirageLSDプロジェクトの住所

• 技術論文：https://about.decart.ai/publications/mirage

MirageLSDの応用事例

• ライブストリーミングとビデオ通話この機能を使えば、通常のビデオ通話やライブ配信を、ユーザーが指定したシーンにリアルタイムで変換できる。例えば、現実世界の風景をSFの世界に変えることができる。
• ゲーム開発ゲームのビジュアルをリアルタイムで様々なスタイルに変換することができ、例えば、普通の戦闘シーンをライトセーバーの決闘シーンに変えることができる。
• アニメーション制作とバーチャル着せ替えアニメーション制作やバーチャル着せ替えのためのリアルタイム視覚効果サポートを提供します。