AB
AB
AiBoss

すべてのカテゴリ

project

LONGLIVE - NVIDIAなどが開発した、インタラクティブな長尺動画生成フレームワーク。

LONGLIVEは、NVIDIAをはじめとする主要機関が共同開発した、リアルタイムのインタラクティブな長尺動画生成フレームワークです。このフレームワークは、フレームレベルの自己回帰（AR）モデルと、キーバリュー（KV）キャッシュメカニズム、ストリーミング長尺動画の微調整、およびショートウィンドウアテンションを組み合わせて利用しています。

LONGLIVEとは何ですか？

LONGLIVEは、NVIDIAをはじめとする主要機関が共同開発した、リアルタイムインタラクティブ長尺動画生成フレームワークです。このフレームワークは、フレームレベルの自己回帰（AR）モデルとキーバリュー（KV）キャッシュメカニズム、ストリーミング長尺動画の微調整、そしてショートウィンドウアテンション＋フレーム取り込み技術を組み合わせることで、長尺動画生成における効率性と品質という二つのボトルネックを解消します。LONGLIVEは、単一のH100 GPU上で最大240秒、20.7fpsの高品質動画を生成でき、リアルタイムのプロンプト切り替えと動的な調整にも対応しています。クリエイティブ、教育、映画産業などの分野に新たな創造的可能性を切り開き、AI動画生成を「おもちゃ」から「生産性向上ツール」へと進化させる重要な一歩となります。

LONGLIVEの主な機能

  • リアルタイムのインタラクションこの機能により、ユーザーは動画生成中にリアルタイムでストリーミングプロンプトを入力し、動画コンテンツを動的に調整したり、物語の流れを誘導したり、スタイルを変更したりすることが可能になります。
  • 長尺動画の生成このモデルは、複雑な物語や場面展開に対応できる、数分間の高品質な動画を生成することができる。
  • 効率的な推論単一のNVIDIA H100 GPUで20.7 FPSのリアルタイム速度を実現し、高忠実度と時間的な連続性を維持しながら、最大240秒のビデオ生成をサポートします。
  • 高品質な生成革新的な技術により、生成される動画の視覚的な一貫性と意味的な整合性を確保し、プロンプトを頻繁に切り替える際にもスムーズな遷移を維持します。
  • 導入コストが低いINT8量子化推論をサポートしており、パフォーマンスの低下をほとんど伴わずに、モデルサイズと導入コストをさらに削減します。

LONGLIVEの技術原則

  • KVリキャッシュ機構When switching prompts, the key-value (KV) cache is recalculated to "refresh" the state, clearing residual information from old prompts while preserving visual and motion cues. This ensures a smooth transition and accurate execution of new instructions. Integrating the recache operation into training allows the model to learn how to smoothly transition after prompt changes during training.
  • ストリーミングロングチューニングこのアプローチでは、「ローリング拡張」による推論プロセスをシミュレートすることで、長尺動画生成における自己回帰（AR）モデルの品質劣化問題に対処し、学習と推論間の不整合を低減します。また、長尺シーケンスの逆伝播によって発生するメモリ不足（OOM）エラーを回避するために、局所的な監視と勾配分離を使用し、教師モデルの信頼性の高い監視を保証します。
  • 短時間のウィンドウ注意 + フレームシンクショートウィンドウ・アテンションに基づき、アテンション範囲をローカルウィンドウに限定することで、計算複雑度とメモリ要件を大幅に削減します。フレーム流入メカニズムを導入することで、グローバルアンカーポイント（ビデオの最初のフレームブロックなど）を保持し、ショートウィンドウの効率性を維持しながら、長距離の一貫性を回復します。

LONGLIVEのプロジェクトアドレス

  • GitHubリポジトリ：https://github.com/NVlabs/LongLive
  • ハギングフェイスモデルライブラリ：https://huggingface.co/Efficient-Large-Model/LongLive-1.3B
  • arXiv技術論文：https://arxiv.org/pdf/2509.22622

LONGLIVEの応用シナリオ

  • クリエイティブなビデオ制作クリエイターは、動画コンテンツやスタイルをリアルタイムで調整し、自身のクリエイティブなニーズを満たす長尺動画を迅速に作成することで、クリエイティブな効率性と柔軟性を向上させることができます。
  • 教育コンテンツの生成教師は、授業の進捗状況に応じてリアルタイムで授業動画を作成し、知識ポイントや事例を動的に挿入することで、授業のインタラクティブ性と面白さを向上させることができます。
  • 映画およびテレビ制作監督や脚本家は、撮影前にさまざまなシーンや物語の展開をリアルタイムでプレビューし、脚本や撮影計画を迅速に調整し、制作コストを削減することができる。
  • 広告制作広告チームは、クライアントのニーズに基づいてリアルタイムで広告動画を生成し、クリエイティブの方向性を迅速に調整し、広告のターゲティングと魅力を向上させることができます。
  • ゲーム開発開発者は、ゲームのカットシーンや動的な背景をリアルタイムで生成し、ゲームのストーリーラインに合わせてコンテンツを調整することで、プレイヤーの没入感を高めることができます。
戻る