Next-Frame Diffusion - 北京大学とマイクロソフトが共同開発した自己回帰型ビデオ生成モデル

次フレーム拡散とは何ですか？

Next-Frame Diffusion (NFD) は、北京大学とマイクロソフトリサーチが共同開発した自己回帰型ビデオ生成モデルです。拡散モデルの高忠実度生成能力と、自己回帰モデルの因果性と制御性を兼ね備えています。Next-Frame Diffusion は、ブロック単位の因果的注意機構と拡散トランスフォーマーに基づき、効率的なフレームレベル生成を実現します。このモデルは、ビデオ品質と一貫性を維持しながら、30 FPS を超えるリアルタイムビデオ生成を実現します。さらに、サンプリング効率を向上させるために、一貫性蒸留や投機的サンプリングなどの技術が導入されています。このモデルは、大規模な動き条件付きビデオ生成タスクにおいて、既存の手法を大幅に上回る優れた性能を発揮します。

ネクストフレーム拡散の主な機能

• リアルタイムビデオ生成高性能GPU上で30FPSを超えるリアルタイムビデオ生成をサポートしているため、ゲーム、バーチャルリアリティ、リアルタイムビデオ編集など、高速な応答時間を必要とするインタラクティブなアプリケーションに最適です。
• 高忠実度ビデオ生成これは連続空間において高精細なビデオコンテンツを生成し、従来の自己回帰モデルよりも細部や質感をより良く捉えることができる。
• アクション条件生成ユーザーのリアルタイム操作に基づいて対応するビデオコンテンツを生成し、インタラクティブなアプリケーションにおいて極めて高い柔軟性と制御性を備えています。
• 長期ビデオ生成あらゆる長さのビデオコンテンツの生成に対応しているため、ストーリーテリングやシミュレーション環境など、長期的な連続性を必要とするアプリケーションに適しています。

ネクストフレーム拡散の技術的原理

• ブロック単位の因果的注意このモデルの中核は、フレーム内双方向アテンションとフレーム間因果関係を組み合わせたブロック因果アテンション機構です。各フレーム内では、双方向自己アテンションを実行してフレーム内の空間的依存関係を捉えます。フレーム間では、各フレームが前のフレームのみに依存することで因果関係を維持し、生成されるデータの整合性と因果関係の一貫性を確保します。
• 拡散モデルと拡散変換器このモデルは拡散モデリングの原理に基づいており、段階的なノイズ除去処理によってビデオフレームを生成します。拡散トランスフォーマーはNFDの重要な構成要素であり、トランスフォーマーアーキテクチャの強力なモデリング機能を活用して、ビデオの時空間的な依存関係を処理します。
• 一貫性蒸留サンプリング処理を高速化するために、一貫性蒸留技術を導入し、簡略化された一貫性モデル（sCM）を画像領域からビデオ領域に拡張することで、生成コンテンツの高品質を維持しながら生成速度を大幅に向上させる。
• 推測的サンプリング隣接するフレームにおける動作入力の一貫性を活用することで、将来のフレームを事前に生成できます。動作入力に変化が後から検出された場合、事前に生成されたフレームは破棄され、最後に検証されたフレームから生成が再開されるため、推論時間が大幅に短縮され、リアルタイム生成の効率が向上します。
• 行動条件付けNFD（ネットワーク機能依存性）は、アクション条件付き入力に基づいてビデオ生成の方向と内容を制御します。アクション入力は、ユーザーコマンド、制御信号、またはその他の形式の条件情報であり、モデルは入力に基づいて対応するビデオフレームを生成します。

Next-Frame Diffusionプロジェクトの住所

• プロジェクト公式サイト：https://nextframed.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2506.01380

ネクストフレーム拡散の応用シナリオ

• ゲーム開発このモデルは、プレイヤーの行動に基づいてリアルタイムで動的なゲーム環境を生成し、ゲーム体験を向上させます。
• 仮想現実（VR）と拡張現実（AR）このモデルは仮想シーンをリアルタイムで生成し、VRおよびARアプリケーションに没入感のある体験を提供する。
• 動画コンテンツ制作このモデルは、広告、映画、テレビ番組制作に適した高品質のビデオコンテンツを生成します。
• 自動運転とロボット工学訓練やテストで使用するために、さまざまな環境における自律走行車やロボットの挙動やシナリオを生成する。
• 教育と訓練これは、学生が科学実験を行い、学習するのに役立つ仮想実験環境を生成する。