FramePack - スタンフォード大学が開発したオープンソースのAI動画生成モデル

FramePackとは何ですか？

FramePackは、スタンフォード大学が開発したオープンソースのAI動画生成モデルです。入力フレームのコンテキスト長を圧縮することで、動画生成における「忘却」と「ドリフト」の問題を解決し、計算負荷を低く抑えながら大量のフレームを効率的に処理することを可能にします。FramePackは、一般的なノートパソコンで動作させるのに必要なGPUメモリがわずか6GBで、高解像度動画のリアルタイム生成をサポートし、アンチドリフトサンプリング技術に基づいて動画の安定性と一貫性を確保します。FramePackは、さまざまなアプリケーションシナリオに適した柔軟なスケジューリング戦略を提供し、AI動画生成におけるハードウェアの障壁を低減し、動画生成技術の普及を促進します。

FramePackの主な機能

• ビデオメモリの要件が低い動作に必要なビデオメモリはわずか6GBで、ノートパソコンのGPUでの使用に適しています。
• 高効率フレーム生成機能: 13Bモデルに基づいて、30fpsのフレームレートで数千フレームのビデオを生成します。
• 迅速な生成個々のRTX 4090グラフィックカードは、2.5秒/フレーム（最適化なし）または1.5秒/フレーム（最適化済み）を生成しました。

FramePackの技術的原則

• フレームコンテキストパッキングこの手法では、TransformerのPatchifyカーネルサイズを変更し、重要度の異なるフレームをそれぞれ異なる度合いで圧縮します。キーフレームはより多くの詳細情報を保持し（例：1536トークン）、重要度の低いフレームは大幅に圧縮されます（例：192トークン）。これにより、重要な情報を保持しながらメモリ使用量を大幅に削減できます。フレームの重要度は、ターゲットフレームからの時間的な距離によって決まります。ターゲットフレームに近い入力フレームほど重要度が高いとみなされます。
• ドリフト防止サンプリング双方向メモリの導入により、モデルは現在のフレームを生成する際に、最新のフレームと最初のフレームのコアフィーチャの両方を参照できるようになり、ドリフトを回避できます。
• 柔軟なスケジュール戦略：
  • 幾何学的圧縮フレームは幾何級数的に圧縮されるため、リアルタイムのシーン生成に適している。
  • 最初のフレームの優先順位画像から動画への変換においては、生成される動画が高品質で始まるように、最初のフレームの詳細を保持することが優先されます。
  • 対称圧縮すべてのフレームに対してイコライゼーション処理を行うため、安定した一貫性のある映像生成が求められる場面に適しています。
• 一定の計算複雑度上記で説明した圧縮およびスケジューリング戦略に基づき、FramePackは一定の計算複雑度を実現し、生成されるフレーム数に関わらず同じ計算リソース消費量を維持します。これにより、フレーム数の増加に伴う速度低下を最小限に抑えながら、長時間のビデオ生成タスクを効率的に処理することが可能になります。

FramePackプロジェクトのアドレス

• プロジェクト公式サイト：https://lllyasviel.github.io/frame_pack_gitpage/
• GitHubリポジトリ：https://github.com/lllyasviel/FramePack
• arXiv技術論文：https://lllyasviel.github.io/frame_pack_gitpage/pack.pdf

FramePackのアプリケーションシナリオ

• 短編ビデオおよびアニメーション制作滑らかなアニメーションを素早く生成し、制作コストを削減します。
• ゲーム開発リアルタイムで遷移アニメーションやダイナミックなシーンを生成し、没入感を高めます。
• 教育と訓練学習体験を向上させるために、指導ビデオや仮想トレーニングシナリオを作成する。
• 広告とマーケティング魅力を高めるために、パーソナライズされた動画広告や製品デモンストレーションを作成する。
• 消費者向けアプリケーションユーザーが作成した、エンターテイメントやソーシャルメディアでの共有を目的としたパーソナライズされた動画コンテンツ。