SkyReels-V2 - 崑崙万威氏によるオープンソースの無限長動画生成モデル

SkyReels-V2とは何ですか？

SkyReels-V2は、Kunlun Tech SkyReelsチームが開発した、無制限の長さの動画生成モデルです。拡散強制フレームワークに基づき、マルチモーダル大規模言語モデリング（MLLM）、多段階事前学習、強化学習技術を組み合わせることで、高品質で無制限の長さの動画コンテンツを生成します。SkyReels-V2は、キューワードの遵守、視覚品質、モーションダイナミクス、動画の長さの調整といった、既存技術の課題を解決します。ストーリー生成、画像から動画への合成、カメラディレクション機能、マルチエージェントによる一貫性のある動画生成など、様々なアプリケーションシナリオに対応します。モデルと関連コードはオープンソースであり、クリエイティブなコンテンツ制作や仮想シミュレーションのための強力なツールとなります。

SkyReels-V2の主な機能

• 無制限の長さのビデオ生成理論上無制限のビデオコンテンツの生成を可能にし、従来のビデオ生成モデルにおける時間的な制約を打ち破ります。
• ストーリー生成物語のテキストプロンプトに基づいて複雑な複数のアクションのシーケンスを配置し、ダイナミックな物語を実現します。
• 画像から動画への合成このソフトウェアは、静止画像を一貫性のある動画に変換するために、フルシーケンスのテキストからビデオへの拡散モデルを微調整する（SkyReels-V2-I2V）方法と、拡散強制モデルとフレーム条件を組み合わせる（SkyReels-V2-DF）方法の2つを提供します。
• カメラディレクター機能滑らかで多様なカメラモーション効果の生成をサポートし、動画の映画的な雰囲気を高めます。
• 要素からビデオ生成へこれは、テキストの指示に従って、人物、物体、背景などのあらゆる視覚要素を組み合わせて一貫性のあるビデオを作成するもので、短編ドラマ、ミュージックビデオ、仮想ECサイトのコンテンツ制作などの用途に適しています。

SkyReels-V2の技術原理

• マルチモーダル大規模言語モデル（MLLM）このシステムは、マルチモーダルな大規模言語モデルに基づいて動画の初期記述を生成し、サブエキスパートモデル（ショットの種類、ショットの角度、ショットの位置、表情、カメラの動きなど）を組み合わせることで、カメラ言語のより詳細な記述を提供します。人間の注釈とモデルのトレーニングに基づいて、カメラ言語の理解をさらに深め、生成された動画がキューワードに従う能力を大幅に向上させます。
• 多段階事前トレーニング：
  • 段階的解決事前トレーニングモデルの生成能力は、解像度を低解像度（256p）から高解像度（720p）へと段階的に上げていくことで、徐々に向上させていく。
  • 多段階のトレーニング後最適化これには、初期概念のバランス調整のための教師あり微調整（SFT）、動作特化型強化学習（RL）トレーニング、拡散強制フレーム（DF）トレーニング、およびモデルがさまざまな側面で最適なパフォーマンスを達成できるようにするための高品質SFTが含まれます。
• 強化学習（RL）本研究では、強化学習を用いて動作品質を最適化し、動作ダイナミクス、滑らかさ、物理的妥当性といった既存モデルの欠点を克服します。半自動データ収集パイプラインを用いて選好比較データペアを生成し、報酬モデルを訓練した後、直接選好最適化（DPO）を実行して動作品質を向上させます。
• 拡散強制フレームワーク各フレームに独立したノイズレベルを割り当てることで、ビデオ生成の拡張性を無制限に高めることができます。非減少ノイズタイムテーブルを使用することで、連続するフレームのノイズ除去タイムテーブルの探索空間をO(1 e 48)からO(1 e 32)に削減でき、生成効率を大幅に向上させることができます。
• 効率的なデータ処理と最適化このアプローチでは、汎用データセット、独自に収集したメディア、およびアートリソースライブラリを統合し、多段階のフィルタリングとアノテーションを用いてトレーニングデータの品質を確保します。FP8量子化、マルチGPU並列処理、およびモデル蒸留技術により、推論時間と計算コストが大幅に削減され、モデルの実用性が向上します。

SkyReels-V2プロジェクトの住所

• GitHubリポジトリ：https://github.com/SkyworkAI/SkyReels-V2
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/Skywork/skyreels-v2
• arXiv技術論文：https://arxiv.org/pdf/2504.13074

SkyReels-V2の応用事例

• 映画製作複雑なストーリー展開や長回しの撮影に対応するため、長さ無制限の連続動画を生成します。
• 広告制作静止画像を動画に変換することで、広告の魅力と表現力を高めることができます。
• ビデオ撮影アシスタント滑らかなカメラワーク効果を生成し、複雑な撮影シーンの設計と実現を支援します。
• 短編ドラマとミュージックビデオ高品質な動画を迅速に生成し、撮影コストと時間を削減します。
• バーチャルリアリティとゲーム開発ユーザー体験と没入感を高めるために、リアルな仮想シーンとキャラクターアニメーションを生成します。