SkyReels-V1 - Kunlun Tech初のオープンソース動画生成モデル。AIによる短編ドラマ制作向け。

SkyReels-V1とは何ですか？

SkyReels-V1は、Kunlun Wanweiが開発したAIを活用した短編ドラマ制作のための初のオープンソース動画生成モデルです。数千万件に及ぶ高品質な映画やテレビ番組のデータセットを微調整することで、映画レベルの微細な表情や身体の動きを生成し、33種類の微妙な表情と400種類以上の自然な動きの組み合わせをサポートすることで、リアルな感情表現を高度に再現します。このモデルは、テキストから動画への生成と画像から動画への生成の両方をサポートし、オープンソース動画生成モデルの中で最先端（SOTA）のパフォーマンスを実現しています。SkyReels-V1は、独自開発の推論フレームワークSkyReels-Inferを活用することで推論効率を大幅に向上させ、マルチGPU並列処理と低メモリ最適化をサポートし、一般消費者向けグラフィックカードでも高品質な動画を効率的に生成します。

SkyReels-V1の主な機能

• 高品質な映画・テレビ向け映像制作映画のような照明効果、繊細な表情、自然な身体の動きを取り入れたビデオコンテンツの生成をサポートします。構図、俳優の配置、カメラアングルなど、あらゆるフレームにおいて高品質な映画のようなクオリティを実現しています。
• 顔の表情や動きを細かくコントロールする33種類の繊細な表情と400種類以上の自然な動作の組み合わせをサポートし、笑い、咆哮、驚き、泣きなどの微表情の生成にも対応しています。
• テキストベースの動画と画像ベースの動画テキストからビデオへの変換と画像からビデオへの変換という2つの生成方法をサポートしています。
• マルチシナリオ対応一人撮影と複数人撮影の両方に対応し、複雑なシーンや感情表現もサポートします。

SkyReels-V1の技術原理

• 独自開発のデータクリーニングおよびラベリングパイプラインこのモデルは、ハリウッド映画やテレビシリーズなどの高品質な映画・テレビ番組データを用いて学習され、独自開発のデータクリーニングおよびアノテーションパイプラインに基づいて、キャラクターの表情、動作、シーンなどにきめ細かなアノテーションを施すことで、人間の演技を理解するモデルの能力を向上させます。
• 複数段階の事前学習と微調整：
  • フェーズ1モデルのドメイン適応事前学習は、基本モデルを人間中心のビデオドメインに適合させる。
  • フェーズ2テキストから動画への変換モデルを画像から動画への変換モデルに変換し、同じデータセットで事前学習を行う。
  • フェーズ3高品質なサブセットを用いた微調整により、複雑な動画生成タスクにおいてモデルの高いパフォーマンスが保証されます。
• マルチモーダルな理解と生成キャラクターの表情、行動、場面、筋書きに対するマルチモーダルな理解を組み合わせることで、行動意味単位とキャラクターの空間位置認識技術が構築され、正確なキャラクター演技生成が実現される。
• 効率的な推論最適化：
  • FP8量子化、パラメータレベルのオフロード、および最適化されたアテンションメカニズム（SageAttnなど）を採用することで、メモリ使用量を大幅に削減し、推論速度を向上させます。
  • マルチGPU並列推論をサポートし、分散コンピューティングに基づいて生成効率をさらに向上させます。

SkyReels-V1プロジェクトのアドレス

• GitHubリポジトリ：https://github.com/SkyworkAI/SkyReels-V1
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/Skywork/skyreels-v1

SkyReels-V1の応用事例

• AI短編ドラマおよび映画制作これにより、高品質な短編ドラマや映画・テレビの特殊効果を低コストで制作することが可能になり、制作プロセスが簡素化され、効率が向上します。
• 仮想コンテンツ生き生きとしたバーチャルアンカー、バーチャルアイドル、その他のキャラクターを作成し、自然な表情や動きを提供します。
• 広告とマーケティング多様なマーケティングニーズに対応するブランド広告動画を迅速に作成します。
• 教育と訓練言語学習、歴史再現、科学実験などを支援する、魅力的な教育ビデオを作成する。
• ソーシャルメディアユーザーのコンテンツ作成と共有のニーズを満たす、パーソナライズされたショートビデオを生成します。