SkyReels-A2 - Kunlun Techが発表した、制御可能なビデオ生成フレームワーク - AiBoss

SkyReels-A2とは何ですか？

SkyReels-A2は、Kunlun Techが開発した制御可能な動画生成フレームワークです。テキストプロンプトに基づいて、人物、物体、背景などのあらゆる視覚要素を組み合わせて合成動画を作成し、各要素の参照画像との整合性を厳密に維持します。包括的に設計されたデータパイプラインに基づき、モデル学習用のプロンプト、参照画像、動画の3要素セットを構築し、斬新な画像・テキスト結合埋め込みモデルを導入しています。SkyReels-A2は、推論パイプラインの速度と出力安定性を最適化し、システム評価用のA2 Benchベンチマークを導入しています。

SkyReels-A2の主な特徴

複数要素の組み合わせこれは、人物、物体、背景など、あらゆる視覚要素を組み合わせて合成ビデオを作成し、各要素の参照画像との一貫性を厳密に維持します。
テキスト駆動型生成このシステムはテキストプロンプトに基づいて動画を生成するため、ユーザーはテキストの説明に基づいて動画の内容とスタイルを正確に制御できる。
高画質ビデオ出力生成される動画は高解像度かつ高品質であり、様々なアプリケーションシナリオのニーズを満たします。
リアルタイムのインタラクション生成プロセス中にユーザーがリアルタイムで操作できるようにすることで、生成パラメータを調整し、ニーズにより適したビデオ結果を得ることができます。

SkyReels-A2の技術原理

拡散モデルSkyReels-A2は、拡散モデルの特性を利用して、ノイズを段階的に高品質のビデオコンテンツに変換します。このモデルは、テキストや画像などの手がかりを用いて生成プロセスをガイドしながら、ランダムなノイズを徐々に目的のビデオへと変換するノイズ除去プロセスに基づいています。
画像とテキストの同時埋め込みモデルSkyReels-A2は、参照画像とテキストキューを共有特徴空間に埋め込む、斬新な画像・テキスト結合埋め込みモデルを採用しています。デュアルブランチ構造に基づき、参照画像から空間的特徴と意味的特徴を抽出し、拡散モデルの生成プロセスに注入します。空間的特徴は、局所的な詳細の保持を保証するために3D VAE（変分オートエンコーダー）を使用して抽出され、意味的特徴は、全体的な意味的一貫性を保証するためにCLIPモデルを使用して抽出されます。
データパイプライン高品質なテキスト、参照画像、およびビデオトリプルを生成するための包括的なデータパイプラインを構築します。このデータパイプラインには、ビデオの前処理、キーフレームのセグメンテーション、マルチエキスパートによるビデオキャプションの生成、および視覚要素の抽出などのステップが含まれており、生成されたトレーニングデータがモデル学習を効果的にサポートできるようにします。
最適化された推論パイプラインSkyReels-A2は、生成速度と安定性を向上させるため、推論パイプラインを最適化しています。UniPCのマルチステップスケジューリング戦略に基づき、並列処理技術（Context Parallel、CFG Parallel、VAE Parallelなど）と組み合わせることで、モデル推論の効率を大幅に向上させています。また、モデル量子化とパラメータレベルのオフロード戦略により、GPUメモリ消費量を削減し、一般消費者向けGPUでの動作にも対応しています。
評価基準A2SkyReels-A2は、要素からビデオへの変換（E2V）タスクのパフォーマンスを評価するためのベンチマークであるA2 Benchを導入しました。A2 Benchは、構図の一貫性、視覚的な品質、テキストの配置など、複数の側面からパフォーマンスを評価し、モデルのパフォーマンスがさまざまなシナリオにおける実際のアプリケーション要件を満たしていることを保証します。

SkyReels-A2プロジェクトの住所

プロジェクト公式サイト：https://skyworkai.github.io/skyreels-a2.github.io/
GitHubリポジトリ：https://github.com/SkyworkAI/SkyReels-A2
ハギングフェイスモデルライブラリ：https://huggingface.co/Skywork/SkyReels-A2
arXiv技術論文：https://arxiv.org/pdf/2504.02436

SkyReels-A2の応用事例

演劇および映画制作仮想シーンやキャラクターの動画を迅速に生成し、撮影コストを削減します。
仮想eコマースショッピング体験を向上させるために、商品紹介動画やバーチャル試着動画を作成する。
ミュージックビデオ制作複雑な撮影作業を必要とせずに、音楽コンテンツに基づいたクリエイティブな動画を作成できます。
広告とマーケティング魅力を高めるために、パーソナライズされた広告やブランドプロモーションビデオを作成する。
教育と訓練教育効果を高めるために、仮想的な教育シナリオやスキルデモンストレーション動画を作成する。