SkyReels-A3 - Kunlun Techが発表したデジタルヒューマン動画生成モデル

SkyReels-A3とは何ですか？

SkyReels-A3は、Kunlun Techが開発した高度なAIモデルです。DiT（Diffusion Transformer）ビデオ拡散アーキテクチャをベースに、フレーム補間、強化学習、カメラモーション制御技術を組み合わせています。音声処理によって写真や動画内の人物を「活性化」させ、話させたり、パフォーマンスさせたりすることができます。ユーザーはポートレート画像と音声をアップロードするだけで、自然で滑らかなビデオコンテンツを生成でき、最大60秒のシングルショット出力と無制限のマルチショット作成に対応しています。リップシンク、自然な動き、カメラモーション効果に優れており、広告、ライブストリーミング、ミュージックビデオなど、さまざまなシーンで活用でき、効率的かつ低コストなコンテンツ制作ソリューションを提供します。SkyReelsプラットフォームで利用可能で、Talking Avatarからアクセスできます。

SkyReels-A3の主な特徴

• フォトアクティベーションポートレート写真をアップロードして音声を追加すると、写真に写っている人物が音声に合わせて話したり歌ったりします。
• 動画制作ポートレート画像、音声、テキストプロンプトを入力すると、モデルは要件を満たすパフォーマンスビデオを生成できます。
• 動画スクリプトの変更元の動画の音声を置き換えると、キャラクターは自動的に新しい口の動き、表情、演技に合わせられ、滑らかな映像体験が得られます。
• アクションインタラクション製品とのインタラクションや、会話中のジェスチャーなど、自然な動作による操作をサポートします。
• カメラの動きの制御プッシュ、プル、パン、ライズ/フォールなど、さまざまなカメラ動作効果を提供し、ユーザーはカメラ動作の強度を調整してプロレベルのビデオを作成できます。
• 長尺動画の生成最大60秒までのシングルショット動画出力に対応しており、マルチショット動画はさまざまなシナリオのニーズに合わせて無制限に延長できます。

SkyReels-A3の技術原理

• インフラストラクチャーDiT（Diffusion Transformer）ビデオ拡散モデルに基づき、Transformer構造を用いて従来のU-Netを置き換え、長距離の依存関係を捉える。
• 3D-VAEエンコーディング動画データは、3D変分オートエンコーダー（3D-VAE）を用いて空間的および時間的な両方の次元で圧縮され、コンパクトな潜在表現を符号化することで、計算負荷を軽減します。
• フレーム補間と拡張フレーム補間モデルを用いて動画を拡張することで、長時間の動画生成が可能になる。
• 強化学習の最適化強化学習を導入し、キャラクターの動きの自然さとインタラクティブ性を最適化する。
• カメラの動き制御モジュールControlNetアーキテクチャに基づき、参照画像から深度情報を抽出し、カメラパラメータと組み合わせることで、カメラの動きによる効果を持つ動画を生成する。
• マルチモーダル入力画像、音声、テキストプロンプトなど、さまざまな入力に対応しており、高度に制御可能なビデオ生成を実現します。

SkyReels-A3プロジェクトの住所

• プロジェクト公式サイト：https://skyworkai.github.io/skyreels-a3.github.io/

SkyReels-A3の応用事例

• 広告とマーケティング有名人や商品をフィーチャーした、ダイナミックな広告動画を作成し、ブランドプロモーションを強化します。
• eコマースのライブストリーミング仮想ライブ配信や商品販売動画の作成をサポートし、配信者の負担を軽減するとともに、視聴者とのインタラクションを強化します。
• 映画とエンターテイメント音楽ビデオ、映画クリップ、アニメーションなどを制作し、芸術的な魅力と視聴者の関心を高める。
• 教育と訓練授業の楽しさと効率性を向上させるため、仮想教師が授業内容を説明したり、操作方法を実演したりする動画を作成する。
• ニュースメディアニュースや特別報道を放送する仮想アンカーを作成し、ニュースの適時性と多様性を向上させる。
• 個人的な創作活動と娯楽ユーザーは自分の写真や音声をアップロードして、誕生日のお祝いメッセージや結婚式のビデオなど、パーソナライズされたクリエイティブなビデオを作成できます。