Wanxiang 最初と最後のフレームモデル - Alibaba Tongyi がオープンソース化した、最初と最後のフレームのビデオ生成モデル - AiBoss

万向（Wanxiang）の最初と最後のフレームモデルは何ですか？

Wan2.1-FLF2V-14Bは、14個のパラメータを持つオープンソースの最初と最後のフレーム生成ビデオモデルです。ユーザーが提供する最初と最後のフレーム画像に基づいて、モデルは滑らかで高精細なビデオトランジションを自動的に生成し、さまざまなスタイルとエフェクトをサポートします。Wan2.1-FLF2V-14Bモデルは、高度なDiTアーキテクチャをベースに、高効率ビデオ圧縮VAEモデルとクロスアテンションメカニズムを組み合わせることで、生成されるビデオの高い時空間的一貫性を保証します。ユーザーは、Wan2.1-FLF2V-14Bの公式サイトで無料で体験できます。

万向第一・最終フレームモデルの主な機能

最初と最後のコマ送り動画ユーザーが指定した最初と最後のフレームに基づいて、720p解像度の滑らかな5秒間の動画を生成します。
複数のスタイルに対応リアル、カートゥーン、コミック、ファンタジーといった様々なスタイルの動画生成に対応しています。
細部まで再現され、リアルなアクションを実現入力画像の細部まで正確に再現し、鮮やかで自然な動きの遷移を生み出します。
指示に従いましたカメラの動き、被写体の行動、特殊効果の変更といった指示に基づいて、ビデオコンテンツを制御します。

万翔第一・最終フレームモデルの技術原理

DiTアーキテクチャコアアーキテクチャはDiT（Diffusion in Time）に基づいており、特に動画生成向けに設計されています。フルアテンション機構を利用することで、動画内の長期的な時空間的依存関係を正確に捉え、生成される動画における高い時間的・空間的一貫性を確保します。
ビデオ圧縮VAEモデルこのシステムは、高効率なビデオ圧縮VAE（変分オートエンコーダー）モデルを導入することで、高品質なビデオ生成を維持しながら計算コストを大幅に削減します。これにより、高解像度ビデオの生成がより経済的かつ効率的になり、大規模なビデオ生成タスクをサポートします。
条件付き制御分岐ユーザーが指定した最初と最後のフレームは制御条件として機能し、追加の条件付き制御分岐に基づいて、最初と最後のフレームを滑らかかつ正確に変換します。最初と最後のフレームは、複数のゼロパディング中間フレームと連結され、制御ビデオシーケンスを形成します。このシーケンスはさらにノイズとマスクと連結され、拡散変換（DiT）モデルへの入力として使用されます。
相互注意メカニズム最初と最後のフレームのCLIPセマンティック特徴が抽出され、クロスアテンション機構を介してDiT生成プロセスに注入されます。画像安定性制御により、生成されたビデオが最初と最後の入力フレームと意味的にも視覚的にも高い整合性を保つことが保証されます。
訓練と推論トレーニング戦略は、データ並列処理（DP）と完全シャーディングデータ並列処理（FSDP）を組み合わせた分散型アプローチであり、720p、5秒のビデオスライスでのトレーニングをサポートします。モデルのパフォーマンスは、次の3つの段階で段階的に向上します。
- フェーズ1マスキングメカニズムを学習するためのハイブリッドトレーニング。
- フェーズ2最初と最後のフレームを生成する能力を最適化するための専門的なトレーニング。
- フェーズ3高精度なトレーニングは、細部の再現性と動作の滑らかさを向上させる。

万向第一・最終フレームモデルのプロジェクト住所

GitHubリポジトリ：https://github.com/Wan-Video/Wan2.1
ハギングフェイスモデルライブラリ：https://huggingface.co/Wan-AI/Wan2.1-FLF2V-14B-720P

万向第一・最終フレームモデルの応用シナリオ

クリエイティブなビデオ制作シーンの切り替えや特殊効果の変化を取り入れた、クリエイティブな動画を素早く作成できます。
広告とマーケティング視覚的な魅力を高めるために、魅力的な動画広告を作成しましょう。
映画やテレビの特殊効果季節の変化や昼夜のサイクルといった特殊効果ショットを生成する。
教育と実演教育やデモンストレーションを補助する、鮮やかなアニメーション効果を作成する。
ソーシャルメディアファンを引きつけ、エンゲージメントを高めるために、パーソナライズされた動画を作成する。