CogVideoX-5B-I2V - Zhipu AIによるオープンソースのグラフベース動画生成モデル。

CogVideoX-5B-I2Vとは何ですか？

CogVideoX-5B-I2Vは、Zhipu AIが開発したオープンソースの画像から動画への変換モデルで、単一の画像とテキストプロンプトから動画を生成します。このモデルは、3D因果変分オートエンコーダーとエキスパート適応型LayerNormテクノロジーを採用しており、720×480ピクセルの解像度で6秒間の動画を出力できます。CogVideoX-5B-I2Vのコードはオープンソースで、教育や仮想現実、エンターテイメント、ソーシャルメディアなど、さまざまなアプリケーションシナリオに対応しています。CogVideoX-5B-I2Vのオープンソース化により、CogVideoXシリーズのオープンソースモデルは、テキストから動画への変換、動画拡張、画像から動画への変換という3つのタスクをサポートするようになりました。

CogVideoX-5B-I2Vの主な機能

• 画像生成ビデオユーザーは画像とそれに対応するテキストプロンプトを提供することができ、モデルはこれらの入力に基づいてビデオコンテンツを生成します。
• 高画質ビデオ出力720×480の解像度での動画生成をサポートし、動画の鮮明さと視聴体験を保証します。
• 多倍長推論のサポートさまざまなハードウェア条件に適応し、FP16、BF16、FP32、INT8などのさまざまな精度での推論モードをサポートします。
• ハードウェアの互換性RTX 3060のようなデスクトップレベルのグラフィックカードでも動作するため、ユーザーにとっての参入障壁が低くなります。

CogVideoX-5B-I2Vの技術原理

• 3D因果変分オートエンコーダー（3D因果VAE）：モデル学習時の計算複雑性を低減するために、ビデオデータを空間的および時間的次元の両方で効果的に圧縮する。3D畳み込み演算を用いることで、映像を空間的にも時間的にも圧縮することができ、映像再構成の品質と連続性を向上させることができる。時間的因果畳み込みを用いることで、将来の情報が現在または過去の予測に影響を与えないようにし、生成される動画における「ちらつき」現象を回避する。
• 段階的なトレーニング技術：このモデルは、低解像度で短時間の動画から始め、徐々に高解像度で長時間の動画へと移行していくことで、動画処理能力を段階的に向上させるため、混合時間トレーニングと段階的解像度トレーニングを採用している。この段階的な学習方法により、モデルはより詳細を捉えることができ、ビデオ生成の安定性とパフォーマンスを向上させることができます。
• 明示的な均一サンプリング：学習中の時間ステップサンプリングの均一性を確保するため、明示的な均一サンプリング手法を提案する。データ並列度レベルで異なる時間ステップサンプリング間隔を設定することで、学習中の損失関数をより安定させることができる。

CogVideoX-5B-I2V プロジェクトアドレス

• ハギングフェイスモデルライブラリ：https://huggingface.co/THUDM/CogVideoX-5b-I2V

CogVideoX-5B-I2Vの応用シナリオ

• エンターテインメントとソーシャルメディアユーザーはCogVideoX-5B-I2Vを使用して、ソーシャルメディアでの共有やエンターテイメント目的のためのパーソナライズされたビデオコンテンツを作成できます。例えば、バーチャル旅行ビデオやアニメーションストーリーなどを作成できます。
• 映画およびゲーム制作制作の初期段階では、モデルを使用してビデオプレビューを迅速に生成することができ、監督やプロデューサーが脚本のシーンを視覚化したり、ゲーム内のキャラクターや環境のプロトタイプを作成したりするのに役立ちます。
• 教育と訓練教育分野においては、シミュレーション実験や歴史的出来事の再現といった教育用ビデオを作成し、学習体験を向上させることができる。