project
CogVideoX v1.5 - Zhipuの最新オープンソースAI動画生成モデル
CogVideoX v1.5 は、Zhipu が開発した最新のオープンソース AI ビデオ生成モデルです。このモデルには、CogVideoX v1.5-5B と CogVideoX v1.5-5B-I2V の 2 つのバージョンがあります。5B シリーズモデルは、768P 解像度で 5 秒から 10 秒の長さのビデオを 16 ビットで生成できます。
CogVideoX v1.5とは何ですか？
CogVideoX v1.5は、Zhipuが開発した最新のオープンソースAI動画生成モデルです。このモデルには、CogVideoX v1.5-5BとCogVideoX v1.5-5B-I2Vの2つのバージョンがあります。5Bシリーズモデルは、768P解像度、1秒あたり16フレームで5～10秒の動画生成に対応しています。I2Vモデルは、あらゆるアスペクト比の画像を動画に変換できます。近日中に内部テストで利用可能になるCogSoundオーディオモデルと組み合わせることで、対応するAIオーディオエフェクトを自動的に生成できます。このモデルは、画像生成動画の品質、美的パフォーマンス、動きのリアリズム、複雑な意味理解において大幅な改善を示しています。Zhipu AIはCogVideoX v1.5をオープンソース化しており、そのコードはGitHubからアクセスできます。
CogVideoX v1.5の主な機能
- 高精細ビデオ生成10秒間の4K解像度、60フレームの超高精細ビデオの生成をサポートし、高品質な映像体験を提供します。
- あらゆるサイズのスケールI2V（画像から動画への変換）モデルは、あらゆるサイズとアスペクト比の動画生成をサポートし、さまざまな再生シナリオに対応します。
- ビデオ生成機能CogVideoX v1.5-5Bは、テキストからビデオを生成する機能に重点を置いており、ユーザーが入力したテキストに基づいて対応するビデオコンテンツを生成できます。
- マルチチャンネル出力同じコマンドや画像で複数の動画を同時に生成できるため、クリエイティブな柔軟性が向上します。
- 効果音付きAI動画CogSoundのサウンドモデルと組み合わせることで、映像に合わせた効果音を生成し、動画の視聴体験全体を向上させることができます。
- 画質の向上画像生成動画の性能は、画質、美的表現、動きの一貫性、複雑な手がかり語の意味理解といった点で大幅に向上した。
CogVideoX v1.5の技術原理
- データフィルタリングとデータ拡張：
- 自動フィルタリングフレームワーク動的な接続性に欠けるビデオデータをフィルタリングし、トレーニングデータの品質を向上させるための自動フィルタリングフレームワークを開発する。
- エンドツーエンドの動画理解モデルCogVLM2-captionモデルは、正確なビデオコンテンツの説明を生成するために使用され、テキストの理解度と指示の遵守能力を向上させます。
- 3D変分オートエンコーダー（3D VAE）：
- ビデオデータ圧縮3D VAEに基づき、ビデオデータは元のサイズの2%に圧縮され、トレーニングのコストと難易度が軽減されます。
- 時間的因果畳み込みこのモデルは、時間的因果畳み込みに基づくコンテキスト並列処理メカニズムを採用することで、解像度転送能力と時間次元におけるシーケンス独立性を向上させている。
- トランスフォーマーアーキテクチャ：
- 三次元統合独自に開発されたこのアーキテクチャは、テキスト、時間、空間という3つの次元を統合し、従来の相互注意モジュールを排除し、テキストとビデオという2つのモダリティ間の相互作用を強化する。
- 3Dフルアテンションメカニズム3Dフルアテンションメカニズムに基づき、視覚情報の暗黙的な伝達が削減されるため、モデリングの複雑さが軽減される。
- 3D回転位置エンコーディング（3D RoPE）：3D RoPEは、時間の経過に伴うフレーム間の関係性を捉えるモデルの能力を向上させ、動画における長期的な依存関係を確立します。
- 拡散モデルトレーニングフレームワーク：
- クイックトレーニング我々は効率的な拡散モデル学習フレームワークを構築し、並列計算と時間最適化技術を用いて、長時間のビデオシーケンスの高速学習を実現する。
- 任意解像度ビデオ生成NaViTメソッドから着想を得ることで、このモデルはトリミングすることなく、解像度や再生時間の異なる動画を処理できるため、トリミングによって生じるバイアスを回避できます。
CogVideoX v1.5 のプロジェクトアドレス
- GitHubリポジトリ：https://github.com/THUDM/CogVideo
- ハギングフェイスモデルライブラリ：https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT（CogVideoX1.5-5B）
CogVideoX v1.5のアプリケーションシナリオ
- コンテンツ作成ソーシャルメディアプラットフォーム向けにパーソナライズされた短い動画コンテンツを生成したり、映画やビデオ制作において、特殊効果シーンやプレビュー動画を生成したりします。
- 広告とマーケティング商品特性に基づいて魅力的な動画広告を迅速に生成し、広告の魅力とコンバージョン率を向上させます。さまざまなユーザーグループに合わせて動画コンテンツをカスタマイズすることで、的確なマーケティングを実現します。
- 教育と訓練学生が複雑な概念や理論をよりよく理解できるよう、教育ビデオを作成する。
- ゲームとエンターテイメントゲーム体験を向上させるために、ゲーム用の動的な背景動画やストーリーアニメーションを生成します。