GPDiT - 清華大学、北京大学、星晨傑岳らが共同開発した動画生成モデル。 - AiBoss

GPDiTとは何ですか？

GPDiT（Generative Pre-trained Autoregressive Diffusion Transformer）は、北京大学、清華大学、StepFun、および中国科学技術大学が共同開発した新しいビデオ生成モデルです。拡散モデルと自己回帰モデルの利点を組み合わせ、自己回帰アプローチを用いて将来のフレームを予測し、動きのダイナミクスと意味の一貫性を自然にモデル化します。GPDiTは、計算コストを削減するために軽量な因果的注意機構を導入し、パラメータフリーの回転ベースの時間条件戦略を採用することで、時間情報を効果的にエンコードします。GPDiTは、ビデオ生成、ビデオ表現、および少数ショット学習タスクにおいて非常に優れた性能を発揮し、さまざまなビデオモデリングタスクにおける汎用性と適応性を示しています。

GPDiTの主な機能

高品質なビデオ生成時間的な一貫性と動きの整合性が高い長尺のビデオシーケンスを生成します。
この動画は学習を象徴している。自己回帰モデルと拡散プロセスに基づいて、動画の意味論と動的表現を学習し、下流タスクで利用します。
少数ショット学習スタイル変換やエッジ検出など、さまざまなビデオ処理タスクに迅速に対応できます。
マルチタスク学習グレースケール変換、深度推定、人物検出など、さまざまなビデオ処理タスクをサポートしています。

GPDiTの技術原則

自己回帰拡散フレームワーク自己回帰アプローチに基づいて将来の潜在的なフレームを予測し、動きのダイナミクスと意味の一貫性を自然にモデル化します。
軽量な因果的注意軽量な因果的注意機構を導入することで、トレーニング中のクリーンフレーム間の注意計算を排除し、生成性能を損なうことなく計算コストを削減する。
回転基底時間条件付きメカニズムデータとノイズの成分によって定義される複素平面上での回転としてノイズ注入プロセスを再解釈し、adaLN-Zeroおよび関連するパラメータを除去し、時間情報を効果的にエンコードする、パラメータなしの回転ベース時間条件戦略を導入します。
連続ポテンシャル空間連続的な潜在空間におけるモデリングは、生成能力と表現能力の質を向上させる。

GPDiTプロジェクトの住所

arXiv技術論文：https://arxiv.org/pdf/2505.07344

GPDiTの応用シナリオ

動画制作広告、映画、テレビ、アニメーションなどに使用するための高品質な動画を生成します。
動画編集スタイル切り替え、色調整、解像度向上などが可能になります。
少数ショット学習人物検出やエッジ検出といったタスクにも迅速に対応できる。
内容理解動画コンテンツを自動的にラベル付け、分類、検索します。
創造的世代アーティストやデザイナーに、アートスタイルの動画制作を促す。