Seaweed APT - ByteDanceのワンステップ画像・動画生成プロジェクト

Seaweed APTとは何ですか？

ByteDanceが開発したSeaweed APTは、ワンストップで画像と動画を生成できる敵対的学習後モデルです。事前学習済みの拡散モデルをベースに、Seaweed APTは、事前学習済みモデルを教師として使用してターゲットを生成するのではなく、敵対的な方法で実データに対して直接学習を行い、単一の生成ステップで高品質の画像と動画を出力します。Seaweed APTは、決定論的蒸留で初期化されたジェネレータ、強化された識別器アーキテクチャ、近似R1正則化目的など、いくつかの改良を導入し、学習の安定性と生成品質を向上させています。実験結果によると、Seaweed APTは、1ステップで1024ピクセルの画像と2秒間の1280×720、24fpsの動画を生成でき、視覚的な忠実度において従来のマルチステップ拡散モデルを凌駕しています。

海藻APTの主な機能

• ワンステップで高品質な画像を生成する1024ピクセルの解像度で画像を生成でき、その視覚的な忠実度、ディテール、構造的な完全性は、多段階拡散モデルに匹敵する。
• ワンステップで高解像度ビデオを生成初めて1280×720、24fps、2秒の動画生成を実現し、動画生成の効率と品質を大幅に向上させた。
• リアルタイム生成機能Seaweed APTは、8つのH100 GPUを並列処理することで、単一のH100 GPU上で2秒間の1280×720ピクセル、24fpsの動画を6.03秒で生成できます。生成プロセス全体はリアルタイムで処理されます。
• 事前学習済みモデルを超えてSeaweed APTは、実際のデータに対して直接敵対的学習を行うことで、事前に計算されたビデオサンプルの高コストを回避し、特にリアリティ、ディテール、露出といった特定の評価指標において、事前学習済みの拡散モデルを上回る性能を発揮します。

海藻APT技術原理

• 事前学習済み拡散モデルの初期化初期化に事前学習済みの拡散変換器（DiT）を使用することで、ビデオサンプルを事前に計算する高コストを回避でき、一部の評価指標において事前学習済みモデルよりも優れた性能を発揮します。
• 競争力のあるトレーニング敵対的学習目標に基づいた実データを用いた学習は、実際の分布により近いサンプルを生成し、生成されるサンプルの品質と現実性を向上させる。
• 発電機設計ジェネレータは、離散時間一貫性蒸留と平均二乗誤差損失を用いた決定論的蒸留によって初期化されます。トレーニング中、ジェネレータは主に単一ステップ生成能力に焦点を当て、最終時間ステップTを一貫して入力します。
• 識別器設計識別器は、事前学習済みの拡散ネットワークを用いて初期化され、潜在空間で直接動作します。識別器は、合計80億個のパラメータを持つ36個のTransformer層で構成されています。複数のタイムステップで新しいクロスアテンションブロックを導入することで、識別器は実在サンプルと生成サンプルをより正確に区別できるようになります。
• 近似R1正則化大規模TransformerモデルにおけるR1正則化のための高次勾配の計算という問題に対処するため、近似手法を提案する。この手法は、実データに小分散のガウスノイズを加えることで、実データ上の識別器の勾配を低減し、元のR1正則化と同じ目的を達成する。
• トレーニングの詳細トレーニングプロセスは画像から始まり、次に動画へと進みます。多数のH100 GPUと勾配蓄積を用いることで大きなバッチサイズを実現し、トレーニングの安定性と構造的整合性を向上させています。トレーニングプロセスを安定させるために指数移動平均（EMA）減衰率が採用され、安定性を確保するためにトレーニング中に学習率が調整されます。

Seaweed APTプロジェクトの住所

• プロジェクト公式サイト：https://seaweed-apt.com
• arXiv技術論文：https://arxiv.org/pdf/2501.08316

海藻APTの応用シナリオ

• 動画広告制作高品質で多様な動画広告を迅速に作成し、制作コストと時間を削減します。
• 映画およびテレビコンテンツ制作映画やテレビシリーズ向けに特定のスタイルのビデオクリップを生成することで、クリエイティブな効率性とコンテンツの多様性を向上させます。
• ソーシャルメディアコンテンツユーザーエンゲージメントとコンテンツの魅力を高めるために、パーソナライズされた高品質な動画や画像を生成します。
• ゲーム開発ゲーム内のキャラクター、シーン、小道具の画像を素早く生成することで、ゲーム開発プロセスを加速させます。
• 教育と訓練教育効果と研修の質を向上させるための教育ビデオや研修教材を作成する。