Seaweed APT2 - ByteDanceのAI動画生成モデル

Seaweed APT2とは何ですか？

Seaweed APT2は、ByteDanceが開発した革新的なAI動画生成モデルです。自己回帰型敵対的事後学習（AAPT）技術により、双方向拡散モデルを単方向自己回帰型生成器に変換し、効率的かつ高品質な動画生成を実現しています。このモデルは、単一のネットワーク順方向評価（1NFE）で複数の動画フレームを含む潜在空間フレームを生成できるため、計算量を大幅に削減できます。入力リサイクル機構とキーバリューキャッシュ（KV Cache）技術により、長時間の動画生成をサポートし、従来の長時間動画生成モデルでよく見られる動きのずれや物体の変形といった問題を解決します。単一のGPUで毎秒24フレームの滑らかな動画ストリーム生成を実現し、リアルタイム3D世界探索やインタラクティブな仮想人間生成といった強力な機能をサポートしており、映画やテレビの特殊効果、ゲーム開発、仮想現実、広告制作など幅広い分野で活用されています。

海藻APT2の主な機能

• リアルタイム3D世界探索ユーザーは、カメラの視点（パン、チルト、ズーム、前後移動など）を制御することで、生成された3D仮想世界を自由に探索でき、没入感のある体験が得られます。
• インタラクティブな仮想人間生成仮想キャラクターのポーズや動きをリアルタイムで生成・制御することができ、仮想アンカーやゲームキャラクターなどのシナリオに適しています。
• 高フレームレートのビデオストリーム単一のH100 GPUで毎秒24フレーム、解像度640×480の滑らかなビデオ生成を実現し、8つのGPUでより高解像度の720p出力をサポートします。
• 無限シーンシミュレーション潜在空間にノイズを導入することで、モデルは多様なリアルタイムシーンを動的に生成し、「無限の可能性」を示すことができる。

Seaweed APT2の技術原理

• 自己回帰型敵対的事後学習（AAPT）手法従来の拡散モデルにおける多段階推論方式を廃止し、事前学習済みの双方向拡散モデルを単方向自己回帰生成器へと変換しました。敵対的ターゲットを用いて動画のリアリズムと長期的な時間的一貫性を最適化することで、従来のモデルで長時間の動画生成時によく見られる動きのずれや物体の変形といった問題を解決します。
• 単一ネットワーク順方向評価（1NFE）ネットワークの各順方向評価により、4つのビデオフレームを含む潜在空間フレームを生成できるため、計算の複雑さが大幅に軽減され、生成効率が向上します。
• 入力リサイクルメカニズム各フレームは入力として再利用されるため、長時間の動画でも動作の連続性が確保され、従来モデルでよく見られる動きの途切れの問題を回避できます。
• キーバリューキャッシュ（KVキャッシュ）技術1NFEと組み合わせることで、長時間の動画生成をサポートし、その計算効率は既存モデルをはるかに凌駕する。

Seaweed APT2プロジェクトの住所

• プロジェクト公式サイト：https://seaweed-apt.com/2
• arXiv技術論文：https://arxiv.org/pdf/2506.09350

Seaweed APT2の応用シナリオ

• 映画やテレビの特殊効果複雑なシーンや特殊効果を迅速に生成でき、制作コストを削減し、クリエイティブな効率性を向上させることができます。
• ゲーム開発リアルタイムでインタラクティブな仮想シーンやキャラクターを提供することで、ゲームの没入感を高めます。
• バーチャルリアリティ（VR）VRアプリケーション向けにリアルな仮想環境とキャラクターを生成し、ユーザーエクスペリエンスを向上させます。
• 広告の創造性さまざまなシナリオのニーズに合わせて、クリエイティブな広告動画を迅速に作成します。