LinGen - Metaがプリンストン大学と共同で開発したテキストからビデオへの生成フレームワーク - AiBoss

LinGenとは何ですか？

LinGenは、プリンストン大学とMetaが共同開発した、テキストからビデオへの変換を可能にする革新的なフレームワークです。線形的に複雑なMATEモジュール（MAブランチとTEブランチを含む）をベースとしたこのフレームワークは、従来のDiffusion Transformerにおける二次複雑度の自己注意モジュールを置き換え、単一のGPU上で高解像度の1分間のビデオを効率的に生成することを可能にします。LinGenは、高品質なビデオ出力を維持しながら計算コストを大幅に削減し、ビデオ品質と生成効率の両面で既存の最先端モデルを凌駕することで、長尺ビデオ生成やリアルタイムインタラクティブビデオアプリケーションのための新たな道を切り開きます。

LinGenの主な機能

高解像度ビデオ生成高解像度ビデオ（512pや1024pなど）の生成をサポートし、高品質なコンテンツ制作のニーズに対応します。
長時間の動画生成分単位の長さの動画生成をサポートしており、短い動画（10～20秒）しか生成できない従来のモデルの限界を打破しています。
線形計算複雑度線形計算量を持つMATEモジュールをベースとしているため、計算コストが大幅に削減され、ビデオ生成の効率が向上し、単一のGPUでの実行に適しています。
高画質ビデオ出力生成された動画は、視覚的な品質とテキストの配置において、既存の最先端モデルに匹敵するものであり、フレーム間の一貫性も維持している。
リアルタイムインタラクティブビデオ生成LinGenは、リアルタイムでのインタラクティブなビデオ生成と編集を可能にし、様々な動的なコンテンツ作成シナリオに適しています。

LinGenの技術原則

MAブランチ（マルチスケールアテンションブランチ）：
- 双方向Mamba2モジュールMamba2は、線形複雑度を持つ効率的なシーケンスモデルであり、シーケンス内の双方向の依存関係を捉える双方向設計に基づいています。
- Rotary Major Scan（RMS）3Dビデオトークンテンソルは、短距離相関を強化し、計算遅延を削減するために、さまざまなスキャン方法（空間行優先、空間列優先、時間行優先、時間列優先など）に基づいて再配置されます。
- Review Tokensシーケンス処理の前に平均化されたトークンシーケンスを追加することで、シーケンス全体の全体像を把握でき、長距離相関が強化されます。
TE支部（時間注意支部）TESAは、3Dビデオトークンテンソルを小さなウィンドウに分割し、各ウィンドウ内で自己注意を計算することで、空間的に隣接し時間的に中間にあるトークン間の相関関係を捉えることができます。ウィンドウは異なるレイヤー間を交互に移動することで、受容野を拡大し、ビデオの一貫性を向上させます。
線形複雑度MATEモジュール設計に基づき、LinGenの計算複雑度は、従来のように生成ビデオのピクセル数に比例するのではなく、ピクセル数に比例します。これにより、LinGenは高品質な出力を維持しながら、計算コストを大幅に削減し、生成効率を向上させることができます。
トレーニング戦略LinGenは段階的な学習戦略を採用しており、まず低解像度のテキストから画像への変換タスクで事前学習を行い、その後、動画の解像度と長さを徐々に上げて、さらに事前学習を進めます。テキストから動画への事前学習段階では、テキストと画像のペア学習を組み合わせることで、生成される動画の一貫性を向上させます。さらに、高品質の動画データセットで微調整を行うことで、生成される動画の品質をさらに高めます。

LinGenのプロジェクトアドレス

プロジェクト公式サイト：https://lineargen.github.io/
GitHubリポジトリ：https://github.com/jha-lab/LinGen
arXiv技術論文：https://arxiv.org/pdf/2412.09856

LinGenの応用シナリオ

コンテンツ作成広告、映画、テレビシリーズなどの高品質な動画コンテンツを迅速に生成できるため、制作期間とコストを大幅に短縮できます。
エンターテインメント業界ゲームの視覚効果と没入感を高めるために、ゲーム内にカットシーンや背景動画を生成する。
教育と訓練コースの説明や実験デモンストレーションなどの教育ビデオを作成し、授業の楽しさとインタラクティブ性を高めます。また、従業員が知識を迅速に理解し習得できるよう、トレーニングビデオを作成し、トレーニングの効果を向上させます。
広告動画さまざまな広告シナリオのニーズに合わせて広告動画を迅速に生成し、広告制作の効率と効果を向上させます。
芸術創作アートビデオを制作することで、アーティストに新たな創造ツールを提供し、創造性を刺激する。