LanDiff - 浙江大学とDark Side of the Moonが共同開発した、テキストからビデオを生成するハイブリッドフレームワーク。

LanDiffとは何ですか？

LanDiffは、高品質なテキストからビデオへの変換（T2V）を実現する革新的なハイブリッドフレームワークです。自己回帰言語モデル（LLM）と拡散モデルの利点を組み合わせ、粗密生成アプローチによって、意味理解と視覚品質における単一手法の限界を効果的に克服しています。VPench T2Vベンチマークでは85.43という高得点を獲得し、13BのHunyuan Videoをはじめとする複数のオープンソースおよび商用モデルを凌駕しました。

LanDiffの主な機能

• 高効率セマンティック圧縮セマンティックタガーは、豊富な意味情報を保持しながら、3D視覚特徴を最大14,000倍の圧縮率で1D離散表現に圧縮します。
• 高品質なビデオ生成ストリーミング拡散モデルに基づき、セマンティックタグを高精細な動画に洗練することで、長時間の動画生成をサポートし、計算コストを削減します。
• 意味的一貫性と因果モデリングこの手法は、自己回帰的な言語モデルの生成を利用することで、動画とテキストの一貫性と時間的な整合性を極めて高く保ち、従来の拡散モデルにおける時間的な不整合の問題を回避します。
• 柔軟な制御とカスタマイズフレームレート、モーションスコア、その他の条件を制御でき、特定の長さと動的特性を持つビデオを生成し、高品質な視覚効果と意味的な正確さのバランスを取ることができます。
• 高効率コンピューティングと最適化この手法は、ビデオフレームのグループ化技術を用いて時間的な冗長性を低減し、効率的なTransformer構造とアテンションメカニズムを用いて計算リソースの消費を削減します。

LanDiffの技術原則

• 粗密生成パラダイムLanDiffは2段階の生成プロセスを採用しています。
  • フェーズ1（粗粒度生成）セマンティックタグは、言語モデル（LLM）に基づいて生成されます。これらのタグは、動画の高レベルな意味構造を表し、その後の動画生成のための設計図となります。
  • 第2段階（きめ細かい生成）セマンティックタグは拡散モデルを通して高精細な動画へと洗練され、詳細が段階的に追加されることで最終的に高品質な動画が生成される。
• セマンティックタガーこの手法は、3D視覚特徴をコンパクトな1D離散表現に圧縮し、最大14,000倍の圧縮率を実現します。MP4ビデオ符号化アルゴリズムに着想を得て、ビデオフレームはキーフレーム（IFrame）と非キーフレーム（PFrame）に分割されます。キーフレームは完全にエンコードされますが、非キーフレームは時間的な変化のみを捉えるため、時間的な冗長性が大幅に削減されます。
• 言語モデルテキスト特徴は、事前学習済みのT5-XXLモデルを使用して抽出され、ビデオは1次元の離散タグシーケンスに変換されます。生成結果の制御性を高めるために、フレーム番号やモーションスコアなどの追加の制御条件が導入されます。セマンティックタグは、自己回帰アプローチによって生成され、生成されたコンテンツの意味的一貫性と時間的整合性を確保します。
• 流れ拡散モデルMMDiTと同様のアーキテクチャを採用しており、ビデオタガーデコーダを使用して意味タグを意味特徴にデコードし、それを条件付きガイダンス拡散モデルとして使用してビデオを生成する。

LanDiffのプロジェクト住所

• プロジェクト公式サイト：https://landiff.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2503.04606

LanDiffの応用事例

• ビデオ制作LanDiffは高品質なビデオコンテンツを迅速に生成できるため、ビデオクリエイター、広告会社、メディア組織がビデオ広告、短編映画、アニメーションなどを効率的に制作するのに役立ちます。
• 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションのコンテンツエコシステムを充実させるために、仮想シーンやキャラクターアニメーションを生成します。
• 教育ビデオ授業カリキュラムや知識ポイントの説明に基づいて、学生が複雑な概念をより直感的に理解できるよう、教育ビデオが作成されます。
• ソーシャルメディアコンテンツソーシャルメディアプラットフォーム向けに、パーソナライズされた魅力的な動画コンテンツを作成し、ブランドの影響力とユーザーエンゲージメントを高めます。