Lumina-Video - 上海AI研究所と香港中文大学が開発した動画生成フレームワーク - AiBoss

Lumina-Videoとは何ですか？

Lumina-Videoは、上海AI研究所と香港中文大学が共同開発した動画生成フレームワークです。Next-DiTアーキテクチャをベースとし、動画生成における時空間的な複雑さを最適化します。マルチスケールNext-DiTアーキテクチャを採用することで、様々なサイズのパッチファイレイヤーを使用し、効率性と柔軟性を向上させています。モーションスコアは条件付き入力として使用され、生成される動画のダイナミックレンジを直接制御します。Lumina-Videoは、プログレッシブトレーニング、画像と動画の共同トレーニング、マルチソーストレーニング戦略により、トレーニング効率と生成品質をさらに向上させています。Lumina-Videoは、Lumina-V2Aモデルを拡張し、生成される動画に同期音声を追加することで、よりリアルな動画を実現しています。

Lumina-Videoの主な機能

高品質なビデオ生成高解像度、豊富なディテール、そして優れた時空間的整合性を備えたビデオコンテンツを生成します。
動的度数制御モーションスコアを入力として、ユーザーは生成されるビデオのダイナミックレンジを、静止画から非常にダイナミックな映像まで柔軟に調整できます。
マルチスケール生成さまざまな解像度とフレームレートでのビデオ生成をサポートし、多様なアプリケーションシナリオに対応します。
映像と音声の同期Lumina-V2Aモデルをベースに、生成されたビデオに映像コンテンツと同期した音声を追加することで、リアリティを高めています。
効率的な訓練と推論本手法は、段階的な学習と複数の情報源を用いた学習戦略を採用することで、学習効率とモデル性能を向上させ、推論段階では計算コストと生成品質のバランスを取るために、柔軟な多段階生成戦略を提供する。

Lumina-Videoの技術原理

マルチスケールNext-DiTアーキテクチャこのアプローチでは、サイズの異なる複数のパッチ化層と非パッチ化層を導入することで、モデルが異なる計算予算の下でビデオ構造を学習できるようにします。パッチサイズを動的に調整することで、モデルはリソース要件に基づいて推論フェーズ中の計算コストを柔軟に調整し、生成品質を維持します。
動作制御機構計算されたオプティカルフローの動きの割合に基づいて、この割合を拡散モデルに入力することで、生成されるビデオのダイナミックレンジを直接制御します。正例と負例の動きの条件の差を調整することで、ビデオのダイナミックレンジをきめ細かく制御できます。
段階的なトレーニング多段階トレーニング戦略に基づき、トレーニング効率を向上させるため、動画の解像度とフレームレートを段階的に上げていきます。画像と動画の連携トレーニングを組み合わせることで、高品質な画像データを用いて、モデルの視覚概念の理解度とフレームレベルの画質を向上させます。
複数の情報源からのトレーニング自然データと合成データを用いたトレーニングは、多様なデータを最大限に活用し、モデルの汎化能力と生成品質を向上させます。
映像と音声の同期（Lumina-V2A）Next-DiTとストリームマッチング技術に基づき、ビデオとテキストの特徴量を音声潜在表現と融合させ、映像コンテンツと同期した音声を生成します。生成された音声の品質と同期性を確保するため、事前学習済みの音声VAEとHiFi-GANボコーダーを用いて音声のエンコードとデコードを行います。

Lumina-Videoのプロジェクトアドレス

GitHubリポジトリ：https://github.com/Alpha-VLLM/Lumina-Video
arXiv技術論文：https://arxiv.org/pdf/2502.06782

Lumina-Videoの応用事例

コンテンツ制作とメディア制作映画、テレビシリーズ、広告、短編動画などのメディアコンテンツ制作のための効率的な生成ツールを提供し、高品質な動画素材を迅速に生成することで、制作コストを削減し、コンテンツ制作効率を向上させます。
仮想現実と拡張現実リアルな仮想シーンと動的なコンテンツを生成し、ユーザーエクスペリエンスを向上させ、仮想現実および拡張現実アプリケーション向けに豊富な視覚および聴覚素材を提供する。
教育と訓練学生や研修生が知識をより深く理解し習得できるよう、教育ビデオやシミュレーション訓練シナリオを作成し、学習成果と訓練の質を向上させる。
ゲーム開発これは、ゲームにおけるアニメーション、カットシーン、仮想キャラクターの動きを生成するために使用され、ゲームの視覚効果と没入感を高め、ゲーム開発サイクルを短縮します。
インテリジェントなビデオ編集高度なビデオ編集ツールの一部として、ユーザーがビデオクリップを素早く生成したり、特殊効果を追加したり、ビデオ用の音声を生成したりするのに役立ち、ビデオ編集の効率と創造性を向上させます。