Magic 1-For-1 - 北京大学、NVIDIAなどが開発した高効率ビデオ生成モデル。 - AiBoss

マジック1対1とは何ですか？

Magic 1-For-1は、北京大学、Hedra Inc.、およびNvidiaが共同開発した高効率ビデオ生成モデルです。メモリ消費量と推論レイテンシを最適化することで、高品質のビデオクリップを高速に生成します。このモデルは、複雑なテキストからビデオへの生成タスクを、テキストから画像への生成と画像からビデオへの生成という2つのより単純なサブタスクに分解します。このアプローチに基づき、Magic 1-For-1は拡散蒸留技術を使用してモデルの収束を大幅に加速し、マルチモーダル入力（テキスト情報と視覚情報の組み合わせ）に基づいて生成されるビデオの品質と意味的一貫性をさらに向上させます。Magic 1-For-1はモデル量子化技術を採用し、モデルサイズを32GBから16GBに圧縮することで、一般消費者向けGPUでの効率的な動作を実現しています。

Magic 1-For-1の主な特徴

高効率発電短時間で高品質なビデオクリップを生成できます。例えば、5秒のビデオを生成するのにわずか3秒、1分のビデオを生成するのに1分もかかりません。
高品質なビデオ生成最適化された拡散ステップとマルチモーダル入力に基づいて生成されたビデオは、視覚品質、動きの一貫性、意味の一貫性において優れた性能を発揮します。
資源消費量が少ないモデル量子化技術に基づき、モデルのメモリ使用量を32GBから16GBに削減することで、一般消費者向けGPU上で効率的に動作させることが可能になった。
非常に柔軟性が高いテキストからの画像生成や画像から動画生成など、複数の入力方法に対応しており、ユーザーのニーズに応じて多様な動画コンテンツを生成します。

マジック1対1の技術的原理

タスクの内訳このアプローチでは、複雑なテキストから動画への生成タスクを、テキストから画像への生成（T2I）と画像から動画への生成（I2V）という2つのより単純なサブタスクに分解します。これにより生成プロセスが簡素化され、モデルのトレーニングと最適化が容易になります。
拡散モデルと拡散ステップ：蒸留動画生成は拡散モデルに基づいており、拡散ステップを蒸留することによって（DMD2アルゴリズムなど）、生成に必要なステップ数を削減できる。
マルチモーダル入力このアプローチでは、テキスト入力と視覚入力（参照画像など）を条件信号として組み合わせることで、モデルの意味理解および生成能力を向上させます。これにより、生成される動画は、テキストによる説明や参照画像から得られる意味情報をより的確に捉えることができます。
モデルの最適化と量子化モデル量子化技術（int8量子化など）を使用してモデルのメモリ使用量を削減し、最適化されたトレーニング戦略（CFG蒸留など）を使用してモデルの推論効率を向上させます。
スライド式窓技術長尺動画を生成する際には、スライディングウィンドウ技術を用いて動画セグメントを段階的に生成することで、効率性を維持しながら動画全体の品質と一貫性を向上させます。

Magic 1-For-1 のプロジェクトアドレス

プロジェクト公式サイト：https://magic-141.github.io/Magic-1-For-1/
GitHubリポジトリ：https://github.com/DA-Group-PKU/Magic-1-For-1
arXiv技術論文：https://arxiv.org/pdf/2502.07701

Magic 1-For-1の応用シナリオ

コンテンツ制作と動画編集これにより、動画制作者、ブロガー、コンテンツ制作会社は、短編動画、広告、プロモーションビデオなどの制作に使用できる高品質の動画クリップを迅速に生成できます。
映画製作と特殊効果制作映画やテレビ制作会社は、特殊効果の予備的なショットや背景映像を作成し、映画、テレビシリーズ、アニメーション制作のためのクリエイティブな素材を提供する。
教育と訓練教育機関は、科学実験、歴史再現、語学学習シナリオなど、教育用ビデオを作成している。
仮想現実（VR）と拡張現実（AR）VRおよびAR開発者は、ゲーム、バーチャルツアー、トレーニングシミュレーションなどで使用するための仮想シーンのビデオコンテンツを作成します。
ソーシャルメディアと広告ブランドや広告主は、ソーシャルメディアプラットフォームでのプロモーション用に、パーソナライズされた広告動画を作成する。