Tora - アリババのAI動画生成フレームワーク - AiBoss

Toraとは何ですか？

Toraは、アリババが開発したAI動画生成フレームワークです。軌道誘導拡散変換（DiT）技術に基づき、テキスト、視覚情報、軌道条件を融合することで、物理世界のダイナミクスに適合した高品質な動画コンテンツを生成します。Toraは、軌道抽出器、時空間DiT、モーション誘導融合プロセッサで構成されており、動画の動的なパフォーマンスを精密に制御し、720p解像度で最大204フレーム/秒の動画制作をサポートします。Toraは、動きの忠実度と現実世界の物理ダイナミクスのシミュレーションに優れており、動画生成分野に強力な新ツールを提供します。

トラの主な機能

簡単に言うと、Toraはあなたの指示（テキストによる説明、画像、物体の移動経路など）に基づいて、リアルで滑らかな動画を作成できます。

軌道抽出器（TE）入力された軌跡は、ビデオコンテンツの潜在的な空間に一致する階層的な時空間モーションブロックに変換されます。
空間時間DiT空間的および時間的な自己注意機構を組み合わせてビデオデータを処理することにより、このモデルは一貫性のある動きを持つビデオを理解し、生成することができる。
モーションガイダンス定着器（MGF）: 軌道抽出器によって生成された時空間モーションブロックをDiTモデルに統合し、生成されたビデオコンテンツが事前に決定された軌道とダイナミクスに従うことを保証する責任を負います。

トラの技術原理

軌道理解Toraは「トラック抽出ツール」と呼ばれるツールを使用し、与えられたトラック情報を理解します。これは、Toraに地図を与え、ビデオ内のオブジェクトがどこにあり、どのように動くべきかを指示するようなものです。
時空間符号化Toraはこの軌跡情報を「時空間モーションブロック」と呼ばれる特殊な符号化形式に変換します。これらのモーションブロックはビデオの骨格のようなもので、ビデオ内でオブジェクトがどのように動くかを決定します。
ビデオ生成フレームワークToraは「拡散トランスフォーマー」（DiT）と呼ばれる先進技術を採用しています。この技術は拡散モデルとトランスフォーマーアーキテクチャの利点を組み合わせることで、Toraが高品質な映像を生成することを可能にしています。
ダイナミックフュージョンToraには、以前に取得した時空間モーションブロックとビデオコンテンツを組み合わせる「モーション誘導型融合ツール」も搭載されています。Toraは、生成されるビデオの見栄えが良いだけでなく、オブジェクトの動きが非常に自然で滑らかであることを保証できます。
2段階トレーニングToraが動きをよりよく理解し生成できるようにするため、2段階のトレーニングプロセスを経て学習します。まず、高密度オプティカルフロー（物体の動きを記述する高密度データの一種）から動き情報を抽出する方法を学習します。次に、ユーザーが提供するより単純な軌跡情報に基づいて動画を生成する方法を学習します。
データ前処理トレーニングを行う前に、Toraはビデオデータの処理も行う必要があります。例えば、シーン検出に基づいて長いビデオを短いセグメントに分割し、美的スコアとモーションセグメンテーションの結果に基づいてトレーニングに適したビデオセグメントを選択します。

Toraのプロジェクトアドレス

プロジェクト公式サイト：https://ali-videoai.github.io/tora_video/
GitHubリポジトリ：https://github.com/ali-videoai/Tora
arXiv技術論文：https://arxiv.org/pdf/2407.21705

Toraの応用シナリオ

映画およびテレビ制作Toraは、映画、テレビシリーズ、短編映画などの特殊効果シーンの生成に使用できます。軌道制御によって複雑でダイナミックな映像を生成することで、実際の撮影コストと時間を削減します。
アニメーション制作アニメーション分野において、Toraはスクリプトに基づいてアニメーションシーケンスを自動生成することができ、アニメーターに初期の動的なスケッチを提供することで、創作プロセスを加速させる。
仮想現実（VR）と拡張現実（AR）Toraは、ユーザーとインタラクトする動的な環境を生成し、VRおよびARアプリケーション向けにリアルなビジュアルを提供することができます。
ゲーム開発ビデオゲームにおいて、Toraはゲーム環境やキャラクターアニメーションを迅速に生成するために使用でき、ゲームデザインの効率を向上させる。