Ruyi - TuSimpleが発表した大規模ビデオモデル。

如意とは何ですか？

Ruyiは、TuSimpleが開発した大規模ビデオ生成プラットフォームで、特に一般消費者向けグラフィックカードでの動作を想定して設計されています。マルチ解像度・マルチデュレーションのビデオ生成に対応し、ファーストフレーム・ファーストラストフレーム制御、モーション振幅制御、カメラ制御などの機能を備えています。DiTアーキテクチャをベースとしたRuyiは、カジュアルVAEモジュールと、ビデオデータ圧縮・生成用のディフュージョントランスフォーマーで構成されています。Ruyiはアニメーションやゲームコンテンツの開発サイクルとコストを削減できるため、ACG愛好家やクリエイターにとって理想的なツールです。TuSimpleは、Ruyi-Mini-7Bバージョンを正式にオープンソース化しました。

如意の主な機能

• マルチ解像度、マルチ期間生成Ruyiは、最小384×384から最大1024×1024までの解像度での動画生成をサポートし、あらゆるアスペクト比に対応でき、最大120フレーム/秒で5秒間の動画を生成できます。
• 最初のフレームと最初と最後のフレームの制御生成最大5つの開始フレームと最大5つの終了フレームに基づいてビデオを生成し、循環重ね合わせによって任意の長さのビデオを生成します。
• 動作振幅制御モーション振幅制御は4段階で調整可能で、ユーザーは画像全体の変化の度合いを簡単に制御できます。
• レンズ制御上下左右、静止の5つのカメラコントロール機能を備えており、ビデオ制作の柔軟性を高めています。

如意の技術原理

• モデルアーキテクチャRuyiはDiT（Diffusion Model with Transformers）アーキテクチャに基づいており、2つの部分から構成されています。
  • カジュアルVAEモジュール: 動画データの圧縮および解凍を担当します。
  • Diffusion Transformer圧縮ビデオの生成を担当します。
• 圧縮とエンコードCasual VAEモジュールは、空間解像度を1/8、時間解像度を1/4に圧縮します。圧縮後、各ピクセルは16ビットのBF16で表現されます。
• ロケーションコーディングDiT 部分は 3D フルアテンションを使用し、空間的には位置エンコーディングに 2D RoPE (回転位置エンコーディング) を、時間的には位置エンコーディングに sin_cos を使用します。
• トレーニング損失関数最終的な損失関数は、DDPM（ノイズ除去拡散確率モデル）を用いて学習された。
• パラメータ数とトレーニングデータこのモデルは合計で約7.1バイトのパラメータを持ち、約2億本のビデオクリップを使用して学習されました。
• トレーニング段階トレーニングプロセス全体は、低解像度の事前トレーニングから高解像度のファインチューニングまで、4つの段階に分かれており、モデルのパフォーマンスを段階的に向上させていきます。

如意のプロジェクトアドレス

• GitHubリポジトリ：https://github.com/IamCreateAI/Ruyi-Models
• ハギングフェイスモデルライブラリ：https://huggingface.co/IamCreateAI/Ruyi-Mini-7B

如意の応用シナリオ

• アニメーションは既成のものですアニメーションキャラクターやシーンの動的なデモを素早く生成し、アニメーションデザインやストーリーの流れを評価できます。
• ゲームCG生成ゲーム開発においては、ゲームのプロモーションビデオやゲーム内の動的な背景を自動生成することができる。
• 映画の特殊効果プレビュー映画制作においては、監督や特殊効果チームが特殊効果シーンをプレビューし、ポストプロダクションにおける特殊効果を最適化するのに役立ちます。
• バーチャルストリーマーライブ配信、ニュース放送、オンライン教育などで使用できる、仮想アンカーのダイナミックな動画を生成します。
• ソーシャルメディアコンテンツソーシャルメディアプラットフォーム向けに、ユーザーエンゲージメントとブランド認知度を高めるための、魅力的でダイナミックな動画コンテンツを作成する。