Helios - 北京大学がByteDanceおよびその他のオープンソース企業と共同で開発した、リアルタイム長尺動画生成モデル。

ヘリオスとは何ですか？

Heliosは、北京大学とByteDanceが共同開発した14億パラメータのリアルタイム長尺動画生成モデルで、単一のH100 GPU上で19.5 FPSで1分単位の動画を生成できます。画期的なことに、このモデルはキーバリューキャッシュ、量子化、因果マスキングといった従来の高速化技術を必要としません。統合履歴注入、ディープ圧縮ストリーミング、敵対的階層蒸留などの革新的な技術により、計算コストを1.3億パラメータのモデルと同等のレベルまで削減しています。Heliosはテキストベース動画、画像ベース動画、動画継続をネイティブにサポートしており、品質と速度の両面で既存のソリューションを凌駕しています。コードとモデルはオープンソースです。

Heliosの主な機能

• テキストからビデオへHeliosはテキストからビデオを生成する機能をサポートしており、テキストの説明に基づいて高品質のビデオコンテンツを直接生成します。
• 画像から動画へHeliosは画像から動画への変換をサポートしており、静止画像を動画に変換できます。
• ビデオからビデオへHeliosは動画間の生成をサポートしており、既存の動画を継続したり、スタイルを変換したりすることも可能です。
• インタラクティブな生成Heliosはリアルタイムの対話型生成をサポートしており、ユーザーは生成プロセス中にプロンプトを動的に変更できます。
• 長尺動画の生成Heliosは1分単位の長尺動画生成に対応しており、最大1440フレーム/秒の連続動画を安定して出力できます。

ヘリオスの技術原理

• 統一された履歴データ注入Heliosは、双方向事前学習済みモデルを、履歴フレームとノイズフレームを連結して入力することで、自己回帰ジェネレーターに変換します。履歴フレームは固定時間ステップ0でクリーンな状態に保たれ、ノイズフレームはノイズ除去に使用されます。つまり、同じアーキテクチャで、履歴フレームがすべてゼロの場合はテキストベースのビデオ、最後のフレームのみがゼロでない場合は画像ベースのビデオ、履歴フレームのいずれかがゼロでない場合はビデオの継続という3つのタスクモードに自動的に適応できます。
• 注意を誘導するメカニズムHeliosは、自己注意層で履歴コンテキストとノイズコンテキストのクエリキー値を個別に計算し、ヘッドレベルでトークンを増幅することで履歴情報の強度を選択的に調整します。クロス注意層では、テキストの意味はノイズコンテキストにのみ注入され、履歴フレームの意味の繰り返しや重なりを回避し、2種類のコンテキストの異なる統計的特性を分離します。
• シンプルなドリフト防止戦略Heliosは相対位置エンコーディングを使用して時間インデックス範囲を固定し、長時間のビデオ生成における位置ずれを排除します。また、最初のフレームをグローバルな視覚アンカーとして保持することで色のずれを抑制し、トレーニング中は露出調整、ノイズ追加、ぼかしなどの摂動を過去のフレームにランダムに適用することで、推論中のエラー蓄積をシミュレートし、ソースからの反復的な動きを排除します。
• 高度に圧縮されたストリームHeliosは、マルチステージメモリブロックを使用して、履歴フレームの近接度に基づいて異なる圧縮率を適用し、トークン予算を一定に保ちます。ピラミッド型統合予測補正器を採用し、複数のスケールで段階的に潜在空間をサンプリングします。初期段階では低解像度サンプリングで全体構造を決定し、後期段階では高解像度サンプリングで詳細を精緻化することで、14Bモデルのトークン計算量を1.3Bに削減します。
• 逆層状蒸留Heliosは、自己回帰型教師モデルをベンチマークとして使用し、段階的逆シミュレーションによってマルチスケール推定値を取得し、動的な高ノイズスケジューリングによってコースベース学習を実現し、敵対的学習を導入することで教師モデルの性能限界を突破します。最終的に、分類器のガイダンスを必要とせずに、サンプリングステップ数を50ステップから3ステップに圧縮します。

ヘリオスプロジェクトの住所

• プロジェクト公式サイト：https://pku-yuangroup.github.io/Helios-Page/
• GitHubリポジトリ：https://github.com/PKU-YuanGroup/Helios
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/BestWishYsh/helios
• arXiv技術論文：https://arxiv.org/pdf/2603.04379

Heliosの応用

• 映画および広告制作Heliosのリアルタイム生成機能は、映画予告編、広告コンセプト、ダイナミックなストーリーボードの制作プロセスを大幅に加速させ、クリエイターがビジュアルコンセプトを迅速に反復検討し、レンダリング時間を数時間から数分に短縮することを可能にします。
• ゲームとインタラクティブエンターテインメント世界モデルの基本構成要素として、Heliosは無制限の長さのゲームシーンと動的な環境のリアルタイム生成をサポートし、オープンワールドゲーム、バーチャルリアリティ体験、インタラクティブな物語のための一貫したビジュアルコンテンツの流れを提供します。
• ソーシャルメディアとコンテンツ制作Heliosを使えば、一般ユーザーはテキストや画像を瞬時に高品質のショートビデオに変換できるため、プロ並みのビデオ制作へのハードルが下がり、個人クリエイターが映画のようなビジュアルコンテンツを迅速に制作できるようになります。
• 設計とプロトタイピングデザイナーは、Heliosの画像から動画への変換機能や動画の継続機能を利用することで、静的なデザイン案を動的なデモに変換したり、製品のアニメーション効果をリアルタイムでプレビューしたり、反復とフィードバックのサイクルを加速させたりすることができます。