Matrix-Game 3.0 - Kunlun Wanweiが発表したリアルタイムインタラクティブワールドモデル

マトリックスゲーム3.0とは何ですか？

Matrix-Game 3.0は、Skywork AIが開発したリアルタイムインタラクティブワールドモデルで、720p@40FPSでのリアルタイム生成に対応しています。このモデルは、自己修正のためのエラーバッファリング機構と、カメラベースの感覚記憶検索を組み合わせることで長期的な一貫性を確保し、数分間にわたるインタラクティブビデオの安定生成を可能にしています。Matrix-Game 3.0は、Unreal Engineの合成データ、AAAゲームデータ、および実写映像を使用して学習されています。5B蒸留バージョンは3ステップの高速サンプリングに対応し、28B MoEバージョンではさらに品質が向上しています。「Cat Forest Academy 2.0」プラットフォームの基盤として、インタラクティブなAAAレベルのAIゲームワールドの構築を目指しています。

Matrix-Game 3.0の主な特徴

• リアルタイムのインタラクティブ生成キーボード/マウス入力に対応し、720p解像度のインタラクティブなビデオをリアルタイムで40FPSで生成します。
• 長期記憶保持カメラの感覚記憶検索を通して、1分間の動画におけるシーンやオブジェクトの時空間的な一貫性を維持する。
• 自己修正機能このモデルは、誤差緩衝メカニズムを使用して予測バイアスを自動的に補正し、画像のずれや累積誤差を低減します。
• マルチモーダル制御テキストプロンプト、モーション入力、カメラ姿勢の条件付き制御を組み合わせた制御をサポートします。
• 効率的な推論展開このモデルは、わずか3回のサンプリングステップでリアルタイムに実行可能な5B蒸留モデルをサポートしており、28B MoEバージョンではより高い生成品質を提供します。

マトリックスゲーム3.0の技術的原理

• データエンジンこれは、Unreal Engineの合成データ、大規模なAAAゲームの自動データ取得、および実世界のビデオ強化を統合して、産業グレードの無限データパイプラインを構築し、ビデオ・ポーズ・アクション・プロンプトの4つのトレーニングデータを生成します。
• エラー認識型基本モデルこのモデルは双方向拡散トランスフォーマーを用いて、過去のフレーム、ノイズの多い現在のフレーム、および動作条件を統合的にモデル化します。誤差収集メカニズムは予測残差を記録し、それをトレーニングに組み込むことで、モデルが自己修正を学習し、トレーニングと推論の間のギャップを埋めることを可能にします。
• メモリ拡張生成: 基本モデルにカメラ認識メモリフレーム検索を導入し、カメラの姿勢と視野の重なりに基づいて関連する履歴コンテンツを選択し、共同自己注意機構とプリュッカー幾何学的符号化を通じて長距離時空間的一貫性を実現します。
• トレーニング推論アライメントのための少数ステップ蒸留分布マッチング蒸留の多段階自己回帰蒸留戦略に基づき、学生モデルは多段階ロールアウトを実行して実際の推論をシミュレートし、トレーニング分布と推論分布の一貫性を確保します。リアルタイム推論は、INT8量子化とVAEデコーダ蒸留を組み合わせることで実現されます。

Matrix-Game 3.0の主要情報と使用要件

• リリース時間2026 年 3 月 27 日 (2026 中関村フォーラム)
• 開発チーム崑崙科技 / スカイワークAI
• モデルの位置特定リアルタイムストリーミングインタラクティブワールドモデル
• 中核となる能力720p@40FPSリアルタイム生成、分単位の長期メモリ一貫性
• モデルバージョン5Bベーシックバージョン／5B蒸留バージョン／28B MoEバージョンを提供
• 公式リソースGitHub / HuggingFace / デモサイト
• ハードウェア要件
  • GPUNVIDIA A/Hシリーズ（シングルカードまたはマルチカードの推論をサポート）
  • システム：Linux
  • メモリ：64GB RAM

Matrix-Game 3.0の主な利点

• 産業グレードのリアルタイム性能5B蒸留モデルは、720p@40FPSでのリアルタイム生成を実現し、インタラクティブビデオ生成の速度ボトルネックを打破し、実用的に展開可能な産業標準に到達します。
• 長距離での安定性の突破拡散モデルを用いた長時間の動画生成におけるドリフト問題を解決するため、エラーバッファとカメラセンサーメモリ検索メカニズムを先駆的に導入し、分単位の安定した出力を実現した。
• トレーニング推論アライメント多段階自己回帰蒸留戦略は、トレーニング分布と推論分布の一貫性を確保し、わずか3回のサンプリングステップで50ステップの基本モデルと同等の品質を実現し、効率を16倍向上させます。
• 主要データエンジンUnreal Engineのコンポジット機能、AAAゲームキャプチャ、そしてリアルなビデオ補正機能を統合し、限りなく高品質なデータパイプラインを構築する。

Matrix-Game 3.0の使い方

• 環境準備Linuxシステム上にPython 3.12用のconda環境を設定し、FlashAttention依存ライブラリをインストールします。
• 倉庫の設置GitHubリポジトリをローカルマシンにクローンし、pipを使用してrequirements.txtに記載されているすべての依存関係をインストールしてください。
• モデルのダウンロードhuggingface-cliコマンドを使用して、HuggingFaceから事前学習済みモデルの重みファイルをダウンロードしてください。
• 入力準備生成条件として、開始画像とシーンを説明するテキストプロンプトを用意してください。
• 基本的な推論torchrunコマンドを実行して生成プロセスを開始し、解像度を704×1280、量子化をINT8、サンプリングを3ステップに設定してリアルタイム生成を実現します。
• パラメータ調整ニーズに応じて、基本モデル（高品質な50ステップ）または蒸留モデル（迅速な3ステップ）を選択し、インタラクティブモードを有効にして操作入力をカスタマイズしてください。

Matrix-Game 3.0のプロジェクトアドレス

• プロジェクト公式サイト：https://matrix-game-v3.github.io/
• GitHubリポジトリ：https://github.com/SkyworkAI/Matrix-Game/tree/main/Matrix-Game-3
• ハギングフェイスモデルライブラリ：https://huggingface.co/Skywork/Matrix-Game-3.0
• 技術論文：https://github.com/SkyworkAI/Matrix-Game/blob/main/Matrix-Game-3/assets/pdf/report.pdf

Matrix-Game 3.0に類似する競合製品の分析

Matrix-Game 3.0の応用シナリオ

• AIゲーム開発「猫の森アカデミー2.0」プラットフォームの基盤として、インタラクティブな3AレベルのAIゲーム世界を構築し、リアルタイムの動的なシーン生成とプレイヤーの行動への応答を実現します。
• 仮想世界の構築このモデルは、数分間動作する一貫性のあるオープンワールド環境を作成することができ、一人称視点や三人称視点からの自由な探索をサポートし、メタバースや仮想シミュレーションに適しています。
• リアルタイムのインタラクティブエンターテイメントリアルタイムのキーボードとマウス操作に対応し、スムーズなインタラクティブビデオコンテンツを生成し、AIを活用したインタラクティブなストーリーテリングや没入型体験に応用されています。
• ゲームプロトタイプデザイン多様なゲームシーンやダイナミックなエフェクトを迅速に生成できるため、ゲーム開発の初期段階におけるコンセプト検証やビジュアルプレビューを加速できます。