Matrix -Game 3.5 - Kunlun Wanweiによってオープンソース化されたリアルタイムストリーミングインタラクティブワールドモデル。 - AiBoss

マトリックスゲーム3.5とは何ですか？

Matrix-Game 3.5は、Kunlun Wanwei Riemann Powerチームが開発したオープンソースのリアルタイムストリーミングインタラクティブワールドモデルです。Patch MemoryとWarped ProPEを活用することで、3D空間レベルの長期記憶と幾何学的に一貫性のあるモデリングを実現しています。このモデルは、720P/20FPSのシングルカードリアルタイム生成に対応し、分単位のシーンバックトラッキング機能を備え、リアルタイムのキーボードとマウス入力に応答します。ゲームエンジンから汎用的な物理世界シミュレーションへと進化を遂げ、ロボットトレーニング、自律走行シミュレーション、そして身体化された知能のためのオープンソースインフラストラクチャを提供します。

Matrix-Game 3.5の主な特徴

パッチメモリ（長期記憶）このシステムは、過去の映像を3次元空間座標で画像パッチに分割し、空間位置に基づいてそれらを検索・再構成することで、物体の再現性やシーンのずれといった問題を解決します。物体の再現性スコアは、従来の業界標準である0.6を突破しました。
ロープ + ねじれたロープの幾何学的エンコーディングカメラ投影行列エンコーディングをTransformerの時空間位置表現に統合することで、モデルはカメラの回転、並進、投影の関係を認識できるようになり、正確な視点制御と幾何学的一貫性を実現できます。
動的・静的分離メモリ静的なシーンはパッチメモリによって維持され、動的な被写体は軽量な参照トークンによって同一性の一貫性を維持し、移動するオブジェクトがメモリを汚染してゴースト現象を引き起こすのを防ぎます。
リアルタイムストリーミング生成蒸留によってサンプリング手順を3ステップに圧縮し、ブロック因果推論、KVキャッシュ、INT8量子化、VAE構造化プルーニングを組み合わせることで、単一GPU上で720P/20FPSのリアルタイム生成を実現しました。
自動化されたデータパイプライン私たちは、Unreal Engine、AAAゲームパイプライン、インターネットビデオパイプラインという3つのデータシステムを構築し、500万本以上の高品質なビデオクリップと1万時間以上のトレーニングデータを生成し、1,200以上のゲームシナリオを網羅しました。
NPCとのインタラクションとオープンワールドの一般化テキスト駆動型の世界生成、キャラクターの行動制御、およびマルチエージェントによる協調動作をサポートします。

マトリックスゲーム3.5の技術的原理

統一幾何学的知覚記憶フレームワークPRoPEは、追加の学習可能なパラメータを導入することなく、カメラの姿勢を相対位置コードとしてエンコードします。Warped RoPEは、現在の視点における過去のパッチの時空間座標を再計算し、メモリを再利用する際に座標のアライメントを可能にします。
段階的蒸留双方向DiTは、2段階で因果ジェネレーターに蒸留されます。まず、知覚フローマッチングを用いて高品質な少数ステップの因果初期化を行い、次に、自己ロールアウトDMD（分布マッチング蒸留）を用いて自己回帰軌跡上で学習を行います。条件付きコースは、分類器不要、カメラ制御、メモリベースの条件付き生成を段階的に蒸留するために使用されます。
軽量プラグインアーキテクチャコアとなるインタラクティブ機能（PRoPE、パッチメモリ、静的／動的分離）は、新たなパラメータを必要とせず、モジュール式のプラグインを使用してさまざまなビデオベースモデルに対応します。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

Matrixの使い方 - ゲーム3.5

モデルをダウンロード重みと推論コードは、GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）またはHuggingFaceから入手できます。
展開環境CUDAをサポートする単一のGPUを用意し、依存関係をインストールしてから、モデルをロードします。
入力制御WASDキーで移動し、マウスで視点を操作したり、テキストプロンプトやカメラの軌跡を入力してインタラクティブな世界を生成したりできます。
リアルタイムインタラクションこのモデルは、後続のフレームを20FPSでストリーミング配信するため、シーンの一貫性を損なうことなく、分単位の連続的な探索を可能にする。

Matrix - Game 3.5 の主な利点

長期的な一貫性今回初めて、オープンソースソリューションにおいて、ワールドモデルの分単位のメモリボトルネックに対処するための体系的なソリューションが開発され、カメラの再訪時にもシーン要素が完全に一貫していることが保証されるようになった。
リアルタイムインタラクティブオフラインのビデオ生成器から、プレイ可能なライブワールドへとアップグレードし、リアルタイムのキーボード/マウス操作に対応し、プレイ可能なレベルまで低遅延を実現しました。
オープンソースのエコシステムコアアーキテクチャは完全にオープンソースであり、GitHubとHuggingFaceで公開されています。また、DiTの開発者であるSai-Ning Xie氏のチーム（Solaris）、NVIDIA、Adobeなどによってベンチマークとして引用されています。
ゼロパラメータ増分設計パラメータを重ねたり、元のビデオ配信を妨害したりすることなく、基本モデル本来のオープンコンテンツ生成機能を維持します。

Matrix - Game 3.5 のプロジェクトアドレス

プロジェクト公式サイト：https://matrix-game-v3-5.github.io/
GitHubリポジトリ：https://github.com/Riemann-Dynamics/Matrix-Game-3.5
ハギングフェイスモデルライブラリ：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base
技術論文：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf

Matrix-Game 3.5と類似の競合製品との比較

寸法	Matrix-Game 3.5	Google Genie 3
オープンソースのステータス	コアアーキテクチャは完全にオープンソースです。	非公開ソース
解決	720P	720P
リアルタイムフレームレート	20 FPS（シングルカード）	リアルタイム
相互作用の継続時間	分	数分
メモリ機構	パッチメモリ（3D空間ブロック検索）	詳細は非公開
制御方法	キーボード/マウス/カメラ追跡/テキストツールチップ	ナビゲーションコマンド＋世界情勢アラート
パラメータの増分	ほぼゼロの新しいパラメータ	非公開
データパイプライン	自社開発の3種類の自動化パイプライン（UE5/3A/インターネット）	Googleのストリートビューなどのデータに基づく
生態学的参照	謝賽寧氏のチーム、NVIDIA、Adobeによって引用されている。	業界ベンチマーク

マトリックスゲーム3.5の応用シナリオ

AIゲームエンジンこれは従来のゲームエンジンに代わり、リアルタイムでインタラクティブなオープンワールドを生成することで、AAAゲームの開発コストを削減する。
ロボット仮想トレーニング人型ロボット／ロボットアーム向けの仮想トレーニングサンドボックスとして、低コストで大規模なシナリオ試行錯誤と長期的なタスク計画をサポートします。
自動運転シミュレーション実際の物理的なルールに基づいて交通シナリオのデジタルツインを構築し、エンドツーエンドの運転戦略トレーニングを実施する。
身体化された知能研究身体を持つエージェントのためのインタラクティブな物理世界シミュレーション環境を提供し、共同行動状態のトレーニングをサポートします。
XR/メタバースコンテンツ生成リアルタイムで没入感のある仮想空間を生成し、ユーザーが自由に探索したりコンテンツを作成したりすることを可能にする。