Matrix-Game - Kunlun Techのオープンソース産業グレード空間インテリジェンスモデル - AiBoss

マトリックスゲームとは何ですか？

Matrix-Gameは、Kunlun Wanweiが開発したオープンソースの産業グレード100億+空間知能モデルであり、Matrix-Zeroワールドモデル内のインタラクティブビデオ生成モデルです。2段階のトレーニング戦略に基づき、ユーザー入力に応じて一貫性のある制御可能なインタラクティブビデオを生成します。きめ細やかなユーザーインタラクション制御、高忠実度の視覚的・物理的一貫性、マルチシーン汎化能力といった利点を誇ります。仮想ゲーム世界の構築、映画やメタバースコンテンツ制作など、様々な分野で活用でき、普遍的な仮想世界基盤構築のための新たなベンチマークとなるでしょう。

マトリックスゲームの主な機能

制御可能なビデオ生成ユーザーは、シンプルなキーボード操作とマウス操作に基づいて、詳細かつ合理的な物理法則を備えた仮想世界を自由に探索、操作、さらには創造することができる。
マルチシナリオ一般化このシステムは、Minecraftの様々なゲームシーン（森林、ビーチ、砂漠、氷河など）に一般化できる能力を持ち、Minecraft以外のゲーム環境にも一般化できる可能性を秘めている。
自己回帰的な長尺動画生成自己回帰型の長尺動画生成をサポートし、アクションと視点のスムーズな移行を実現することで、時間的な一貫性と環境への適応性を確保します。
体系的な評価提案されている統一的なGameWorld Score基準は、視覚的な品質、時間的な品質、動作の制御性、および物理法則の理解という4つの側面から、モデルのパフォーマンスを包括的に定量化するものです。

マトリックスゲームの技術的原理

2段階トレーニング戦略大規模なラベルなしMinecraftゲーム動画データを用いて、モデルは環境の基本的な特徴と動的なパターンを学習するように事前学習されます。その後、キーボードとマウスの制御信号を用いた制御可能なMinecraftおよびUnreal Engineの動画データを使用して、きめ細かく制御可能な学習が実行され、モデルはユーザー入力に基づいて対応するインタラクティブな動画を生成できるようになります。
画像から世界へのモデリング単一の参照画像が、言語による指示に頼ることなくインタラクティブな動画を生成するための出発点となり、視覚信号に基づいて空間形状、物体の動き、およびそれらの物理的な相互作用をモデル化する。
自己回帰的なビデオ生成この手法は、自己回帰的なアプローチを採用して世代長を延長し、前のビデオセグメントの最後の数フレームを各世代の動きのコンテキストとして使用し、セグメントを段階的に生成することで時間的な連続性を確保します。トレーニング中は、時間的なずれやエラーの蓄積を軽減するために、ランダムな摂動、ランダムな削除、および分類器を使用しないガイダンス戦略が導入されます。
制御可能なインタラクションデザインキーボード操作は離散トークンで表現され、ビュー移動操作は連続トークンで表現されます。制御モジュールはGameFactoryをベースとしており、マルチモーダルな拡散トランスフォーマーアーキテクチャを採用しています。制御信号に対する応答の堅牢性を向上させるため、分類器を用いない誘導戦略が用いられています。

Matrix-Gameのプロジェクトアドレス

プロジェクト公式サイト：https://matrix-game-homepage.github.io/
GitHubリポジトリ：https://github.com/SkyworkAI/Matrix-Game
ハギングフェイスモデルライブラリ：https://huggingface.co/Skywork/Matrix-Game
技術論文：https://github.com/SkyworkAI/Matrix-Game

マトリックスゲームの応用シナリオ

バーチャルゲーム開発多様なゲームマップやダイナミックなインタラクティブ環境を迅速に生成できるため、開発効率とプレイヤーの没入感を向上させることができます。
映画とメタバース高精細な動的シーンを生成し、没入型体験の開発をサポートし、クリエイティブなコンテンツを迅速に生成するのに役立ちます。
身体知能トレーニングこれは、具現化されたインテリジェントエージェントの訓練データを強化し、タスク実行能力を向上させるための多様な仮想環境を提供する。
教育と訓練学生や学習者がより深く理解し、実践できるよう、仮想的な教育環境や職業技能訓練環境を構築する。
クリエイティブコンテンツの生成クリエイティブな映像制作やバーチャルシーンデザインのための豊富な素材を提供し、創造的なアイデアの迅速な実現を支援します。