MineWorld - Microsoft Researchがオープンソース化した、リアルタイムのインタラクティブな世界モデル。

MineWorldとは何ですか？

MineWorldは、Microsoft Researchが開発したMinecraftをベースとしたオープンソースのリアルタイムインタラクティブワールドモデルです。ビジョン・アクション自己回帰型Transformerアーキテクチャを採用し、ゲームシーンとアクションを離散的なトークンIDに変換し、次のトークンの予測に基づいて学習を行います。並列デコードアルゴリズムを用いることで、毎秒4～7フレームの生成速度を実現し、リアルタイムでのインタラクションをサポートします。MineWorldは、Oasisなどの既存モデルと比較して、ビデオ品質、制御性、推論速度において優れた性能を発揮します。

MineWorldの主な機能

• 高品質な製品視覚と動きを自己回帰的に処理するTransformerをベースに、MineWorldは視覚と動きに基づいて、一貫性のある高忠実度のゲームフレームを生成することができる。
• 高い制御性このモデルは、モーション追従機能のベンチマークテストを通じて、正確かつ一貫した動作を示し、入力された動作に基づいて正確なゲームシーンを生成することができる。
• 推論速度が速いこのモデルは並列デコードアルゴリズムを採用しており、毎秒4～7フレームの速度で画像を生成できるため、リアルタイムでのインタラクションが可能となる。
• ゲーム販売業者としてMineWorldは、トレーニング中にゲームの状態とアクションを同時に予測し、独立したゲームエージェントとして自律的にゲームをプレイすることができます。
• リアルタイムのインタラクティブ機能ユーザーは、Webデモまたはローカル実行を通じて、モデルとリアルタイムで対話することができ、初期フレームの選択、カメラの動きの制御、ゲームアクションの実行などを行うことができます。

MineWorldの技術原則

• 視覚運動自己回帰トランスフォーマーMineWorldは、ゲームシーンとプレイヤーのアクションを個別のトークンシーケンスに変換することで、ビジュアルとモーションの同時モデリングを実現します。具体的には以下のとおりです。
  • ビジュアルトークナイザーVQ-VAEアーキテクチャは、ゲームシーンを個別の視覚ラベルに分割するために使用されます。ラベラーは事前学習済みのチェックポイントから開始し、Minecraftデータセットで微調整することで、高品質な画像再構成を実現します。
  • アクショントークナイザーこのシステムは、プレイヤーの連続的な動作（マウスの動きなど）を個別のトークンに定量化し、個別の動作（前進や攻撃など）を異なるカテゴリに分類します。各カテゴリは固有のトークンで表されます。
  • トランスフォーマーデコーダーLLaMAアーキテクチャを採用したこのデコーダは、視覚タグとアクションタグが交互に並んだシーケンスを入力として受け取り、次のタグを予測することで学習します。デコーダは、ゲームの状態と、状態とアクション間の条件付き関係に関する豊富な表現を同時に学習できます。
• 並列復号アルゴリズムリアルタイムでのインタラクションを実現するため、MineWorldは並列デコードアルゴリズムを開発しました。このアルゴリズムは、隣接する画像マーカー間の空間的依存関係を活用しつつ、各フレーム内で空間的に冗長なマーカーを同時に予測します。従来の自己回帰型デコードアルゴリズムと比較して、生成速度が大幅に向上し、様々なスケールにおいて毎秒4～7フレームの生成速度を実現しています。
• 電車このモデルは、次のラベルを予測し、ゲーム状態の動的な変化と、行動と状態の関係を学習することによって訓練されます。
• 推論推論フェーズでは、モデルは現在のゲーム状態と入力されたアクションに基づいて、後続のゲームシーンを生成します。並列デコードアルゴリズムを適用することで、モデルは高品質のゲームフレームを迅速に生成できます。
• 評価指標MineWorldは、生成されたシーンの視覚的な品質と動き追従能力を評価するための新しい評価指標を提案しています。例えば、生成されたシーンにおける予測された動作と実際の入力動作との精度を比較することで、モデルの制御性を定量化します。

MineWorldのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/microsoft/MineWorld
• ハギングフェイスモデルライブラリ：https://huggingface.co/microsoft/mineworld
• arXiv技術論文：https://arxiv.org/pdf/2504.08388

MineWorldの応用シナリオ

• 身体化された知能研究MineWorldは、複雑な物理法則と動的なシーンをシミュレートする、高忠実度でインタラクティブな仮想環境を提供するため、身体化された知能の研究に最適です。研究者は、モデルを使用してエージェントを訓練し、オブジェクトの位置特定やナビゲーション、環境探索など、仮想環境内でタスクを実行する方法を学習させることができます。
• 強化学習トレーニングMineWorldのリアルタイムなインタラクティブ性と高品質なデータ生成機能は、強化学習のトレーニングに最適なプラットフォームです。研究者はこのモデルを利用して大量のトレーニングデータを迅速に生成し、エージェントがシミュレーション環境で最適な方策を学習できるように支援できます。
• ゲーム開発会社MineWorldは、学習中にゲームの状態と行動の両方を予測するため、ゲームエージェントとして機能する可能性を秘めています。初期のゲームの状態と行動が与えられると、モデルは将来の状態と行動を繰り返し生成し、長期的なゲームプロセスをシミュレートすることができます。
• リアルタイム対話型シミュレーションMineWorldの高速な処理速度（毎秒4～7フレーム）により、ゲームプレイヤーとのリアルタイムなやり取りが可能になります。
• 動画の生成と編集MineWorldは、高品質で一貫性のあるゲーム動画を生成できます。ゲーム予告編やチュートリアル動画など、動画コンテンツ制作に活用できます。