Multiverse - Enigma Labsが開発した世界初のAI生成マルチプレイヤーゲームモデル - AiBoss

マルチバースとは何ですか？

イスラエルのEnigma Labsチームが開発したMultiverseは、世界初のAI生成マルチプレイヤーゲームモデルです。これは、プレイヤーが追い越し、ドリフト、加速を行うマルチプレイヤーレースゲームで、それぞれの行動がリアルタイムでゲーム世界に影響を与え、再構築します。このモデルはAI技術を用いてゲームのビジュアルをリアルタイムで生成し、両プレイヤーが論理的に一貫性のある同じ世界を見ることができるようにします。拡散モデルに基づき、プレイヤーの視点と行動を融合させて、一貫性のあるゲームビジュアルを生成します。Multiverseの中核技術は、革新的なマルチプレイヤーワールドモデルアーキテクチャにあり、共同アクションベクトルとデュアルビューポイントスタッキング技術によって、マルチプレイヤーゲームにおける一貫した視点の課題を解決します。このモデルのトレーニングコストはわずか1500ドルで、標準的なPCで動作します。プロジェクトのコード、データ、重み、アーキテクチャ、研究成果はすべてオープンソースで公開されており、マルチプレイヤーゲームにおけるAIの応用に新たな可能性をもたらします。

マルチバースの主な機能

リアルタイムのマルチユーザーインタラクションこれは、レーシングゲームにおける追い越しや衝突など、同じ仮想世界にいる2人のプレイヤー間のリアルタイムな相互作用をサポートし、両プレイヤーは同じ視点を維持します。
動的な世界生成ゲーム画面は、プレイヤーの行動や操作に基づいてリアルタイムで生成されます。
高効率フレーム予測スムーズで安定したゲームプレイを実現するために、将来のゲームフレームを正確に予測します。
低コスト運営高性能なハードウェアを必要とせず、一般的なパーソナルコンピュータで動作するように設計されているため、参入障壁が低くなっています。

マルチバースの技術的原理

マルチプレイヤーゲームのアーキテクチャマルチプレイヤーゲームの世界モデルを構築するために、上述のコアとなる構成要素は維持しつつ、構造を解体した。つまり、入力と出力を再接続し、真の協力型ゲームプレイを実現するために、トレーニングプロセスをゼロから再設計した。
- アクション埋め込み2人のプレイヤーの行動を取得し、それらを表す埋め込みベクトルを出力します。
- ノイズ除去ネットワーク2人のプレイヤー間のフレームとモーション埋め込みに基づいて、単一のエンティティとして2人のプレイヤーのフレームを同時に生成できる拡散ネットワーク。
- アップサンプリングここでのアップサンプラーは、両方のプレーヤーからフレームを受け取り、アップサンプリングされたバージョンを計算します。
パースペクティブ統合ソリューションマルチプレイヤーゲーム体験を実現するには、モデルは両プレイヤーからフレームとアクションを収集し、それぞれの予測フレームを出力する必要があります。重要なのは、これら2つの出力が単に見た目が美しいだけでなく、内部的に一貫している必要があるということです。Multiverseは、2人のプレイヤーの視点を1つの画像に結合し、入力を統合して共同アクションベクトルを作成し、全体を統一されたシーンとして扱うという回避策を提案しています。具体的には、フレームをチャネル軸に沿って積み重ね、2つのフレームを2倍の数のカラーチャネルを持つ画像として扱います。ここでの拡散モデルは、主に畳み込み層と逆畳み込み層で構成されるU字型のネットワークであるため、最初の層は近傍のピクセルのみを処理します。2つのフレームが垂直に積み重ねられている場合、フレームは中間層まで処理されないため、フレーム間で一貫した構造を生成するモデルの能力が低下します。しかし、フレームがチャネル軸に沿って積み重ねられている場合、ネットワークの各層は両プレイヤーの視点を同時に処理します。
トレーニング方法
- コンテキスト拡張次のフレームを正確に予測するには、モデルはプレイヤーのアクション（ステアリング入力など）と、道路と互いに対する2台の車の速度を計算するのに十分な数のフレームを受け取る必要があります。研究によると、8フレーム（1秒あたり30フレーム）で、加速、ブレーキ、ステアリングなどの車両の運動学をモデルが学習するのに十分であることがわかりました。しかし、2台の車の相対速度は道路の速度よりもはるかに遅いです。この相対的な動きを捉えるには、コンテキストサイズを3倍近く増やす必要があります。しかし、そうすると、モデルがリアルタイムのゲームプレイには遅すぎ、メモリ使用量が増加し、トレーニング速度が大幅に低下します。コンテキストサイズを維持しながらより多くの時間情報を提供するために、著者らはモデルに直前の数フレームとアクションの疎なサンプリングを提供しました。具体的には、モデルに最新の4フレームと、次の4フレームの4フレームごとを提供しました。コンテキスト内の最も古いフレームは20フレーム、つまり0.666秒前であり、車両の相対的な動きを捉えるのに十分です。これにより、モデルは路面に対する速度と加速度をより正確に捉えることができ、よりダイナミックな運転効果が得られる。
- マルチプレイヤートレーニングモデルがマルチプレイヤーゲームでの運転技術や相互作用を学習できるようにするには、これらのインタラクティブなシナリオでトレーニングする必要があります。ワールドモデルでの歩行、運転、その他の一般的なタスクでは、通常、0.25 秒先の状況を予測するなど、短い予測スパンしか必要としません。マルチプレイヤーゲームでの相互作用には、はるかに長い時間スパンが必要です。0.25 秒以内では、プレイヤー間の相対的な動きはほとんど無視できます。マルチプレイヤーゲームワールドモデルをトレーニングするには、より長い予測スパンが必要です。Multiverse は、モデルが最大 15 秒先まで自己回帰予測 (毎秒 30 フレーム) を行うようにトレーニングします。このような長期予測を可能にするために、Multiverse は学習コース方式を使用し、トレーニング中に予測時間を 0.25 秒から 15 秒に増やします。最初のトレーニングフェーズでは、モデルが車やトラックの形状などの低レベルの特徴を学習する効率的なモデルトレーニングが可能です。モデルが整合性のあるフレームを生成し、車両の運動学をモデル化することを学習するにつれて、プレイヤーの行動などのより高レベルの概念についても学習されます。予測範囲を広げることで、モデルの「物理的な一貫性」とフレーム間の一貫性が大幅に向上します。
- 非常に効率的な長距離視野トレーニング100フレームを超えるモデルの学習は、VRAMに課題をもたらします。これらのフレームをGPUメモリにロードして自己回帰予測を行うことは、バッチサイズが大きくなるにつれて非現実的になります。このメモリ制約に対処するため、自己回帰予測にはページング方式が採用されています。学習の開始時に、最初のデータバッチがロードされ、予測に使用されます。その後、次のデータページがロードされ、コンテキストウィンドウ外のフレームは破棄されます。

マルチバースプロジェクトのアドレス

プロジェクト公式サイト：https://enigma-labs.io/blog
GitHubリポジトリ：https://github.com/EnigmaLabsAI/multiverse
ハギングフェイスモデルライブラリ：https://huggingface.co/Enigma-AI

マルチバースデータセット

データソースチームのトレーニングモデルに使用されたデータは、ソニーのゲーム「グランツーリスモ4」から収集された。
データ収集方法ゲーム内リプレイシステムに基づき、各試合は各プレイヤーの視点から2回ずつリプレイされ、録画されます。録画された2つの映像は同期され、元の2人対戦の映像と位置合わせされた後、両プレイヤーを同時に映した1つの動画に統合されます。コンピュータビジョンを用いて、ゲーム画面に表示されるアクセル、ブレーキ、方向バーをフレームごとに抽出し、そこから操作コマンドを推測します。つまり、追加のログファイルを使用することなく、画面上の情報から操作を完全に再現できるのです。
自動データ生成ゲームのBスペックモードにランダムな入力を送信し、自動的に試合を開始し、2つの視点からリプレイ映像を録画し、AIが操作する試合の三人称視点ビデオをキャプチャするスクリプトを作成します。

マルチバースの応用シナリオ

マルチプレイヤーゲーム開発マルチプレイヤーオンラインゲームの開発において、よりリアルで豊かなインタラクティブ体験を提供するために使用されます。
VR/ARアプリケーション複数のユーザーが共有できる仮想環境を作成し、没入感と社会的交流を向上させる。
AIのトレーニングと研究オープンソースモデルとして、高度なAIエージェントを訓練し、複雑な環境における意思決定と協調行動を研究する。
教育と訓練運転訓練、軍事演習、チームワーク訓練などに使用できる仮想訓練シナリオを作成します。
エンターテイメントとソーシャル仮想集会やオンラインイベントなどのアプリケーションを開発し、斬新なソーシャル体験を提供する。
シミュレーション経営ゲームシミュレーション経営ゲームでは、プレイヤーは資源管理、建築計画、都市開発といった操作を行う必要があります。あらゆる決定が、シミュレーション世界の経済的および生態学的バランスに影響を与える可能性があります。