project
Solaris - 謝賽寧の研究チームがオープンソース化したマルチユーザービデオ世界生成モデル
Solarisは、Minecraftにおいて2人のプレイヤーに対して一貫した一人称視点を同時に生成できる、初のマルチプレイヤービデオワールド生成モデルです。シングルプレイヤーモードのみをサポートする既存モデルの限界を克服し、プレイヤーの視点間で空間的な一貫性を確保します。
Solarisとは何ですか？
Solarisは、Minecraftにおいて2人のプレイヤーに対して一貫した一人称視点を同時に生成できる、初のマルチプレイヤービデオ世界生成モデルです。シングルプレイヤーゲームプレイのみをサポートする既存モデルの制約を打破し、プレイヤーの視点間で空間的な一貫性を確保します。つまり、一方のプレイヤーが建築や移動を行うと、もう一方のプレイヤーの視点にもその変化が同期して反映されます。開発チームは、1260万フレームのマルチプレイヤーゲームデータを収集したSolarisEngineデータシステムを開発し、長尺シーケンスのメモリボトルネックを解消するために、革新的なチェックポイント自己強制学習法を導入しました。
Solarisの主な機能
- 複数人視点同期生成Solarisは、2人のプレイヤーに対して同時に一貫した一人称視点映像を生成し、プレイヤーの視点間で空間的な一貫性を確保します。一方のプレイヤーが何らかのアクションを実行すると、もう一方のプレイヤーの視点もリアルタイムで変化します。
- 長期安定発電Solarisは、チェックポイント自己強制技術により、最大224フレーム（11.2秒）の安定したビデオシーケンスを生成でき、エラーの蓄積による視覚的な劣化を効果的に回避します。
- 動作条件制御このモデルは、Minecraftのあらゆる動作入力（移動、カメラ操作、掘削、配置など）を受け付け、生成される動画は指定された動作シーケンスに厳密に従います。
- 複雑な動的シミュレーションSolarisは、バックパックの状態同期、天候の変化、物理的な構築と破壊、PvP戦闘など、複雑なゲームダイナミクスをシミュレートできます。
Solarisの技術原理
- 複数人用DiTアーキテクチャMatrixGame 2.0のシングルプレイヤー拡散トランスフォーマーをベースに、アクション空間を拡張することでMinecraftの入力を完全にサポートし、2人のプレイヤー間の情報交換を実現するクロスプレイヤー自己注意層を導入し、異なる視点を区別するためにプレイヤーID埋め込みを追加し、シングルプレイヤー設定では他のモジュール（クロスアテンション、FFN）は変更せずに維持します。
- 4段階の漸進的トレーニングシングルプレイヤーモード用に事前学習済みの重みから始め、VPTデータセットで重みを微調整してMinecraftのアクション空間に適合させました。次に、マルチプレイヤーデータに切り替えて双方向モデルを教師として学習させ、それをスライディングウィンドウジェネレーターに因果的に変換し、チェックポイント自己強制法によって長尺シーケンスの安定生成を実現しました。
- Checkpointed Self Forcingスライディングウィンドウ自己回帰におけるメモリボトルネックに対処するため、本手法ではまず、勾配を含まないクリーンなフレームとノイズのある状態を生成してキャッシュします。次に、カスタムアテンションマスクを使用してシングルパスの並列再計算を実行し、スライディングウィンドウの依存関係を厳密に再現することで、メモリを解放します。 まで また、生成品質を向上させるためのKVキャッシング勾配バックホールもサポートしています。
- Solarisエンジンデータシステム既存のフレームワークにおけるマルチプレイヤーサポートの不足に対処するため、チームはMineflayerをベースに、公式Minecraftクライアント内でコントローラーとカメラ専用のアーキテクチャを構築しました。サーバープラグインを介してリアルタイムでステータスを同期し、Dockerコンテナ化によって並列スケーリングと自動障害復旧を実現しました。最終的に、モーションアノテーション付きのマルチプレイヤーゲームデータ1260万フレームが収集されました。
Solarisプロジェクトのアドレス
- プロジェクト公式サイト：https://solaris-wm.github.io/
- GitHubリポジトリ：https://github.com/solaris-wm/solaris
- ハギングフェイスモデルライブラリ：https://huggingface.co/collections/nyu-visionx/solaris-models
- arXiv技術論文：https://arxiv.org/pdf/2602.22208
Solarisアプリケーションのシナリオ
- 身体化された知能のトレーニングと評価マルチエージェント世界シミュレーターとして、ロボットやゲームAI向けの合成トレーニングデータを提供し、ポリシー学習、推論時プランニング、安全性評価をサポートし、現実世界環境における試行錯誤の高コストを回避します。
- マルチエージェントによる共同研究複数人での共同作業（共同建設やチーム戦闘など）をシミュレーションすることで、AIエージェントの協調性やコミュニケーション能力を訓練し、創発的な行動や社会的知能を研究する。
- 視覚言語動作モデルの開発このモデルは、大規模でマルチビューのビデオ・アクション・言語整合データを生成でき、VLAモデルの事前学習と微調整をサポートすることで、実際の人間による複数人インタラクションデータの不足を補うことができる。
- 3Dシーン理解と空間推論のベンチマーク制御可能なテストプラットフォームとして、視点の一貫性、オブジェクトの永続性、空間記憶といった、3D理解の中核となる機能におけるモデルのパフォーマンスを評価します。