WorldMem - 南洋理工大学、北京大学、上海AI研究所が共同で立ち上げた世界規模の生成モデル。 - AiBoss

WorldMemとは何ですか？

WorldMemは、南洋理工大学、北京大学、上海AIラボが共同開発した革新的なAI世界生成モデルです。このモデルは、従来の世界生成モデルにおける長期的な一貫性の欠如という重大な課題を、メモリ機構の導入によって解決します。WorldMemでは、エージェントが多様なシーンを自由に探索し、視点や位置の変化に関わらず、生成された世界は幾何学的な一貫性を維持します。WorldMemは、動的な変化（例えば、オブジェクトが環境に与える影響など）をシミュレートする時間的一貫性モデリングをサポートしています。このモデルはMinecraftデータセットで大規模に学習され、実世界のシナリオでその有効性が検証されています。WorldMemは、現実的で永続的かつインタラクティブな仮想世界を構築するための新たな技術的道筋を提供します。

WorldMemの主な機能

一貫性を保つ仮想世界を長期にわたって一貫性のある状態に保つため。
動的な変化をシミュレートする時間の経過とともに発生する変化、例えば物体が環境に与える影響（例：光による雪解け）などをシミュレートします。
インタラクションをサポートユーザーは仮想世界にオブジェクトを配置したり、アクションを実行したりすることができ、これらのインタラクションは記録され、後続の生成に影響を与える。
多様なシーン生成平原、砂漠、氷原など、様々な仮想シーンでの自由な探索をサポートします。
現実世界のシナリオに適用可能: 実世界のデータセット上で生成の一貫性を検証する能力。

WorldMemの技術的原則

条件生成モジュール条件付き拡散トランスフォーマーを基盤とし、拡散強制トレーニング戦略と組み合わせることで、自己回帰的な長期生成をサポートします。外部アクション信号（移動、視点制御、オブジェクト配置など）が、一人称視点の生成を誘導します。
メモリ読み書きモジュールメモリバンクには、生成プロセスから得られた重要な履歴情報が格納されます。各メモリユニットには、画像フレームとその対応する状態（視点姿勢やタイムスタンプなど）が含まれています。メモリの検索には、視点の重なりと時間差に基づいて類似性を計算し、現在のシーンに最も関連性の高いメモリユニットを効率的に選択する貪欲マッチングアルゴリズムが使用されます。
メモリ融合モジュール現在のフレームの状態埋め込み（姿勢＋時間）は、メモリフレームの状態埋め込みと結合されます。アテンションベースの計算を使用して、現在のシーンに最も関連性の高いメモリ情報を抽出し、融合された特徴を生成して、現在のフレームの生成をガイドします。姿勢はプリュッカー座標で表現され、タイムスタンプはMLPに基づいてマッピングされます。モデルの空間理解と詳細保持能力を向上させるために、相対埋め込みメカニズムが導入されています。

WorldMemプロジェクトのアドレス

プロジェクト公式サイト：https://xizaoqu.github.io/worldmem/
GitHubリポジトリ：https://github.com/xizaoqu/WorldMem
arXiv技術論文：https://arxiv.org/pdf/2504.12369
オンラインでデモを体験してください：https://huggingface.co/spaces/yslan/worldmem

WorldMemの応用シナリオ

バーチャルゲーム自由な探索と環境とのインタラクションをサポートする、一貫性のある仮想ゲーム世界を生成する。
VR/AR没入感を高めるために、永続的かつ動的に変化する仮想環境を作成する。
自動運転自動運転システムのテストに使用するため、現実世界の交通状況をシミュレートします。
建築設計設計案の評価を支援するために、仮想的な建築環境を生成する。
教育する生徒が実験や探究活動を行えるよう、インタラクティブな学習環境を構築する。