EnerVerseは、Zhiyuan Roboticsが発表した初の4Dロボットワールドモデルです。

EnerVerseとは何ですか？

EnerVerseは、Zhiyuan Roboticsチームが開発したロボット向け初の4Dワールドモデルです。未来の具現化空間を生成することで、ロボットが複雑なタスクを完了できるよう支援します。このモデルは、自己回帰拡散モデルをスパースメモリとフリーアンカービュー（FAV）と組み合わせることで、4D生成能力とモーションプランニング性能を大幅に向上させています。実験結果によると、EnerVerseはロボットのモーションプランニングタスクにおいて最先端の性能を達成しています。EnerVerseプロジェクトのホームページと論文は現在オンラインで公開されており、モデルとデータセットは近日中にオープンソース化される予定です。

EnerVerseの主な機能

未来の宇宙世代EnerVerseは自己回帰拡散モデルを用いて未来の具現化空間を生成し、タスクガイダンスとリアルタイムの観察に基づいてロボットが将来の行動を計画するのを支援する。
高効率モーションプランニングEnerVerseは、発電機ネットワークの下流に複数のTransformerで構成される拡散ポリシーヘッドを追加し、デダイバージェンスの最初のステップで将来のアクションシーケンスを出力することで、アクション予測のリアルタイム性能を保証します。

EnerVerseの技術原則

自己回帰拡散モデル
- ブロック生成EnerVerseは、チャンク単位の自己回帰拡散モデルを用いて、将来の身体空間をモデル化します。このモデルは、各時点における空間情報を段階的に生成することで、ロボットが局所的な情報に頼るだけでなく、複雑なタスクを実行する際に複数の時点からの環境データを統合することを可能にします。
- 拡散モデルアーキテクチャ時空間アテンションを組み合わせたUNet構造に基づき、各空間ブロックは畳み込みと双方向アテンションによってモデル化され、ブロックは一方向因果論理によって時間的な一貫性を維持する。
スパースメモリ機構
- メモリ管理EnerVerseは、大規模言語モデルのコンテキストメモリから着想を得て、学習フェーズ中に履歴フレームに対して高い割合でランダムマスキングを実行し、推論フェーズ中にメモリキューをより長い時間間隔で更新します。このメカニズムにより、計算オーバーヘッドを効果的に削減すると同時に、長距離タスクの生成能力を大幅に向上させます。
無料アンカービュー（お気に入り）
- 視点の柔軟性FAVは、ロボットがシーンに応じて視点を柔軟に調整することを可能にし、狭い場所や遮蔽物の多い環境における固定された複数視点の限界を克服します。例えば、キッチンなどのシーンでは、FAVは動的な遮蔽物にも容易に対応できます。
- 空間的一貫性EnerVerseは、光線投影の原理に基づき、視線マップを視点制御条件として使用し、2D空間アテンションをクロスビューポイント3D空間アテンションに拡張することで、生成されるビデオの幾何学的一貫性を保証します。
拡散戦略責任者
- 高効率な動き予測ジェネレーターネットワークの下流に、複数のトランスフォーマーで構成される拡散ポリシーヘッドが追加され、デダイバージェンスの最初のステップで将来のアクションシーケンスを出力することで、アクション予測のリアルタイム性能が保証されます。
- スパースメモリのサポート行動予測推論では、疎なメモリキューに実際のFAV観測値または再構築されたFAV観測値を格納することで、長期的なタスクに対するモデルの計画能力を向上させる。

EnerVerseのプロジェクトアドレス

プロジェクト公式サイト：https://sites.google.com/view/enerverse/home
arXiv技術論文：https://arxiv.org/pdf/2501.01895

EnerVerseの応用事例

環境認識と意思決定自動運転の分野において、EnerVerseは未来の空間を生成することで、車両の環境認識と意思決定を支援することができる。
ロボットの操作と組み立て産業生産ラインにおいて、EnerVerseはロボットを誘導し、複雑な組み立て作業を完了させることができます。未来空間を生成することで、ロボットは部品間の空間的な関係や組み立て手順をより正確に理解できるようになり、組み立て効率と精度が向上します。
品質検査およびメンテナンスEnerVerseは、産業機器の品質検査やメンテナンスにも応用可能です。ロボットは生成された未来空間を利用して、機器のより包括的な検査を行い、潜在的な故障や問題を迅速に特定できます。
ホームサービス家庭環境において、EnerVerseはサービスロボットがタスクをよりよく理解し、計画するのに役立ちます。例えば、部屋の片付けや物の移動といったタスクにおいて、ロボットは将来の空間情報を生成することで、物の配置や移動経路を予測することができます。
医療支援医療分野において、EnerVerseは医療ロボットによる外科手術やリハビリテーション訓練を支援することができます。未来的な空間を生成することで、ロボットは手術手順やリハビリテーション動作をより正確に計画することが可能になります。