EmbodiedGen - 身体化された知能アプリケーションのための生成型3Dワールドエンジン - AiBoss

EmbodiedGenとは何ですか？

EmbodiedGenは、エンボディドAIアプリケーション向けの生成型3Dワールドエンジンおよびツールキットです。高品質で低コスト、かつ物理的に妥当な3Dアセットとインタラクティブな環境を迅速に生成できるため、研究者や開発者はエンボディドエージェントのテスト環境を構築できます。EmbodiedGenには、画像やテキストからの3Dモデル生成、テクスチャ生成、関節オブジェクト生成、シーンおよびレイアウト生成など、複数のモジュールが含まれており、単純なオブジェクトから複雑なシーンまで、あらゆるものの作成をサポートします。生成された3Dアセットは、ロボットシミュレーションに直接使用でき、URDF形式でも利用できるため、エンボディドAI研究のための強力なツールサポートを提供します。

EmbodiedGenの主な機能

画像から3Dへの変換入力画像から物理的に妥当な3Dアセットを生成できる。
テキストから3Dを生成するテキストによる説明に基づいて、様々な幾何学的形状とスタイルの3Dアセットを生成します。
テクスチャ生成機能3Dメッシュ用の視覚的に豊かなテクスチャを生成します。
複雑なシーン構築シンプルなオブジェクトから複雑なシーンまで、あらゆるものの作成をサポートし、実寸大で統一ロボット記述フォーマット（URDF）に準拠した高品質な3Dアセットを生成できます。
インテリジェントなレイアウト生成トレーニングや評価における下流タスクを支援するための、インテリジェントなレイアウト生成機能を提供します。
物理的資産のサポート生成された3Dアセットは、密閉された形状と物理的に妥当な特性を持ち、ロボットのシミュレーションや記述形式に直接適用できます。

EmbodiedGenの技術原則

生成AIの応用EmbodiedGenは生成型AI技術に基づいており、画像やテキストの説明から3Dモデルを生成することができます。
複数モジュールによる共同作業EmbodiedGenは、画像から3Dへの変換、テキストから3Dへの変換、テクスチャ生成、関節オブジェクト生成、シーン生成、レイアウト生成という6つの主要モジュールで構成されています。これらのモジュールが連携して、単純なオブジェクトから複雑なシーンまで、多様な3D世界を生成します。
物理的なリアリズムと現実世界のスケール生成された3Dアセットは、密閉された形状と物理的に妥当な特性を持ち、URDF（Unified Robot Description Format）などのロボットシミュレーションおよび記述フォーマットに直接適用できます。
動的な環境生成EmbodiedGenの生成環境は動的であり、AIの挙動に基づいてリアルタイムで環境を生成および変更することが可能である。

EmbodiedGenのプロジェクトアドレス

プロジェクト公式サイト：https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html
GitHubリポジトリ：https://github.com/HorizonRobotics/EmbodiedGen
arXiv技術論文：https://arxiv.org/pdf/2506.10600

EmbodiedGenの応用シナリオ

ロボットのシミュレーションとトレーニングEmbodiedGenは、物理的な妥当性と実寸大の3Dアセットを生成することができ、これはURDF（Unified Robot Description Format）などのロボットシミュレーションや記述フォーマットに直接適用できます。
自動運転とドローンEmbodiedGenは、自動運転やドローンのシミュレーション訓練に使用できる動的な3D環境を生成します。複雑な道路や地形の状況をシミュレートすることで、自動運転システムやドローンが現実世界のシナリオにより良く適応できるよう支援します。
バーチャルソーシャルユーザーはVRデバイスを通して仮想アバターを操作し、ソーシャルアクティビティ、会議、その他の活動を行うことができます。
医療処置とリハビリテーションEmbodiedGenは、医療およびリハビリテーション分野におけるシミュレーションやトレーニングに使用できる3D環境を生成します。これには、仮想環境内での外科手術のシミュレーション訓練も含まれます。