ImmerseGen - ByteDanceと浙江大学が共同開発した3Dワールド生成フレームワーク

ImmerseGenとは何ですか？

ImmerseGenは、ByteDanceのPICOチームと浙江大学が共同開発した革新的な3Dワールド生成フレームワークです。ユーザー入力によるテキストプロンプトとエージェントによるアセット設計・配置に基づき、アルファテクスチャを備えたコンパクトなエージェントを生成し、パノラマ状の3Dワールドを構築します。このアプローチにより、複雑なアセットへの依存度を低減し、生成されるワールドの多様性とリアリティを確保します。ImmerseGenは、動的な視覚効果と合成された環境音を組み込むことでマルチモーダルな没入感を高め、没入型VR体験に特に適しています。

ImmerseGenの主な機能

• 基本的な地形生成ユーザーのテキスト入力に基づいて、基本地形を取得し、地形条件テクスチャ合成を適用し、基本メッシュに合わせたRGBA地形テクスチャとスカイボックスを生成して、基本世界を形成する。
• 豊かな環境軽量アセットが導入され、VLM（ビジュアル言語モデル）に基づくアセットエージェントが適切なテンプレートを選択し、詳細なアセットキューを設計し、シーン内のアセットの配置を決定します。配置された各アセットは、コンテキスト認識型RGBAテクスチャ合成によってアルファテクスチャでインスタンス化されます。
• マルチモーダルな没入感の向上生成されたシーンに動的な視覚効果と合成された環境音効果を追加することで、ユーザーの没入感を高めます。

ImmerseGenの技術原理

• エージェント主導の資産設計と配置エージェントは、アセットの設計と配置をガイドします。VLMに基づいて、エージェントはユーザーが入力したテキストを理解し、適切なアセットテンプレートを選択し、詳細なアセットプロンプトを設計し、生成されたアセットがユーザーのニーズと一致していることを確認します。
• 地形条件テクスチャ合成基本的な地形生成段階では、地形条件テクスチャ合成技術を適用して、基本メッシュに合わせたRGBA地形テクスチャとスカイボックスを生成し、地形のリアリズムと視覚効果を確保します。
• コンテキスト認識型RGBAテクスチャ合成配置された各アセットに対して、周囲の環境に基づいてアルファテクスチャを持つアセットを生成するために、コンテキスト認識型RGBAテクスチャ合成技術が使用され、アセットがシーンに自然に溶け込むようにしています。
• マルチモーダル融合動的な視覚効果と合成された環境音効果を追加することで、ユーザーのマルチモーダルな没入感を高め、視覚と聴覚の両方に豊かな体験を提供します。

ImmerseGenのプロジェクトアドレス

• プロジェクト公式サイト：https://immersegen.github.io/
• 技術論文：https://immersegen.github.io/static/assets/paper/paper.pdf

ImmerseGenの応用シナリオ

• 仮想現実（VR）と拡張現実（AR）ImmerseGenは、バーチャル観光やバーチャル会議などのVRシナリオで使用できるリアルな3D環境を生成し、没入感のある体験を提供します。AR分野では、生成された3Dコンテンツが現実世界と統合され、工業デザイン、建築デザインなどの分野の視覚化に役立ちます。
• ゲーム開発これにより、開発者はゲームシーンのプロトタイプを迅速に作成でき、時間と労力を節約できます。また、ゲームロジックの設計に集中できるようになり、ゲームのストーリーやプレイヤーの行動に基づいてゲーム環境を動的に生成することで、プレイヤーに豊かで多様な体験を提供できます。
• 建築設計建物や都市環境の3Dモデルを作成することで、バーチャルプレゼンテーションや顧客とのコミュニケーションを円滑化し、顧客が計画の効果を事前に体験してフィードバックを提供できるようにします。
• 教育する教育分野においては、仮想実験室環境を構築することで、学生の学習における楽しさやインタラクティブ性を高めることができる。
• 映画およびテレビ制作映画やテレビ番組の撮影用に仮想シーンを生成することで、現場撮影のコストと時間を削減します。生成された3Dコンテンツは特殊効果制作の基盤となり、特殊効果チームが高品質な視覚効果を迅速に生成するのに役立ちます。