LatticeWorld - NetEase、清華大学などが開発した、マルチモーダルな3D世界生成フレームワーク。 - AiBoss

LatticeWorldとは何ですか？

LatticeWorldは、NetEase、香港城市大学、北京航空航天大学、清華大学が共同開発したマルチモーダル3Dワールド生成フレームワークです。大規模な言語モデルと産業グレードの3DレンダリングエンジンであるUnreal Engine 5（UE5）を組み合わせ、テキストによる説明と視覚的な指示を通して、高度に動的な環境、リアルな物理シミュレーション、リアルタイムレンダリングを備えた大規模でインタラクティブな3Dワールドを迅速に生成できます。LatticeWorldは、シーンレイアウト生成、環境構成生成、プロシージャルレンダリングパイプラインの3つのコアモジュールで構成されています。従来の手動作成と比較して、作成効率を90倍以上向上させ、高品質な結果を生み出すため、ゲーム、映画、その他の分野での幅広い応用が期待されています。

LatticeWorldの主な機能

3Dワールドを素早く生成するテキストによる説明と視覚的な指示に基づいて、高度に動的な環境、リアルな物理シミュレーション、リアルタイムレンダリングを備えた大規模なインタラクティブな3D世界を迅速に生成することができ、従来の手動作成と比較して効率が大幅に向上します。
複数のシナリオ生成をサポート郊外や荒野など、さまざまなタイプの3Dシーンの生成をサポートし、多様なユーザーのニーズに対応します。
動的なインタラクティブ環境を生成するエージェントの種類、数、動作状態、空間位置など、動的なエージェント構成情報を生成できるため、生成される3Dワールドはよりインタラクティブでダイナミックなものになります。
マルチモーダル入力に対応テキストによる説明や視覚的な条件など、複数の入力方法をサポートしており、ユーザーはニーズに応じて適切な入力方法を選択できるため、生成される3D世界はユーザーの要求により合致したものとなる。

LatticeWorldの技術原則

マルチモーダル入力処理テキストによる説明や視覚的な条件など、さまざまな入力方法を用いることで、入力情報は記号的なシーンレイアウトや環境構成パラメータに変換され、その後の3D世界生成の基盤となる。
シンボルシーケンスシーンレイアウト表現複雑な空間シーンのレイアウトはシンボルマトリックスに変換され、各シンボルは特定の資産タイプを表します。例えば、Fは森林地帯、Wは水域を表します。シンボル化されたマトリックスは、大規模な言語モデルで直接処理できる文字列形式にシリアル化され、空間関係の整合性を効果的に維持します。
マルチモーダル視覚融合メカニズム事前学習済みのCLIPビジュアルエンコーダを用いて高次元の視覚特徴表現を抽出し、特別に設計された多層CNN射影ネットワークを通してこれらの特徴を単語埋め込み空間にマッピングします。視覚指示統合モジュールとレイアウト生成モデルを共同で最適化するために、CLIP微調整段階、連続事前学習段階、エンドツーエンド微調整段階を含む、綿密に設計された3段階の学習パラダイムを採用しています。
階層型シーン属性フレームワーク2層構造のシーン属性に対して階層構造を確立します。粗粒度属性層は、地形の種類、季節の変化、気象条件など、グローバルな環境特性を制御します。細粒度属性層は、アセットの材質、密度、位置、向きなど、さまざまな詳細なパラメータを網羅し、シーンの意味的な一貫性を確保し、パラメータの競合を軽減します。
プロシージャルレンダリングパイプラインこのシステムは、シーンレイアウトデコーダと環境構成変換システムを利用して、シンボリックなシーンレイアウトとJSON形式の環境構成を3Dレンダリングエンジンへの入力に変換します。シーンレイアウトデコーダは、シンボリックなシーンレイアウトをバイナリマスク画像に変換したり、マスク画像のサイズを調整したり、自然な遷移領域を作成したりするなど、シーンレイアウトを精密に処理します。環境構成変換システムは、環境構成パラメータを特定のレンダリングエンジンのネイティブ属性形式に変換し、オブジェクトやエージェントの種類、状態、空間分布などの詳細なパラメータを精密に制御します。

LatticeWorldのプロジェクトアドレス

arXiv技術論文：https://arxiv.org/pdf/2509.05263

LatticeWorldの応用事例

ゲーム開発地形、建物、植生などの要素を含むゲーム世界のプロトタイプを迅速に生成し、開発プロセスを加速します。
映画およびテレビ制作異世界や古代都市といった複雑な仮想シーンを迅速に構築できるため、物理的なシーンを構築するコストを削減できる。
仮想現実（VR）と拡張現実（AR）没入感のある体験を提供するために、仮想観光や仮想教育などの没入型仮想環境を作成する。
都市計画予備調査のために、道路、建物、公園などの要素を含む仮想都市モデルを迅速に生成できる。
教育と訓練仮想実験室や歴史的場面などを生成し、没入型の学習体験を提供する。