WonderWorld - スタンフォード大学とMITが共同開発した、多様で一貫性のある3Dシーンを生成するためのAIフレームワーク。 - AiBoss

ワンダーワールドとは何ですか？

WonderWorldは、スタンフォード大学とMITが共同開発した革新的な3Dシーン生成フレームワークです。単一の画像から、多様で一貫性のある3D仮想世界を迅速に生成できます。コアとなる高速レイヤードガウスサーフェル（FLAGS）表現とガイド付き深度拡散技術に基づき、10秒未満でシーンを生成できるため、3Dシーン作成速度が大幅に向上し、新規シーンと既存シーン間の幾何学的整合性が確保されます。ユーザーはテキストコマンドとカメラ操作を用いて、仮想環境をリアルタイムでインタラクティブに操作・探索できるため、WonderWorldはゲーム開発、バーチャルリアリティ、クリエイティブデザインなど、幅広い分野で活用できる可能性を秘めています。

ワンダーワールドの主な機能

高速3Dシーン生成1枚の画像から3Dシーンを素早く生成できるため、ユーザーはリアルタイムでレンダリングや探索を行うことができる。
対話型制御ユーザーは、カメラを動かしたりテキストプロンプトを入力したりすることで、生成されるシーンの内容と場所を指定できます。
多様なシーンの創造都市、自然、ファンタジーなど、さまざまなスタイルや要素を持つ3Dシーンの生成をサポートします。
リアルタイムのユーザーインタラクションリアルタイムレンダリングを行いながら、視点の移動や回転など、生成されたシーンに対するユーザーのインタラクションをサポートします。
一貫性のあるシーンのつながり新たに生成されたシーンは、既存のシーンとの幾何学的な整合性を維持し、統一された仮想世界を形成する。
ユーザー主導のコンテンツ作成ユーザーは、自身の想像力とニーズに基づいて、パーソナライズされた仮想環境を作成する。

ワンダーワールドの技術原理

Fast LAyered Gaussian Surfels (FLAGS)階層的な設計とジオメトリベースの初期化によってシーン生成と最適化を高速化する、斬新なシーン表現手法。
単一ビューレイヤー生成シーン画像は、テキスト誘導拡散モデルと単一視点画像を使用して生成され、シーン内の遮蔽領域はレイヤー化されたアプローチを使用して埋められます。
ジオメトリに基づく初期化単眼カメラの推定された法線情報と深度情報に基づいて、シーン内の各レイヤーの幾何学的パラメータが迅速に初期化され、最適化時間が短縮されます。
ガイド付き深部拡散部分的に視認できる深度情報を用いて深度推定を行い、既存のシーンと幾何学的に整合性のある新しいシーンを生成する、トレーニング不要の手法。
リアルタイムレンダリングユーザー操作時には、カメラの動きやテキストプロンプトの生成といったシーンをリアルタイムでレンダリングし、スムーズなユーザーエクスペリエンスを提供します。

ワンダーワールドのプロジェクト住所

プロジェクト公式サイト：kovenyu.com/wonderworld
arXiv技術論文：https://arxiv.org/pdf/2406.09394

WonderWorldの応用事例

ゲーム開発ゲームデザイナーは3Dゲーム世界を迅速に生成・反復できるため、ゲームデザインの効率が向上し、AIの支援を受けて生成されたオープンワールドをプレイヤーが探索する際に役立ちます。
バーチャルリアリティ（VR）仮想現実アプリケーションでは、没入感のある3D環境が作成され、ユーザーは仮想観光、教育、訓練シミュレーションなど、多種多様な仮想シナリオを体験することができる。
拡張現実（AR）WonderWorldはAR技術を組み合わせることで、現実世界のシーンに仮想要素を追加し、ユーザーに強化されたインタラクティブな体験を提供することができます。
映画とエンターテイメント映画制作やアニメーション制作においては、映画のような3D背景やシーンを迅速に生成できるため、従来のモデリングやレンダリングに必要な時間を短縮できます。
建築設計および計画建築家や都市計画家はWonderWorldを利用して設計案を作成・提示し、クライアントが仮想環境で建物や都市開発の設計図をプレビューできるようにしています。