FantasyWorld - Amapと北京郵電大学が共同で立ち上げた3D世界モデリングフレームワーク - AiBoss

ファンタジーワールドとは何ですか？

FantasyWorldは、AMAP（アマップ）と北京郵電大学が共同開発した革新的な3Dワールドモデリングフレームワークです。ビデオと3D予測を統合することで、高品質な3Dシーンの生成に特化しています。このフレームワークは、固定されたビデオベースモデルに学習可能な幾何学的ブランチを追加することで、潜在的なビデオ変数と暗黙的な3Dフィールドの同時モデリングを実現し、単一の順伝播で幾何学的に一貫性のある3D対応ビデオを生成できます。FantasyWorldはマルチビューの一貫性に優れており、180度回転などの大きな視点変化があっても、高い視覚的リアリズムと幾何学的一貫性を維持します。

ファンタジーワールドの主な機能

共同モデリング動画と3DシーンFantasyWorldは、固定されたビデオベースモデルに学習可能な幾何学的ブランチを追加することで、ビデオと3Dシーンを同時に生成することができ、ビデオの潜在変数と暗黙的な3Dフィールドの共同モデリングを可能にし、下流の3Dタスクのための一般的な表現を提供します。
部門横断的な監督メカニズムこの手法は、ビデオ生成を誘導するための幾何学的手がかりを導入すると同時に、ビデオの事前情報を使用して3D予測を制約することで、ビデオと3D情報のインタラクティブな最適化を実現し、一貫性があり汎用性の高い3D知覚ビデオを生成する。
マルチビューの一貫性最適化視点が大きく変化した場合（例えば180度回転した場合）でも、生成されたビデオは高いレベルのマルチビューの一貫性と幾何学的忠実度を維持し、異なる視点からの3Dシーンの安定性を確保します。
高効率前方伝搬アーキテクチャ前処理モジュール（PCB）と統合再構成・生成モジュール（IRG）を用いることで、マルチモーダルな条件を通してビデオと幾何学的特徴を最適化し、単一の順伝播処理で高品質な3Dシーン生成を実現します。
複数の下流アプリケーションをサポートこれは、AR/VRコンテンツ制作やロボットナビゲーションなど、3D世界モデリングを必要とするアプリケーションのための強力な技術基盤を提供し、空間知能と人工知能のさらなる発展を促進する。

ファンタジーワールドの技術的原理

幾何学的強化ビデオベースモデル: 固定されたビデオベースモデルに学習可能な幾何学的ブランチを追加し、ビデオの潜在変数と暗黙的な3Dフィールドの同時モデリングを実現することで、モデルがビデオ生成と3D幾何学的推論を同時に処理できるようにします。
部門横断的な監督メカニズムこの手法は、幾何学的特徴に基づいて動画生成を誘導し、動画の事前情報を利用して3D予測を制約することで、動画と3D情報の相互作用を最適化し、一貫性があり汎用性の高い3D知覚動画を生成する。
マルチモーダルデータ融合動画データと幾何学的情報を組み合わせることで、マルチモーダルな条件を用いてモデルの出力が最適化され、生成される3Dシーンが視覚と幾何学の両面において高い整合性と一貫性を持つようにする。
高効率前方伝搬アーキテクチャ前処理モジュール（PCB）と統合再構成・生成（IRG）モジュールを用いることで、ビデオの潜在変数と幾何学的特徴を反復的に最適化することにより、単一の順伝播処理で高品質な3Dシーン生成が保証されます。
軽量アダプターとクロスアテンションジオメトリ処理ブランチとビデオ処理ブランチの間には、軽量アダプタと相互注意機構が導入されており、これら2つのブランチ間で情報交換と協調的な最適化が可能になる。

ファンタジーワールドプロジェクトのアドレス

プロジェクト公式サイト：https://fantasy-amap.github.io/fantasy-world/
GitHubリポジトリ：https://github.com/Fantasy-AMAP/fantasy-world
arXiv技術論文：https://arxiv.org/pdf/2509.21657

FantasyWorldの応用事例

AR/VRコンテンツ制作高品質な3Dワールドモデルを生成し、拡張現実（AR）および仮想現実（VR）アプリケーション向けにリアルな仮想環境を提供するとともに、没入型体験の開発を支援します。
ロボットナビゲーションこれはロボットに正確な3D環境認識と経路計画支援を提供し、空間構造をよりよく理解し、より高度なナビゲーションとインタラクションを実現するのに役立つ。
空飛ぶストリートビュー店舗側は携帯電話で撮影した動画をアップロードすることで、高精細な3D仮想ストリートビューを生成し、利用者がレストランの座席エリアなどの店舗レイアウトを事前に体験できるようにすることができる。
デジタルツイン都市計画、建築設計、インフラ管理に活用できる都市のデジタルツインモデルを構築し、高精度な3D可視化とシミュレーションを提供する。
ゲーム開発これにより、ゲーム開発者は高品質な3Dゲームシーンを迅速に生成できるようになり、開発コストの削減とゲームの視覚効果の向上につながります。