AB
AB
AiBoss

すべてのカテゴリ

project

WorldCraft - 香港科技大学が開発した3D仮想世界作成・カスタマイズシステム

香港科技大学が開発したWorldCraftは、大規模言語モデル（LLM）エージェントに基づいた3D世界の作成およびカスタマイズシステムです。リアルな3D仮想世界の作成とカスタマイズに使用されます。自然言語による対話に基づいており、ユーザーは簡単に生成できます。

WorldCraftとは何ですか？

香港科技大学が開発したWorldCraftは、大規模言語モデル（LLM）プロキシに基づく3D世界の作成およびカスタマイズシステムです。リアルな3D仮想世界の作成とカスタマイズに使用されます。自然言語による対話に基づいており、ユーザーは複雑な屋内および屋外シーンを簡単に生成し、その中のオブジェクトやレイアウトを微調整できます。WorldCraftは3つのコアモジュールで構成されています。ForgeItは個々のオブジェクトのカスタマイズに使用され、プロシージャル生成によって正確な形状とテクスチャ制御を実現します。ArrangeItはシーンレイアウト生成を担当し、階層的な数値最適化によって機能性と美観のバランスを実現します。軌道制御モジュールでは、対話を通じてオブジェクトの動きとカメラの軌道を制御し、アニメーションやビデオを生成できます。WorldCraftは既存のディープ3Dジェネレータと互換性があり、シーンアセットを充実させ、専門家以外のユーザーでも効率的にクリエイティブなデザインを実現できます。

WorldCraftの主な機能

  • 自然言語インタラクションユーザーは、専門的な3Dモデリングスキルを必要とせず、簡単なテキストコマンドやダイアログに基づいて複雑な3Dシーンを作成およびカスタマイズできます。
  • 単一オブジェクトのカスタマイズユーザーは、オブジェクトの形状、質感、素材を精密に制御することで、パーソナライズされたデザインを実現できます。
  • シーンレイアウト生成ユーザーのデザイン意図（機能要件や美的要件など）に基づいて、適切なオブジェクトレイアウトを生成します。
  • シーンアニメーション制御ユーザーは、物体やカメラの動きの軌跡を自然言語で記述することで、アニメーションや動画を生成できます。
  • 互換性と拡張性このシステムは、既存の深度3Dジェネレーター（Infinigenなど）との統合をサポートしており、シーンアセットを充実させ、視覚効果を向上させることができます。

WorldCraftの技術的原理

  • コーディネーターエージェント3Dシーン生成プロセス全体を管理し、複雑なタスクを複数のサブタスクに分割し、他のエージェントモジュールと連携してそれらを完了させます。システムとの複数回のユーザーインタラクションをサポートし、生成された結果をリアルタイムで調整できます。
  • 単一オブジェクトの生成とカスタマイズこのツールは、LLMエージェントを利用してプロシージャルジェネレーター（Infinigenなど）を操作し、自然言語による指示に基づいて、正確な形状とPBRテクスチャを備えた3Dオブジェクトを生成します。自動検証メカニズムを採用し、複雑な生成タスクをエージェントが円滑に進められるようガイドする、動的に拡張されるマニュアルを構築し、複数ターンにわたる対話編集をサポートします。
  • シーンレイアウトの最適化このシステムは、シーンレイアウト問題を階層的な数値最適化問題としてモデル化し、シミュレーテッドアニーリングアルゴリズムに基づいて最適なレイアウトを解きます。ユーザーはレイアウト要件を自然言語で記述することができ、設計意図を最適化目標と制約条件に変換します。
  • 軌道制御モジュールChatCam拡張機能をベースに、ユーザーが自然言語を使って物体やカメラの動きの軌跡を記述できるようにします。これらの軌跡記述は、シーンアニメーションを生成するための具体的な動作コマンドに変換されます。
  • ディープ3Dジェネレーター統合このシステムは、既存の深度3Dジェネレーターと互換性があり、芸術的なオブジェクトを導入したり、シーンのディテールを豊かにしたりするために使用されます。プロシージャル生成と深度生成を組み合わせることで、シーンの視覚的な品質と多様性を向上させます。

WorldCraftプロジェクトのアドレス

WorldCraftの応用シナリオ

  • 建築設計とインテリアデザイン自然言語に基づいて建築コンセプトモデルやバーチャルショールームを迅速に生成し、インテリアのレイアウトやスタイルをカスタマイズし、設計プロセスを最適化し、顧客体験を向上させることができます。
  • 映画とエンターテイメントこれは、仮想の映画シーン、ゲームレベル、アニメーション映画の複雑なシーンを作成することで、物理的なセットを構築するコストを削減し、仮想現実（VR）や拡張現実（AR）体験のための非常にリアルな仮想環境を提供する。
  • 教育と訓練没入型の体験を通して学習効果を高め、遠隔教育や専門スキル研修を支援するために、仮想実験室、歴史的場面、地理的環境、医療研修シナリオなどを設計する。
  • 製品設計とプレゼンテーション家具、自動車、電子機器などの製品デザインを紹介するための製品コンセプトモデルやバーチャルショールームを迅速に生成でき、パーソナライズされたカスタマイズやバーチャル広告シナリオの作成にも対応しています。
  • 文化と芸術仮想博物館、美術展、歴史的建造物、文化祭の場面などを制作し、文化遺産を再現するとともに、芸術創造や文化体験のための没入型空間を提供する。
戻る