Hunyuan 3D World Model 1.0 - テンセントのオープンソース3Dワールド生成モデル

Hunyuan 3D World Model 1.0とは何ですか？

テンセントが世界人工知能会議で正式にリリースし、オープンソース化した「Hunyuan World 1.0」は、業界初の没入型インタラクティブシミュレーション世界生成モデルです。このモデルは、パノラマ画像生成とレイヤー化された3D再構築技術を統合し、テキストまたは画像入力によって数分以内に360度没入型3Dシーンを生成できます。ユーザーは生成された世界を自由に探索し、ゲームや仮想現実のようなインタラクティブな体験をすることができます。このモデルは物理シミュレーションと二次編集をサポートしており、生成されたシーンはUnityやUnreal Engineなどの主要なエンジンにインポートして、さらに開発を進めることができます。

Hunyuan 3D World Model 1.0の主な機能

• ワンクリックで360度パノラマの世界を生成するユーザーは、簡単なテキストによる説明、または画像のアップロードによって、完全な360度没入型3Dシーンを素早く生成できます。例えば、「老朽化したガソリンスタンド、夜雨、遠くにネオンライト」と入力するだけで、モデルはガソリンスタンド本体、周囲の環境、空の光、雷、その他の要素を含む完全な空間を構築できます。
• 自由に歩き回れるインタラクティブな3Dワールド生成された3Dシーンは360度視点切り替えに対応しており、ユーザーはシーン内を自由に動き回り、ゲームやバーチャルリアリティのようなインタラクティブな体験を楽しむことができます。WASDキーを使ってキャラクターの動きを制御したり、マウスをドラッグして視点を切り替えたり、生成された仮想世界を探索したりすることも可能です。
• 物理シミュレーションと二次編集をサポート生成されたシーンは、物理シミュレーションと独立した編集に対応しています。ユーザーは前景オブジェクトを選択したり、スケルトンをバインドしたり、動作ロジックを追加したりできるほか、空や地形などの要素を置き換えたりカスタマイズしたりすることも可能です。生成されたシーンは標準のメッシュファイルとしてエクスポートでき、Unity、Unreal Engine、Blenderといった主要なツールとシームレスに互換性があり、ゲーム開発、映画やテレビの特殊効果制作、教育シミュレーションなど、様々な場面で直接使用できます。
• 高品質な発電能力Hunyuan 3D World Model 1.0は、テキストベースと画像ベースの両方のワールドにおいて、美的品質と指示への準拠性において、現在の最先端（SOTA）オープンソースモデルを凌駕しています。「意味階層型3Dシーン表現・生成アルゴリズム」を採用することで、複雑な3Dワールドを前景、中景、背景といった異なる意味レベルに分解し、インテリジェントな分離を実現しています。生成されるシーンは、視覚的にリアルなだけでなく、高い柔軟性と拡張性も備えています。
• マルチモーダル入力のサポートこのモデルは、自然言語による説明や画像入力など、複数の入力方法に対応しています。ユーザーはニーズに応じて適切な入力方法を選択することで、必要な3Dシーンを迅速に生成できます。

Hunyuan 3Dワールドモデル1.0の技術原理

• 2段階生成パラダイム
  • 3D世界の圧縮と表現（3D対応VAE）：このモデルはまず特別に設計された3D対応変分オートエンコーダー（VAE）これは、複雑な3Dシーンデータを、低次元ながら情報量の多い潜在空間表現に符号化する。
  • 潜在空間における拡散生成（拡散変換器）：高品質の潜在空間を取得した後、モデルは...拡散モデルその基幹ネットワークは強力なトランスフォーマーアーキテクチャ（例：拡散トランスフォーマー、DiT）ランダムノイズの潜在的符号化から始まり、テキストや画像の手がかりとなる意味論に基づいて、ノイズは徐々にユーザーの要求を満たす3D世界の潜在的符号化へと形作られていく。最後に、生成された潜在コードはVAEデコーダによって特定の3D世界に復元される。
• 意味的階層型3Dシーン表現および生成アルゴリズム：このアルゴリズムは、複雑な3D世界を異なる意味レベルに分解し、前景と背景、地面と空をインテリジェントに分離します。これにより、生成されるシーンにリアルな視覚効果が保証され、シーン内の要素の独立した編集と物理シミュレーションがサポートされ、Unity、Unreal Engine、Blenderなどの主流ツールとの互換性が確保されます。
• 強力な発電エンジン（拡散変圧器）：このモデルは、約20億個のパラメータを持つ拡散トランスフォーマーを使用しています。その自己注意機構は、長距離の依存関係を捉えることに優れており、シーン全体の整合性を確保します。相互注意機構を用いることで、テキストや画像によるプロンプトからの意味情報が生成プロセスに正確に注入され、正確かつ制御可能な生成が可能になる。

Hunyuan 3D World Model 1.0 のプロジェクトアドレス

• プロジェクト公式サイト：https://3d-models.hunyuan.tencent.com/world/
• GitHubリポジトリ：https://github.com/Tencent-Hunyuan/HunyuanWorld-1.0
• ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/HunyuanWorld-1
• 公式サイトの利用方法テンセント・フンユアン 3D

Hunyuan 3Dワールドモデル1.0の応用シナリオ

• ゲーム開発ゲーム開発者は、簡単なテキストコマンドや画像入力を使用して、建物、地形、植生などの要素を含む完全な3Dシーンを迅速に生成できます。
• 没入型ビジュアル空間生成モデリング経験のない一般ユーザーでも、Hunyuan 3D作成エンジンを使えば、たった1つの文章または1枚の画像だけで、360°の没入型ビジュアル空間を素早く生成できます。
• デジタルコンテンツ制作このモデルはテキストと画像の入力に対応しており、アニメーション制作、映画やテレビの特殊効果など、さまざまな分野に適した、高品質で多様かつ移動可能な3Dシーンを迅速に生成できます。
• 物理シミュレーションのサポートこのモデルによって生成されるシーンは物理シミュレーションをサポートしており、ロボットやインテリジェントエージェントが仮想環境で訓練を行うための、具現化された知能シミュレーションに利用できる。
• インテリジェントエージェント開発コードを一切記述することなくマルチエージェントを構築できるため、初心者でもすぐに使い始めることができ、複雑なインテリジェントエージェントの相互作用シナリオの構築に適しています。