Hunyuan World Model 1.1 - Tencent Hunyuan オープンソース 3D 世界生成モデル

渾源世界モデル1.1とは何ですか？

HunyuanWorld-Mirror 1.1は、Tencentがリリースしたオープンソースの3Dワールド生成モデルです。マルチビュー画像や動画など、複数の入力方法をサポートし、点群、深度マップ、カメラパラメータなど、さまざまな3D幾何予測結果を出力できます。このモデルは純粋なフィードフォワードアーキテクチャを採用しており、単一のGPUに展開可能で、8～32ビューの入力をローカルで処理することで第2レベルの推論を実現します。その技術アーキテクチャには、マルチモーダルな事前ヒント、汎用幾何予測アーキテクチャ、カリキュラム学習戦略が含まれています。動的な事前注入メカニズムにより、モデルはあらゆる事前の組み合わせに柔軟に対応できます。トレーニング中は、タスク順序、データスケジューリング、段階的解像度に基づくカリキュラム学習戦略を採用し、汎化能力を最大化します。HunyuanWorld-Mirror 1.1は、3D点群再構成とエンドツーエンドの3DGS再構成において優れた性能を発揮し、卓越した幾何精度と詳細復元能力を示します。

渾源世界モデルの主な機能 1.1

• マルチモーダル入力のサポートマルチビュー画像や動画など、さまざまな入力フォーマットを受け入れることができ、3D世界生成のための豊富なデータ基盤を提供する。
• 複数のタスクに対応した統合出力点群、深度マップ、カメラパラメータ、表面法線、3Dガウス点など、複数の3D幾何予測結果を同時に出力できるため、さまざまなアプリケーションシナリオのニーズに対応できます。
• シングルカード展開と第2レベルの推論純粋なフィードフォワードアーキテクチャを採用し、単一のグラフィックカードへの展開をサポートし、8～32個のビュー入力をわずか1秒でローカル処理することで、効率的かつ高速な3Dワールド生成を実現します。
• 柔軟な事前適応性動的な事前情報注入メカニズムにより、このモデルはあらゆる事前情報の組み合わせに柔軟に対応でき、事前情報の入力なしに3D再構成を実行することさえ可能です。
• 高い一般化能力コース学習戦略を活用することで、モデルの汎化能力が単一の画像分布を超えて最大限に高まり、多様な入力データをより適切に処理できるようになります。
• 高精度3D再構成3D点群再構成およびエンドツーエンドの3DGS再構成において非常に優れた性能を発揮し、卓越した幾何学的精度とディテール再現能力を備え、高品質な3Dコンテンツ制作をサポートします。

渾源世界モデルの技術的原理 1.1

• マルチモーダルな事前ヒントこのモデルは、カメラの姿勢、内部パラメータ、深度マップなど、複数の事前入力に対応しています。階層的なエンコーディング戦略を採用しており、動的な注入とランダムな組み合わせによる学習を通じて、あらゆる事前組み合わせはもちろん、事前情報のない入力シナリオにも柔軟に対応できます。
• 一般幾何予測アーキテクチャフルTransformerバックボーンネットワークをベースとして、DPTヘッドを使用して密な予測を行い、その後Transformerレイヤーを使用してカメラパラメータを回帰し、複数のタスクに対して統一された出力を実現します。
• コース学習戦略トレーニングプロセスは、タスクの順序、データのスケジューリング、解像度の3つの次元に段階的に分割され、単一の画像分布を超えた汎化能力を最大化します。
• 純粋なフィードフォワードアーキテクチャ純粋なフィードフォワードアーキテクチャを採用しており、単一のグラフィックカードに実装可能です。8～32個のビュー入力を処理する場合、ローカル時間はわずか1秒で、秒単位の推論を実現します。
• 動的事前注入メカニズム動的な事前分布注入メカニズムにより、モデルはあらゆる事前分布の組み合わせに柔軟に対応でき、モデルの適応性と汎化能力を向上させることができます。

渾源世界モデル1.1のプロジェクトアドレス

• プロジェクト公式サイト：https://3d-models.hunyuan.tencent.com/world/
• GitHubリポジトリ：https://github.com/Tencent-Hunyuan/HunyuanWorld-Mirror
• ハグ顔モデルライブラリ：https://huggingface.co/tencent/HunyuanWorld-Mirror
• HuggingFaceのオンラインデモ：https://huggingface.co/spaces/tencent/HunyuanWorld-Mirror
• 技術報告書：https://3d-models.hunyuan.tencent.com/world/worldMirror1_0/HYWorld_Mirror_Tech_Report.pdf

混元世界モデルの応用シナリオ 1.1

• 3Dコンテンツ制作プロ仕様の3Dシーンを迅速に生成できるため、ゲーム開発、VR体験、映画・テレビ制作などの分野に適しており、クリエイターが効率的に仮想世界を構築するのに役立ちます。
• 教育と訓練没入感のある3D教育環境を構築することで、学習体験と効果を高めます。仮想実験室や歴史的場面の再現など、様々な教育現場で活用できます。
• 工業デザインとシミュレーション製品設計、仮想組立、物理シミュレーションを支援し、工業デザインプロセスを加速させ、設計効率と品質を向上させます。
• 文化遺産保護これにより、古代建築物や文化遺産の高精度な3D再構築が可能になり、文化遺産のデジタル保護と研究を支援する。
• 不動産および建設建築デザインの展示会やバーチャルショールームなどで使用できる、建物の3Dモデルやバーチャルウォークスルーを作成し、ユーザーエクスペリエンスを向上させます。
• 広告とマーケティング製品デモンストレーションやバーチャルショールームなど、魅力的な3D広告コンテンツを作成することで、広告のインタラクティブ性と魅力を高めることができます。