HunyuanWorld-Voyager - テンセントの拡張型仮想世界モデル

HunyuanWorld-Voyagerとは何ですか？

HunyuanWorld-Voyager（略称：渾源）Voyager）これは、ネイティブ 3D 再構成をサポートする Tencent 初の超長距離移動ワールド モデルです。単一の画像からユーザー定義のカメラ パスを使用して 3D 点群シーケンスを生成できる、斬新なビデオ拡散フレームワークです。カスタム カメラ軌道に沿ったワールド探索のための一貫性のある 3D シーン ビデオの生成をサポートし、効率的かつ直接的な 3D 再構成のために、位置合わせされた深度および RGB ビデオを生成します。このモデルは、一貫性のあるワールド ビデオ拡散と長距離ワールド探索という 2 つの主要コンポーネントで構成され、効率的なポイント カリングと自己回帰推論によって反復的なシーン拡張を実現します。RGB-D ビデオ トレーニング用のスケーラブルなデータを生成するために、スケーラブルなデータ エンジンが提案されています。WorldScore ベンチマークでは、Voyager は複数の指標で優れた結果を達成し、その強力なパフォーマンスを実証しました。

HunyuanWorld-Voyagerの主な機能

• 1枚の画像から3D点群シーケンスを生成する。ユーザーが定義したカメラパスに基づいて、単一の画像から一貫性のある3D点群シーケンスを生成でき、長距離の世界探査をサポートします。
• 一貫性のある3Dシーン動画を生成するユーザーが定義したカメラパスに沿って一貫性のある3Dシーン動画を生成し、ユーザーに没入感のある3Dシーン内を自由に動き回る体験を提供する。
• リアルタイム3D再構成に対応生成されたRGBおよび深度ビデオは、追加の再構築ツールを必要とせずに効率的な3D再構築に直接使用できるため、ビデオから3Dモデルへの迅速な変換が可能になります。
• 複数のアプリケーションシナリオに対応本技術は、ビデオ再構成、画像から3Dへの変換、ビデオ深度推定など、様々な3D理解および生成タスクに適用可能であり、幅広い応用可能性を秘めている。
• パワフルなパフォーマンススタンフォード大学が発表したWorldScoreベンチマークテストにおいて、HunyuanWorld-Voyagerはいくつかの主要指標で優れた結果を達成し、3Dシーン生成とビデオ配信における強力な能力を実証しました。

HunyuanWorld-Voyagerの技術原理

• 世界中で動画が拡散このモデルは、統一されたアーキテクチャを採用し、RGBと深度のビデオシーケンスを整合させて同時に生成することで、既存の世界観測データを条件付きで適用し、グローバルな一貫性を確保します。
• 長距離世界探検効率的なポイントカリング技術と自己回帰推論を、滑らかなビデオサンプリングと組み合わせることで、コンテキストを考慮した一貫性を維持しながら、反復的なシーン拡張を実現します。
• スケーラブルなデータエンジン本論文では、カメラ姿勢推定と深度予測を自動化し、手動による3Dアノテーションなしであらゆる動画に対して大規模かつ多様なトレーニングデータを生成できる動画再構成パイプラインを提案する。
• 自己回帰推論とワールドキャッシングメカニズム効率的な点群抽出と自己回帰推論をワールドキャッシング機構と組み合わせることで、反復的なシーン拡張を実現し、幾何学的整合性を維持し、任意のカメラ軌道をサポートします。
• 高効率3D再構成生成されたRGBおよび深度ビデオは、追加の再構築ツールを必要とせずに効率的な3D再構築に直接使用できるため、ビデオから3Dモデルへの迅速な変換が可能になります。

HunyuanWorld-Voyagerプロジェクトの住所

• プロジェクト公式サイト：https://3d-models.hunyuan.tencent.com/world/
• GitHubリポジトリ：https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
• ハグ顔モデルライブラリ：https://huggingface.co/tencent/HunyuanWorld-Voyager
• 技術報告書：https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/HYWorld_Voyager.pdf

HunyuanWorld-Voyagerの応用シナリオ

• 映像による再現これにより、追加の再構成ツールを必要とせずに、位置合わせされたRGBビデオと深度ビデオを生成することで、効率的かつ直接的な3D再構成が可能になります。
• 画像から3Dへの変換単一の画像から一貫性のある3D点群シーケンスを生成し、2D画像から3Dシーンへの変換をサポートし、仮想シーンの迅速な構築に使用できます。
• ビデオ深度推定RGBビデオに合わせた深度情報を生成し、ビデオ解析や3D理解タスクに利用できます。
• 仮想現実（VR）と拡張現実（AR）生成された3Dシーンや動画は、没入型のVR体験や拡張現実アプリケーションの作成に利用できます。
• ゲーム開発生成された3Dシーンアセットは、主要なゲームエンジンにシームレスに統合でき、ゲーム開発のための豊富な創造性とコンテンツサポートを提供します。
• 3Dモデリングとアニメーション生成された3D点群データと動画は、3Dモデリングやアニメーション制作の入力データとして使用でき、制作効率の向上につながります。