Matrix-3D - 崑崙万威のオープンソース3D世界モデル

マトリックス3Dとは何ですか？

Matrix-3Dは、Kunlun TechのSkywork AIチームが開発した、探索可能なパノラマ3D世界を生成するためのフレームワークです。パノラマビデオ生成と3D再構成を組み合わせることで、単一の画像またはテキストプロンプトから、高品質で全方向探索可能な3Dシーンを生成します。軌道誘導型パノラマビデオ拡散モデルと2つの3D再構成手法（高速フィードフォワードネットワークと高品質最適化手法）に基づき、Matrix-3Dは大規模かつ一貫性の高い3Dシーン生成を実現し、テキストと画像入力に対応し、高い効率性と優れた汎化能力を備えています。付属のMatrix-Panoデータセットは、研究を強力にサポートします。

Matrix-3Dの主な機能

• パノラマ動画の生成単一画像またはテキストプロンプトから高品質のパノラマビデオを生成し、ユーザー定義のカメラパスをサポートします。
• 3Dシーンの再構築さまざまなニーズに対応するため、高速フィードフォワードネットワークと高品質最適化手法という2つの3D再構成手法を提供します。
• 複数入力対応テキストと画像の入力に対応しており、ユーザーはニーズに応じて選択し、対応する3Dシーンを生成できます。
• 大規模なシーン生成生成される3Dシーンは広範囲をカバーし、360°の自由探索をサポートしており、他の方法よりも優れている。
• 高い制御性ユーザーは生成された軌道をカスタマイズし、生成されたシーンを無限に継続・拡張することができます。

Matrix-3Dの技術原理

• トラックガイドによるパノラマビデオ生成シーンメッシュレンダリングマップを条件付き入力として使用して、ビデオ拡散モデルを学習させます。このモデルは、ユーザーが定義したカメラ軌跡に基づいてパノラマビデオを生成し、生成されるコンテンツの空間的な一貫性と幾何学的な精度を保証します。
• パノラマ動画を3Dシーンに変換するTransformerアーキテクチャに基づき、生成されたパノラマ動画の潜在特徴から3D幾何学的特性を直接予測します。これにより、リアルタイムアプリケーションに適した高速な3Dシーン再構築が可能になります。
• 最適化に基づく手法この機能は、生成されたパノラマ動画に対して超解像処理と3Dガウススプラッティング最適化を実行します。これにより、高い視覚品質が求められる場面に適した、高品質でディテールに富んだ3Dシーンが生成されます。
• Matrix-Panoデータセット既存の3Dシーンデータの不足に対処するため、Matrix-3Dは大規模な合成データセットを提供します。このデータセットには、カメラトラッキングとアノテーションが付与された、高品質な静止パノラマビデオシーケンスが116,759本含まれています。データセットの多様性と高品質は、モデルトレーニングを強力にサポートします。
• パノラマ表現360°の水平方向の視野と180°の垂直方向の視野をカバーするパノラマ画像を中間表現として使用し、複数の場所から取得したパノラマ画像をつなぎ合わせることで、3D世界を生成するために必要なすべての情報を含むパノラマビデオが生成されます。

Matrix-3Dのプロジェクトアドレス

• プロジェクト公式サイト：https://matrix-3d.github.io/
• GitHubリポジトリ：https://github.com/SkyworkAI/Matrix-3D
• ハギングフェイスモデルライブラリ：https://huggingface.co/Skywork/Matrix-3D
• 技術論文：https://github.com/SkyworkAI/Matrix-3D/blob/main/asset/report.pdf

Matrix-3Dの応用

• ゲーム開発高品質な3Dゲームシーンを迅速に生成し、開発サイクルを短縮し、プレイヤーのパーソナライズされた体験を向上させることができます。
• 映画およびテレビ制作リアルな仮想シーンやエフェクトを生成し、撮影コストを削減し、ストーリーボードの設計やシーンのプレビューを支援します。
• 仮想現実（VR）と拡張現実（AR）Matrix-3Dは、360°自由に探索できるパノラマ3Dシーンを生成し、仮想観光やARアプリケーションにおいて没入感を高めるために利用できます。
• ロボットナビゲーションと自動運転ロボットのナビゲーションシステムや自律走行システムのトレーニングおよびテストに使用するための複雑な3D環境を生成し、意思決定の安全性を向上させる。
• 教育と訓練教育や技能訓練における効果を高めるために、仮想実験室や現実的な訓練シナリオを作成する。