Matrix3D - 南京大学、Apple、香港科技大学が共同開発した統合型写真測量モデル。

Matrix3Dとは何ですか？

Matrix3Dは、南京大学、Apple Inc.、香港科技大学の共同開発による、斬新な統合フォトグラメトリモデルです。姿勢推定、深度予測、新規ビュー合成など、複数のフォトグラメトリサブタスクを単一モデル内で実行できます。その中核となるのは、画像、カメラパラメータ、深度マップなど、複数のモダリティからのデータを統合し、柔軟なタスク処理を実現するマルチモーダル拡散トランスフォーマー（DiT）です。Matrix3Dは、トレーニング中にマスク学習戦略を採用しており、一部のデータが欠落している場合でも、バイモーダルデータ（画像-姿勢や画像-深度ペアなど）に基づくフルモーダルトレーニングを可能にし、利用可能なトレーニングデータ量を大幅に増加させます。Matrix3Dはマルチターンインタラクションをサポートしており、ユーザーは情報を段階的に入力して生成結果を最適化できるため、3Dコンテンツ作成において高い柔軟性を実現します。

Matrix3Dの主な機能

• 姿勢推定この技術は、視点が少ない画像からカメラの姿勢を推定することができ、画像の重なりが少ない場合でもカメラの相対的な位置と向きを正確に予測できます。
• ディープ予測このモデルは、単眼画像または複数視点画像から高品質な深度マップを予測できます。また、少数の画像から深度情報を生成することも可能で、生成された深度情報は後続の3D再構成タスクに利用できます。
• 新規ビュー合成入力画像に基づいて、任意のポーズで新しい視点画像を生成できます。単一または複数の画像から新しい視点を合成する機能をサポートしています。
• 3D再構成姿勢推定、深度予測、および新規視点合成の結果を組み合わせることで、Matrix3Dは単一または少数の画像の3D再構成に使用できます。3Dガウススパッタリング（3DGS）最適化と統合することで、このモデルは高品質の3D点群を生成できます。
• マルチタスクでのやり取りと柔軟性Matrix3Dは柔軟な入出力構成をサポートしており、ユーザーから提供された情報に基づいてタスクを動的に調整できます。
• マスク学習とデータ活用マスク学習戦略を採用することで、Matrix3Dは部分的にしかデータが揃っていないデータでも学習させることができ、利用可能な学習データの範囲を大幅に拡大し、モデルの汎化能力を向上させることができる。

Matrix3Dの技術的原理

• マルチモーダル拡散コンバーターMatrix3Dは、拡散変換器アーキテクチャを採用しており、マルチモーダルデータ（RGB画像、カメラ姿勢、深度マップなど）を処理し、それらを2次元表現に統合することで、クロスモーダル特徴の融合と生成を可能にします。
• マスク学習戦略このモデルは、トレーニング中にマスク学習を採用し、入力データをランダムにマスクすることで、ノイズの多いデータからクリーンな出力を復元する方法を学習します。これにより、不完全な入力データにも対応できるようになり、使用可能なトレーニングデータの量を大幅に増やすことができます。
• 統一確率モデルMatrix3Dは統一された確率モデルに基づいており、柔軟な入出力構成を通じてタスク要件を動的に調整できるため、姿勢推定、深度予測、新規視点合成など、さまざまな写真測量タスクをサポートします。
• 3Dガウス型スパッタリング最適化生成された深度マップと新しいビュー画像は、3Dガウススパッタリング（3DGS）最適化の初期化に使用でき、高品質な3D点群再構成を実現できます。
• データ正規化Matrix3Dは、シーン正規化とカメラ正規化の技術を用いることで、多様なデータセットの分布に対応し、異なるモダリティのデータが統一されたスケールと座標系の下で処理されることを保証します。

Matrix3Dプロジェクトのアドレス

• プロジェクト公式サイト：https://nju-3dv.github.io/projects/matrix3d/
• arXiv技術論文：https://arxiv.org/pdf/2502.07685

Matrix3Dの応用事例

• 仮想現実（VR）と拡張現実（AR）Matrix3Dは、少数の2D画像から高品質な新しい視点と深度情報を生成し、VRおよびARアプリケーション向けに豊富な3Dシーンとオブジェクトモデルを提供します。
• ゲーム開発Matrix3Dは、3Dシーンやオブジェクトの幾何学的情報を迅速に生成できるため、ゲーム開発者はコンセプトアートや少数の参照画像からゲーム用の3Dモデルを素早く作成できます。
• 映画およびテレビ制作Matrix3Dは、少数の2D画像から完全な3Dシーンを生成することができ、ポストプロダクションにおける特殊効果やバーチャルフォトグラフィーを容易にします。
• 建築設計Matrix3Dは、建築図面や少数の写真から3D建築モデルを生成することができ、設計者がデザインを迅速に検証し、顧客に提示するのに役立ちます。
• バーチャル試着Matrix3Dは、ユーザーの身体の3Dモデルを生成し、衣服やアクセサリーの仮想試着を可能にする。