TripoSRは、Stability AIとVASTによってオープンソース化された3D生成モデルです。

TripoSRとは何ですか？

TripoSRは、Stability AIとVASTが共同開発したオープンソースの3D生成モデルです。単一の2D画像から0.5秒未満で高品質な3Dモデルを高速に生成できます。Transformerアーキテクチャをベースとしたこのモデルは、大規模再構成モデル（LRM）の原理を採用し、データ処理、モデル設計、トレーニング手法に数多くの改良を加えています。TripoSRは、複数の公開データセットにおいて他のオープンソースモデルを凌駕する性能を発揮し、GPU非搭載デバイスでの動作もサポートしているため、導入障壁を大幅に低減します。MITライセンスの下で提供されており、商用、個人利用、研究利用が可能です。

TripoSRの主な機能

1枚の画像から3Dオブジェクトを生成するTripoSRは、ユーザーが提供する単一の2D画像から3Dモデルを自動的に作成できます。画像内のオブジェクトを識別し、その形状と特徴を抽出し、対応する3Dジオメトリを構築します。
クイック変換TripoSRは非常に高速な処理速度を誇ります。NVIDIA A100 GPUを使用すれば、0.5秒未満で高品質な3Dモデルを生成でき、従来の3Dモデリングに必要な時間とリソースを大幅に削減できます。
高品質レンダリングTripoSRは、出力する3Dモデルの品質を最優先し、細部まで精緻でリアルなモデルを提供することを目指しています。
さまざまな画像に適応するTripoSRは、静止画像やある程度の複雑さを持つ画像など、さまざまな種類の2D画像を処理できます。

TripoSRの技術原則

建築設計TripoSRのアーキテクチャはLRM（大規模再構築モデル）に基づいており、この基盤の上にいくつかの技術的な改良が加えられています。
- 画像エンコーダー事前学習済みのビジュアルトランスフォーマーモデルDINOv1を用いて、入力RGB画像を潜在ベクトル群に投影します。これらのベクトルは画像の全体的特徴と局所的特徴を符号化し、後続の3D再構成に必要な情報を提供します。
- 画像から三平面へのデコーダこれは、画像エンコーダが出力する潜在ベクトルを三平面NeRF表現に変換します。三平面NeRF表現は、複雑な形状や質感を持つ物体を表現するのに適した、コンパクトで表現力豊かな3D表現です。
- 三平面ベースのNeRFこれは、多層パーセプトロン（MLP）を積み重ねた構造で、空間内の3D点の色と密度を予測する役割を担っています。このようにして、モデルは物体の表面の詳細な形状や質感情報を学習することができます。
技術アルゴリズムTripoSRは、一連の高度なアルゴリズムを用いて、高速かつ高品質な3D再構成機能を実現しています。
- トランスフォーマーアーキテクチャTripoSRは、Transformerアーキテクチャ、特に自己注意層と相互注意層に基づいており、画像のグローバル特徴とローカル特徴を処理および学習します。
- 神経放射場（NeRF）NeRFモデルはMLPで構成されており、3D空間内の点の色と密度を予測するために使用され、物体の形状と質感の精密なモデリングを可能にします。
- 重要度サンプリング戦略TripoSRはトレーニング中に、重要度サンプリング戦略を採用し、元の高解像度画像からランダムに128×128ピクセルのパッチをレンダリングすることでトレーニングを行います。これにより、オブジェクト表面の詳細を忠実に再現し、計算効率と再現の粒度を効果的にバランスさせることができます。
データ処理方法TripoSRはデータ処理においていくつかの改善を行った。
- データ管理TripoSRは、Objaverseデータセットから厳選されたサブセットを選択することで、トレーニングデータの品質を向上させています。
- データレンダリングこのモデルは、さまざまなデータレンダリング技術を用いて、現実世界の画像の分布をより忠実にシミュレートし、モデルの汎化能力を向上させています。
- 3平面チャネル最適化TripoSRは、モデルの効率とパフォーマンスを向上させるため、3平面NeRF表現におけるチャネル構成を最適化します。実験的評価の結果、40チャネル構成が選択され、トレーニング時のバッチサイズと解像度を向上させつつ、推論時のメモリ使用量を低く抑えることが可能になりました。
トレーニング方法TripoSRは、トレーニング技術においても数々の革新を遂げてきた。
- マスク損失関数トレーニング中にマスク損失関数を追加することで、「浮遊物体」アーティファクトを大幅に削減し、再構成の忠実度を向上させることができます。
- ローカルレンダリングの監督このモデルは、教師あり学習にレンダリング損失のみを使用するため、詳細な形状とテクスチャの再構築を学習するには高解像度レンダリングが必要です。高解像度レンダリングと教師あり学習によって発生する計算負荷とGPUメモリ負荷の問題に対処するため、TripoSRはトレーニング中に元の512×512ピクセルの画像から128×128ピクセルのランダムなパッチをレンダリングします。
- オプティマイザと学習率スケジューリングTripoSRは、AdamWオプティマイザとコサインアニーリング学習率スケジューラ（Cosine AnnealingLR）を使用します。また、再構成品質をさらに向上させるため、トレーニング中にLPIPS損失とマスク損失の重み付け組み合わせも使用されます。

TripoSRのプロジェクトアドレス

GitHubリポジトリ：https://github.com/VAST-AI-Research/TripoSR
ハギングフェイスモデルライブラリ：https://huggingface.co/stabilityai/TripoSR
arXiv技術論文：https://arxiv.org/pdf/2403.02151

TripoSRのパフォーマンス

定量的結果TripoSRは、GSOデータセットとOmniObject3Dデータセットの両方において他の手法を凌駕し、新たな最先端の結果を達成した。
定性的な結果TripoSRは、他の手法よりも視覚的に著しく優れた3D形状とテクスチャを再構築し、物体の複雑なディテールをより正確に捉えることができます。
推論速度TripoSRは、NVIDIA A100 GPU上で約0.5秒で1枚の画像から3Dメッシュを生成するため、最も高速なフィードフォワード3D再構成モデルの一つとなっている。

TripoSRの応用事例

ゲーム開発ゲームデザイナーはTripoSRを使用することで、2Dのコンセプトアートや参考画像を3Dゲームアセットに素早く変換でき、ゲーム開発プロセスを加速させることができます。
映画およびアニメーション制作映画制作者はTripoSRを使用して、静止画像から3Dキャラクター、シーン、小道具を作成し、映画の特殊効果やアニメーションに使用することができます。
建築と都市計画建築家や都市計画家は、既存の2D設計図や写真に基づいて、視覚化やシミュレーションのために3D建築モデルを迅速に生成できます。
製品デザインデザイナーはTripoSRを使用して、2Dデザインを3Dモデルに変換し、製品のプロトタイプ作成、テスト、およびデモンストレーションに活用できます。
仮想現実（VR）と拡張現実（AR）開発者はTripoSRを使用して、VRゲーム、教育アプリケーション、またはAR体験のための3D仮想オブジェクトや環境を作成できます。
教育と訓練教師やトレーナーは、科学、工学、医学などの分野の教育で使用するための3D教育モデルを作成できます。