TripoSF - VAST AIのオープンソース次世代3D基盤モデル - AiBoss

TripoSFとは何ですか？

TripoSFは、VASTが開発した次世代3D基盤モデルであり、従来の3Dモデリングにおける詳細度、複雑な構造、スケーラビリティのボトルネックを克服しています。疎なボクセル構造と組み合わせたSparseFlex表現手法を採用することで、オブジェクト表面近傍の領域のみにボクセル情報を格納・計算し、メモリ使用量を大幅に削減するとともに、高解像度での学習と推論をサポートします。TripoSFは、学習オーバーヘッドをさらに削減するために、「視錐台を考慮した分割ボクセル学習」戦略を導入しています。実験結果によると、TripoSFは複数のベンチマークテストで優れた性能を発揮し、Chamfer Distanceを約82%削減、Fスコアを約88%向上させています。

TripoSFの主な機能

詳細描写能力従来の3Dモデリング手法では細部の再現が不十分な場合が多いのに対し、TripoSFは表面の微細なディテールや微細構造を捉えることができます。複数の標準ベンチマークテストにおいて、TripoSFは面取り距離を約82%削減し、F値を約88%向上させました。
トポロジーのサポートTripoSFは任意のトポロジーをネイティブにサポートしており、開放面や内部構造を自然に表現できます。これにより、布やブレードなどの複雑な構造を扱う際に、TripoSFは大きな利点を発揮します。
コンピューティングリソースの要件TripoSFは、疎なボクセル構造によってメモリ使用量を大幅に削減します。これにより、TripoSFは高解像度モデリングにおいてより効率的に機能し、計算リソースの要求を低減します。
リアルタイムレンダリング機能TripoSFの視錐台認識型トレーニング戦略により、動的で複雑な環境において高い適応性を実現できます。TripoSFはレンダリング損失をエンドツーエンドのトレーニングに利用することで、水密化などのデータ変換によって引き起こされるディテールの劣化を回避できます。
高解像度モデリングTripoSFは1024³の高解像度で学習および推論を行うことができ、より詳細でリアルな3Dモデルを生成することが可能です。

TripoSFの技術原則

SparseFlex表現TripoSFの中核となるのは、NVIDIA Flexicubesの利点を活用し、疎なボクセル構造を導入したSparseFlex表現方式です。従来の密なメッシュとは異なり、疎なボクセル構造では、オブジェクトの表面近傍領域のみにボクセルデータを格納・計算するため、メモリ使用量を大幅に削減できます。これにより、TripoSFは1024³の高解像度で学習と推論を実行できるだけでなく、任意のトポロジーをネイティブにサポートすることが可能になります。
錐体知覚のための分割ボクセル学習戦略この戦略は、リアルタイムレンダリングにおける視錐台カリングの概念を取り入れ、各トレーニング反復においてカメラの視錐台内に位置するSparseFlexボクセルのみをアクティブ化して処理します。このターゲットを絞ったアクティブ化により、トレーニングのオーバーヘッドが大幅に削減され、高解像度での効率的なトレーニングが可能になります。
TripoSF変分オートエンコーダー（VAE）VASTは、SparseFlex表現と効率的な学習戦略に基づいてTripoSF VAEを構築し、完全かつ効率的な処理ワークフローを確立しました。入力、エンコード、デコードから出力まで、TripoSF VAEは、TripoSFが再構築と生成の経験において大きな飛躍を遂げるための重要な基盤となります。

TripoSFのプロジェクトアドレス

プロジェクト公式サイト：https://xianglonghe.github.io/TripoSF/
GitHubリポジトリ：https://github.com/VAST-AI-Research/TripoSF
ハギングフェイスモデルライブラリ：https://huggingface.co/VAST-AI/TripoSF
arXiv技術論文：https://arxiv.org/pdf/2503.21732

TripoSFベンチマーク結果

面取り距離（CD）は約82%減少した。面取り距離は、3Dモデル再構築の品質を測定するための指標の一つであり、モデル表面上の点と実モデル表面上の点との間の距離を計算します。TripoSFはこの指標において大幅な改善を示しており、モデルの細部を捉える能力に優れていることを示しています。
Fスコアは約88%向上した。Fスコアは、3Dモデル再構築の品質を測定するためのもう一つの指標であり、モデルの精度と再現率の両方を考慮に入れています。TripoSFはこの指標において大幅な改善を示しており、モデルの詳細を保持しながら、モデル全体の構造を適切に捉えることができることを示しています。

TripoSF効果比較

TripoSFの応用事例

視覚効果（VFX）TripoSFは、映画、ゲーム、その他の分野における視覚効果制作に適した、高解像度で非常に詳細な3Dモデルを生成できます。
ゲーム開発ゲーム開発において、TripoSFはキャラクター、環境、小道具などの高品質な3Dゲームアセットを生成するために使用できます。
具現化された知能TripoSFは、身体化された知能の分野において幅広い応用可能性を有しており、ロボットのシミュレーションやインタラクションに利用できる。
製品デザイン製品設計の分野において、TripoSFは迅速なプロトタイピングと設計検証に活用できます。設計者はTripoSFを使用して高解像度の3Dモデルを生成し、詳細な設計評価と修正を行うことができます。