AB
AB
AiBoss

すべてのカテゴリ

project

TRELLIS - マイクロソフト、清華大学、中国科学技術大学が共同開発した、高品質な3D生成モデル。

TRELLISは、清華大学、中国科学技術大学、およびマイクロソフトリサーチによって開発された3D生成モデルです。構造化潜在（SLAT）表現に基づいて、テキストや画像などの手がかりから高品質で多様な3Dアセットを生成します。

トレリスとは何ですか？

TRELLISは、清華大学、中国科学技術大学、およびマイクロソフトリサーチが共同開発した3D生成モデルです。構造化潜在表現（SLAT）に基づいて、テキストや画像から高品質で多様な3Dアセットを生成します。このモデルは、疎な3Dメッシュ構造と複数の視点から抽出された密な視覚的特徴を統合し、3Dアセットの幾何学的情報と外観情報を包括的に捉えます。TRELLISは、SLATの疎性を処理するために改良されたフロー変換器をコアとして使用し、最大20億個のパラメータを持つ大規模な3Dアセットデータセットで学習されています。TRELLISは、詳細で豊かな3Dモデルを生成でき、複数の出力形式をサポートし、3Dアセットの柔軟な編集を可能にします。

TRELLISの主な機能

  • 高品質な3D生成テキストまたは画像による指示に基づいて、複雑な形状と詳細なテクスチャを持つ3Dアセットを生成します。
  • マルチフォーマット出力このモデルは、ラディアンスフィールド、3Dガウス分布、メッシュなど、複数の形式で3Dアセットを生成することをサポートしています。
  • 柔軟な編集この機能を使うと、生成された3Dアセット全体を調整することなく、特定の領域の追加、削除、置換など、部分的に編集することができます。
  • フィッティングに関するトレーニングは不要です。トレーニング中は3Dアセットを合わせる必要がないため、トレーニングプロセスが簡素化され、効率が向上します。

TRELLISの技術原理

  • 構造化潜在（SLAT）とはSLATを統一的な3D潜在表現として使用し、疎な3Dメッシュ上に局所的な潜在変数を定義することで、3Dアセットの幾何学的情報と外観情報を符号化する。
  • マルチビュー視覚機能強力な視覚基盤モデルに基づき、マルチビューの視覚的特徴を抽出し、3Dアセットの構造情報と外観情報を詳細に符号化する。
  • 修正ストリームコンバーター改良型ストリームトランスフォーマーを3D生成モデルの中核とするこのトランスフォーマーは、SLATの疎性を処理するのに特に適しており、効率的に3Dアセットを生成できます。
  • 2段階生成プロセスまず、SLAT用の疎な構造が生成され、次に、生成された構造上に局所的な潜在ベクトルが生成されます。このプロセスにより、モデルはさまざまな形式で3D表現を柔軟に生成できます。
  • トレーニングと最適化エンコーダーとデコーダーは、大規模な3Dアセットデータセットで学習され、特定の再構成損失とKLペナルティを用いて最適化されるため、生成される3Dアセットは元のデータと高い整合性を持つようになります。

TRELLISプロジェクトの住所

トレリスの制限

  • 段階的な生成プロセス生成プロセスは主に2つの段階から構成されており、3Dモデル全体を一度に生成する方法と比較すると、生成効率が低下する可能性がある。
  • 照明とレンダリングの制限このモデルは、画像キューを処理する際に、画像内の照明効果を3Dアセットから分離することができず、その結果、3Dアセットの物理ベースレンダリングにおけるマテリアルの精度とリアリティに影響を与える可能性があります。
  • 今後の改善方向本論文では、照明処理の改善や、物理ベースのレンダリング材料を予測するモデルの能力向上など、今後の研究課題を提案している。

TRELLISのアプリケーションシナリオ

  • ゲーム開発ゲームデザインにおいては、キャラクター、小道具、環境といった複雑な3Dモデルを迅速に生成することが可能になり、ゲーム開発の効率性を向上させる。
  • 映画およびアニメーション制作映画やアニメーション用の3Dシーンやキャラクターを作成することで、手作業によるモデリングにかかる時間とコストを削減できます。
  • 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーション向けにリアルな3Dコンテンツを生成し、ユーザーの没入感とインタラクティブな体験を向上させます。
  • 建築と都市計画建築家や都市計画家が設計やシミュレーションを行う際に役立つ、建築モデルや都市景観を生成する。
  • 教育と訓練教育分野では、医療画像化や工学教育など、教育や実習で使用するために様々な3Dモデルが作成されている。
戻る