AB
AB
AiBoss

すべてのカテゴリ

project

HoloPart - 香港大学とVASTの共同プロジェクトであり、完全かつ編集可能な3Dモデルをオープンソースで生成する機能を提供する。

HoloPartは、香港大学とVASTチームが開発した革新的な拡散モデルです。3Dオブジェクトを、たとえパーツが遮蔽されていても、完全で編集可能な意味的なパーツに分解することを可能にします。

HoloPartとは何ですか？

HoloPartは、香港大学とVASTチームが開発した革新的な拡散モデルで、3Dオブジェクトを、一部が遮蔽されている場合でも、編集可能な完全なセマンティックパーツに分解することを可能にします。HoloPartは、ローカルアテンションとグローバルコンテキストアテンションのメカニズムを用いた2段階アプローチを採用し、パーツの詳細と全体の形状との一貫性を確保します。HoloPartは、ABOおよびPartObjaverse-Tinyデータセットにおいて既存の手法を大幅に上回る性能を発揮し、ジオメトリ編集、マテリアル編集、アニメーションなどの下流アプリケーションに新たな可能性をもたらします。

HoloPartの主な機能

  • 3Dパーツの暗黙的なセグメンテーション目に見える表面断片を識別し、隠れた部分の補完を支援し、完全な3D部品を生成することができる。
  • 幾何学的超解像幾何学的詳細の超解像度再構成をサポートします。
  • 下流アプリケーションのサポートジオメトリ編集、マテリアル編集、アニメーション制作、ジオメトリ処理など、さまざまな下流アプリケーションをサポートします。

HoloPartの技術原理

  • 2段階アプローチ：
    • 初期セグメンテーション既存の3D部品分割技術（SAMPart3Dなど）を使用して、初期の不完全な部品断片（表面断片）を取得します。
    • 部品補充これはPartComp（拡散ベースのネットワーク）を使用して、断片を完全な3D部品に組み立てます。
  • 拡散モデルPartCompは、拡散ベースのネットワークであり、部品の微細な幾何学的詳細を捉え、局所的な特徴を正確に再現します。また、全体の形状に関するコンテキスト情報を使用することで、完成した部品が全体の形状と幾何学的にも意味的にも一貫性を保つようにします。
  • データ事前学習と微調整我々は、変分オートエンコーダー（VAE）と拡散モデルを用いて、大規模な完全な3D形状データ上で汎用的な3D形状表現を事前学習しました。次に、限られた部品データを用いて事前学習済みモデルを微調整し、部品完成タスクに適応させることで、データ不足という課題を克服しました。

HoloPartのプロジェクトアドレス

HoloPartの応用事例

  • 幾何学的編集設計要件を満たすように、部品のサイズ、形状、位置を変更する。
  • 資材配分部品に異なる素材を加えることで、視覚的な魅力が増す。
  • アニメーション制作車輪の回転など、各パーツが独立して動くようにすることで、アニメーションの柔軟性を向上させる。
  • 幾何処理モデルの品質を向上させるため、部品のメッシュ生成を最適化します。
  • データ生成高品質な部品データを提供することで、3Dモデルのトレーニングを促進し、創作素材を充実させます。
戻る