PrimitiveAnything - テンセントと清華大学が共同で発表した新しい3D形状生成フレームワーク

PrimitiveAnythingとは何ですか？

PrimitiveAnythingは、テンセントのAIPD（AIプラットフォーム部門）と清華大学が共同開発した、斬新な3D形状生成フレームワークです。複雑な3D形状を単純な基本要素に分解し、自己回帰的なアプローチでこれらの基本要素を生成し、最終的にそれらを再構成して完全な3D形状を生成します。このフレームワークの最大の特長は、高品質な生成結果、強力な汎化能力、そして高い効率性にあります。

PrimitiveAnythingの主な機能

• 高品質な3Dプリミティブアセンブリ生成元のモデルに幾何学的に忠実で、人間の直感的な形状理解にも合致する、高品質な3Dプリミティブアセンブリを生成できる。
• 多様な3Dコンテンツ制作テキストや画像条件から3Dコンテンツを生成する機能をサポートしており、ユーザーに柔軟なコンテンツ作成方法を提供します。
• 効率的な保存と編集プリミティブな表現が使用されるため、生成される3Dモデルはストレージ効率が良く、編集や調整も容易です。
• 自己回帰型トランスフォーマーアーキテクチャこれは、自己回帰型トランスフォーマーを使用してフレームごとに3Dプリミティブを生成します。このトランスフォーマーは、長さの異なるプリミティブシーケンスを処理でき、新しいプリミティブタイプにも容易に拡張できます。
• 明確なパラメータ化スキームパラメータ設定における曖昧さを排除することで、モデルの学習および生成過程における安定性と精度を確実に維持します。
• 幾何学的忠実度と意味的一貫性生成プロセスにおいて、PrimitiveAnythingは高い幾何学的忠実度を維持し、人間の認知に適合する意味分解結果を生成できる。
• モジュール設計このフレームワークのモジュール設計は、アーキテクチャを変更することなく新しいプリミティブ型をシームレスに統合することを可能にし、さまざまなプリミティブ表現に適応できます。

PrimitiveAnythingの技術的原理

• 明確なパラメータ化スキーム
  • 統一表現複数の種類のプリミティブ（立方体、楕円柱、楕円体など）が、統一されたパラメータ化スキームの下で3D形状を表現するために使用されます。各プリミティブの種類、位置、回転、およびスケーリング属性がエンコードされ、モデルに入力されます。
  • 曖昧さを排除するパラメータ化における本質的な曖昧さ（例えば、異なるパラメータの組み合わせで同じ形状が生成される可能性がある）に対処するため、研究チームは包括的なルールセットを開発した。プリミティブの対称性を分析することで、L1ノルムが最小となる回転パラメータのセットを唯一の表現として選択し、トレーニングプロセスの安定性と精度を確保した。
• 自己回帰型トランスフォーマーアーキテクチャ
  • シェイプコンディショニングこのフレームワークは、形状特徴に基づいて可変長のプリミティブシーケンスを生成できるデコーダベースのTransformerアーキテクチャを採用しています。まず、点群エンコーダが3D形状の特徴表現を抽出します。次に、自己回帰型Transformerモデルがこれらの形状特徴と以前に生成されたプリミティブ情報を受け取り、次のプリミティブの特徴を予測します。
  • カスケードデコーダプリミティブ属性間の依存関係をモデル化するために、このフレームワークはカスケードデコーダを使用して、プリミティブのタイプ、位置、回転、およびスケーリング属性を順次予測します。これにより、プリミティブ属性間の自然な相関関係が捉えられます。たとえば、プリミティブのタイプは、人間のアセンブリロジックと一致するように、その可能な位置、回転、およびスケーリングパラメータに影響を与えます。
• 自己回帰生成過程
  • 配列生成プリミティブ抽象化プロセス全体を、シーケンス生成タスクとして再考する。このモデルは点群を入力として受け取り、終了マーカーが予測されるまで自己回帰的にプリミティブシーケンスを生成する。
  • 研修目標トレーニング中は、クロスエントロピー損失、チャンファー距離（再構成精度のため）、およびガンベルソフトマックス（微分可能性のため）を組み合わせて、シーケンスの終端マーカーが生成されるまで処理を行います。これにより、複雑な3D形状を柔軟かつ人間らしい方法で分解することが可能になります。

PrimitiveAnythingのプロジェクトアドレス

• プロジェクト公式サイト：https://primitiveanything.github.io/
• GitHubリポジトリ：https://github.com/PrimitiveAnything/PrimitiveAnything
• ハギングフェイスモデルライブラリ：https://huggingface.co/hyz317/PrimitiveAnything
• arXiv技術論文：https://arxiv.org/pdf/2505.04622

PrimitiveAnythingの応用シナリオ

• 3DモデリングとデザインPrimitiveAnythingは、複雑な3Dモデルの「幾何学的骨格」を迅速に生成できるため、デザイナーは細部の調整や作業効率、設計速度の向上に集中できます。
• ゲームアセット生成ゲームデザイナーはPrimitiveAnythingを使って様々なゲームシーンやキャラクターモデルを素早く生成し、開発効率を向上させることができます。プレイヤーは幾何学的なブロックを組み合わせるだけで新しいキャラクターやアイテムを作成することができ、それらはAIによって自動的に最適化・調整され、物理エンジンにシームレスに統合されます。
• ユーザー生成コンテンツ（UGC）このフレームワークは、テキストまたは画像入力から3Dコンテンツを生成することをサポートしており、ユーザーは生成された結果を簡単に編集できるため、ゲームにおけるUGC（ユーザー生成コンテンツ）に新たな可能性をもたらします。
• 仮想現実（VR）と拡張現実（AR）PrimitiveAnythingは、仮想現実および拡張現実環境において、リアルな3Dオブジェクトを迅速に生成し、ユーザーエクスペリエンスを向上させます。