PartCrafter - AIによる3Dモデル生成、複数部品の接合部生成をサポート。 - AiBoss

PartCrafterとは何ですか？

PartCrafterは、単一のRGB画像から意味的に明確に定義され、幾何学的に多様な複数の3Dメッシュを生成できる高度な3D生成モデルです。各3Dパーツの潜在空間表現を組み合わせることで、階層的なアテンションメカニズムがパーツ内およびパーツ間で情報を転送し、生成される3Dモデルの全体的な一貫性を確保します。このモデルは、事前学習済みの3Dメッシュ拡散トランスフォーマー（DiT）をベースとしており、その重み、エンコーダ、デコーダを継承することで生成能力をさらに強化しています。エンドツーエンドのパーツ認識型生成が可能で、単一オブジェクトから複雑な複数オブジェクトシナリオまで、幅広いシーンの生成をサポートします。実験結果によると、このモデルは、分解可能な3Dメッシュの生成において既存の手法を凌駕し、入力画像では直接観察できないパーツも正確に生成します。

PartCrafterの主な機能

多成分接合生成PartCrafterは、1枚の画像から複数の部品やオブジェクトを一度に生成することができ、それぞれが明確な意味と独自の幾何学的形状を持つ。
コンポーネント認識型生成このモデルは、潜在空間を組み合わせることで各3Dパーツを表現し、階層的な注意機構を用いてパーツ内およびパーツ間で情報を伝達します。
エンドツーエンド生成PartCrafterは、単一の画像から複雑な複数オブジェクトシーンまで、エンドツーエンドの生成をサポートします。ユーザーは画像を提供するだけで、複数の個々のパーツやオブジェクトを含む完全な3Dシーンをモデルが生成できます。
コンポーネントレベルの編集生成された3Dモデルは、コンポーネントレベルでの編集と変更に対応しています。ユーザーは、生成されたコンポーネントに対して、位置調整、回転、拡大縮小などの個別の操作を実行できるため、より柔軟な3D設計と作成が可能になります。
複雑なシーンモデリングPartCrafterは、機械構造物や建築模型など、複雑なシーンのモデリングに適しています。複数のパーツを生成し、それらのパーツ間の相互関係を確保することで、よりリアルで複雑な3Dシーンを作成できます。
事前学習済みモデルのサポートこのモデルは、事前学習済みの3Dメッシュ拡散トランスフォーマー（DiT）をベースとしており、その重み、エンコーダー、デコーダーを継承しています。この事前学習メカニズムにより、モデルの生成能力と効率がさらに向上します。

PartCrafterの技術原則

複合ポテンシャル空間各3Dパーツは、分離された一連の潜在トークンによって表現され、パーツレベルの詳細を維持しながら、生成中にパーツが独立して進化することを可能にする。
階層的注意機構これは、単一コンポーネント内およびすべてのコンポーネント間における構造化情報の流れをサポートし、生成プロセス全体を通してグローバルな一貫性を確保します。
事前学習済み3Dメッシュ拡散トランスフォーマー（DiT）PartCrafterは、事前学習済みの重み、エンコーダー、デコーダーを継承することで、モデルの生成能力をさらに強化します。
エンドツーエンドのコンポーネントセンシング生成PartCrafterは、単一の画像という条件下で、複数の3Dパーツのノイズを同時に除去することができ、個々のオブジェクトから複雑な複数オブジェクトシーンまで、エンドツーエンドのパーツ認識生成を実現します。

PartCrafterのプロジェクトアドレス

プロジェクト公式サイト：https://wgsxm.github.io/projects/partcrafter/
GitHubリポジトリ：https://github.com/wgsxm/PartCrafter
arXiv技術論文：https://arxiv.org/pdf/2506.05573

PartCrafterの応用事例

ゲーム開発PartCrafterは、キャラクター、アイテム、シーンなど、高品質な3Dゲームアセットを迅速に生成できます。開発者は、1枚の画像またはテキストによる説明だけで、短時間で多数の3Dモデルを入手でき、ゲーム開発プロセスを加速させることができます。
建築とインテリアデザイン建築やインテリアデザインの分野では、PartCrafterは建築モデルやインテリアデザイン案を迅速に作成するために活用できます。デザイナーは建築図面やデザインスケッチをアップロードすることで、3Dモデルを素早く生成し、デザイン案を視覚的に提示することで、クライアントがデザイン意図をより深く理解できるよう支援します。
映画およびテレビ制作PartCrafterの超高精細な幾何学的ディテールモデリング機能と、PBRモデルを生成するためのマルチビュー入力機能は、映画やテレビ制作チームに高品質な3Dモデル素材を提供することができます。
教育する教育分野において、PartCrafterは分子構造や人体解剖学といった複雑な科学的概念を分かりやすく説明するために活用でき、生徒の理解度や学習成果の向上に役立つ。
拡張現実／仮想現実PartCrafterは、よりリアルなAR/VR体験の構築に役立つ、リアルな3Dモデルを生成します。単一の画像から生成された3Dモデルは、仮想シーンの構築に直接使用でき、ユーザーに没入感のある体験を提供します。