MagicClay - Adobe社製の3Dモデリングツールで、テキストガイドによる3Dモデルの局所的な造形が可能です。

MagicClayとは何ですか？

MagicClayは、Adobeが提供する3Dモデリングツールで、メッシュと指向性距離場（SDF）技術を組み合わせることで、テキストプロンプトに基づいて3Dモデルの特定部分を彫刻し、モデルの他の部分は変更せずに済むように設計されています。MagicClayは、テクスチャ付き3Dモデルの生成をサポートし、ローカルメッシュの非破壊編集を可能にすることで、テキストプロンプトに基づいてより直感的かつ詳細な3Dモデル編集を実現します。MagicClayは、テキストから画像を生成する機能を、アーティストが反復的なワークフローで使用する実用的なモデリングツールへと進化させます。

MagicClayの主な機能

• テキストガイドによる3DスカルプティングMagicClayは、ユーザーが入力したテキストプロンプトに基づいて3Dモデルの特定領域を造形する機能をサポートしており、局所的な編集を可能にします。
• ハイブリッド表現メッシュ表現と指向性距離場（SDF）表現を組み合わせることで、3Dモデリングにおける両者の強みを活用する。
• 非破壊編集ユーザーは、モデルの他の部分に影響を与えることなく、選択した領域を編集できるため、元のモデルの整合性が維持されます。
• シーケンシャル編集同じメッシュを複数回編集できるため、アーティストはモデルを段階的に改良することができます。
• 元の属性を保持する編集プロセス中、頂点グループなどの元の三角形分割プロパティは、アニメーションやその他の後続処理のために保持されます。
• 高解像度レンダリングメッシュ表現に基づいてSDFを効率的にレンダリングし、高解像度のボリュームレンダリングを実現します。

MagicClayの技術原理

• ハイブリッドメッシュ-SDF表現三角形メッシュとSDFを組み合わせたハイブリッド表現が用いられる。このハイブリッド表現により、メッシュの直感的な制御とSDFのトポロジー的な柔軟性が実現される。
• 一貫性の維持最適化プロセス中は、メッシュとSDF間の整合性を維持し、マルチビュー整合性損失と適応的再構成を使用して両者を同期させる。
• 微分可能なレンダリング微分可能なレンダリング技術を用いて、メッシュとSDFを様々な角度からレンダリングする。その際、RGBレンダリング、不透明度、および法線マップにおいて一貫性を保つ必要がある。
• 局在化と凍結損失位置ずれとフリーズ損失に基づいて、編集はユーザーが選択した領域内でのみ行われ、選択されていない領域は変更されないようにします。
• 動的メッシュ再構築ROARなどの微分可能なメッシュ再構築技術を使用して、面分割、エッジ折り畳み、エッジ反転などを含むメッシュトポロジーを動的に更新します。
• 表面平滑化と正則化グリッドに基づく明示的な表現は、平滑化項を定義し、ラプラシアンベクトルを用いて局所的な曲率の変化を符号化し、グリッド平滑化を促進する。
• SDF正則化SDFがアイコナール損失やその他のSDF固有の損失を用いて効率的な距離場表現を学習するように促す。

MagicClayのプロジェクトアドレス

• プロジェクト公式サイト：amirbarda.github.io/MagicClay.github.io
• GitHubリポジトリ：https://github.com/amirbarda/MagicClay
• arXiv技術論文：https://arxiv.org/pdf/2403.02460

MagicClayの応用事例

• 3Dアート制作アーティストは、複雑な3Dモデリングスキルを必要とせずに、テキストプロンプトを使用して3D彫刻やモデルを作成することで、創造的なアイデアを迅速に実現できます。
• ゲーム開発ゲームデザイナーは、ゲームキャラクター、アイテム、環境などを迅速にプロトタイプ化し、反復開発を行うことで、開発効率を向上させることができます。
• アニメーション制作アニメーション映画やテレビ番組の制作においては、複雑な3Dキャラクターやシーンを作成・修正する際に、アニメーションに必要な頂点ウェイトやリギングを維持することが求められます。
• 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションにおいて、より豊かでダイナミックなユーザー体験を提供するために、仮想オブジェクトと環境を設計および最適化する。
• 教育と訓練教育分野においては、学生が3Dモデリングの基本概念を理解し、実践を通して3Dデザインを学ぶための教材として活用されます。