MeshPad - スケッチ駆動型のAI 3Dメッシュ生成・編集ツール - AiBoss

MeshPadとは何ですか？

MeshPadは、スケッチ入力に基づくインタラクティブなアーティスティックなメッシュ生成・編集ツールです。シンプルな2Dスケッチを高品質な3Dメッシュモデルに素早く変換し、リアルタイム編集をサポートします。ユーザーはスケッチ上の線を追加または削除することで、領域の削除や新しいジオメトリの追加など、3Dメッシュを変更できます。三角形シーケンス表現を使用し、Transformerモデルを通して複雑な幾何学的関係を捉え、高品質なメッシュを生成します。予測戦略により計算コストが大幅に削減され、編集プロセスが高速化され、各編集はわずか数秒で完了します。生成されるメッシュの品質は、Chamfer距離において既存の手法よりも22%向上しています。

MeshPadの主な機能

スケッチ駆動型3Dメッシュ生成ユーザーは簡単な2Dスケッチを描くだけでよく、MeshPadはこれらのスケッチを自動的に高品質の3Dメッシュモデルに変換します。
リアルタイムのインタラクティブ編集MeshPadを使用すると、生成された3Dメッシュをリアルタイムで編集できます。スケッチ上の線を追加、削除、または変更すると、変更内容は3Dメッシュモデルに即座に反映されます。
高効率メッシュ処理MeshPadは三角形シーケンス表現を採用しており、メッシュの追加および削除操作を効率的に処理できます。内蔵のTransformerモデルは複雑な幾何学的関係を捉え、高品質なメッシュを生成します。
高品質のメッシュ出力MeshPadは、面取り距離に関して既存の手法よりも22%改善されたメッシュを生成し、より正確で詳細な3Dモデルを実現します。

MeshPadの技術原理

三角形シーケンス表現MeshPadは、三角形シーケンス表現を使用して、メッシュの追加および削除操作を効率的に処理します。
トランスフォーマーモデルMeshPadは、複雑な幾何学的関係を捉えるために大規模なTransformerモデルを使用します。メッシュの追加および削除操作を処理する際、Transformerモデルは新しい三角形メッシュを再帰的に生成し、新しく生成されたメッシュを既存のモデルにシームレスに統合することができます。
- 追加操作Transformerは自己回帰モデルを使用して新しい三角形パッチの位置を予測し、「推測予測」によって頂点座標を調整することで、新しいパーツが元のメッシュと完全に融合するようにします。
- 削除操作（Del）分類ネットワークを用いてメッシュ内の頂点を解析することで、「削除ラベル」が提供され、他の構造を損傷することなく不要な部分を正確に除去することが可能になる。
投機的な予測戦略MeshPadは、頂点アライメントのための予測戦略を導入しています。頂点に対して複数の出力タグを予測することで、計算コストを大幅に削減し、編集プロセスを高速化します。各編集はわずか数秒で完了し、真のリアルタイムインタラクティブ体験を実現します。
リアルタイムのインタラクションと最適化MeshPadのインタラクティブなデザインにより、ユーザーは線を追加したり削除したりといった簡単なスケッチ操作を通して、3Dメッシュモデルをリアルタイムで編集できます。

MeshPadプロジェクトのアドレス

プロジェクト公式サイト：https://derkleineli.github.io/meshpad/
arXiv技術論文：https://arxiv.org/pdf/2503.01425

MeshPadの応用事例

美術とデザインスケッチを素早く3D彫刻、アニメーション、ゲームモデルに変換します。
建築設計手描きのスケッチを建築模型に変換し、設計の詳細をリアルタイムで調整できる。
工業デザイン製品プロトタイプを作成・修正することで、設計反復プロセスを加速させる。