DeepMesh - 清華大学と南洋理工大学が開発した3Dメッシュ生成フレームワーク。 - AiBoss

DeepMeshとは何ですか？

DeepMeshは、清華大学と南洋理工大学の研究者によって提案された3Dメッシュ生成フレームワークです。強化学習と自己回帰トランスフォーマーに基づいて高品質な3Dメッシュを生成します。DeepMeshは、2つの重要な革新によってメッシュ生成を最適化しています。1つ目は、斬新なトークン化アルゴリズムと改良されたデータ処理を組み合わせた効率的な事前学習戦略、2つ目は、生成されたメッシュを人間の好みに合わせるための強化学習（特に直接選好最適化、DPO）の導入です。DeepMeshは、点群と画像条件に基づいて複雑なディテールと正確なトポロジーを持つメッシュを生成でき、精度と品質の両面で既存の手法を凌駕します。

DeepMeshの主な機能

高品質な3Dメッシュ生成DeepMeshは、さまざまな複雑な形状に適した、詳細かつ正確なトポロジーを持つ3Dメッシュを生成できます。
点群条件付き生成DeepMeshは、入力された点群データに基づいて対応する3Dメッシュを生成することができ、疎な点群から密な点群まで、さまざまなシナリオに適しています。
画像条件付き生成DeepMeshは画像ベースの条件付き生成をサポートしており、入力された2D画像から3Dメッシュを生成できます。

DeepMeshの技術的原則

自己回帰型トランスフォーマーDeepMeshは、自己回帰トランスフォーマーをコアアーキテクチャとして採用し、自己注意機構と相互注意機構を組み込んでいます。点群や画像などの条件付き入力に基づいて頂点と面を予測し、メッシュ面を段階的に生成します。点群の条件付き生成タスクでは、パーセプトロンエンコーダを使用して点群の特徴を抽出し、それをトランスフォーマーモデルに統合します。
効率的な事前トレーニング戦略DeepMeshは、局所的に認識された面走査とブロックインデックス座標エンコーディングによって幾何学的詳細を保持しつつ、シーケンス長を大幅に短縮する改良されたトークン化アルゴリズムを導入しています。このフレームワークは、低品質のメッシュデータをフィルタリングし、切り捨てトレーニング戦略によってトレーニング効率を向上させるなど、改良されたデータ準備および処理戦略を採用しています。
強化学習を人間の好みに合わせるDeepMeshは、人間による評価と3Dメトリックに基づくスコアリングを通して、強化学習トレーニング用の選好ペアを収集する直接選好最適化（DPO）を導入しました。これにより、生成されるメッシュは幾何学的に正確になり、人間にとってより美的に魅力的なものになります。
エンドツーエンドで微分可能なメッシュ表現DeepMeshはエンドツーエンドの微分可能なメッシュ表現をサポートしており、動的なトポロジー変化に対応できます。この微分可能性により、勾配降下法を用いてモデルを最適化できるため、生成されるメッシュの品質がさらに向上します。

DeepMeshプロジェクトのアドレス

プロジェクト公式サイト：https://zhaorw02.github.io/DeepMesh/
GitHubリポジトリ：https://github.com/zhaorw02/DeepMesh
arXiv技術論文：https://arxiv.org/pdf/2503.15265

DeepMeshの応用シナリオ

仮想環境の構築DeepMeshは、仮想現実空間における仮想シーン（仮想建築物や仮想都市など）を構築するための、リアルな3Dメッシュモデルを生成できます。
動的コンテンツ生成DeepMeshは、強化学習による最適化を通じて、ゲーム内のリアルタイムデータに基づいて3Dモデルを動的に生成し、ゲームの没入感とインタラクティブ性を向上させることができます。
キャラクターアニメーションDeepMeshは高品質な3Dキャラクターモデルを生成でき、スケルタルリギングやアニメーションレンダリングといった複雑なアニメーション制作ニーズにも対応します。
動的医療シミュレーションDeepMeshは、強化学習による最適化を通じて、心臓の動きのシミュレーションなど、動的な医療モデルを生成することができ、医師が臓器の動きや機能をより深く理解するのに役立ちます。
製品モデリングDeepMeshは、工業製品の3Dモデルを生成するために使用でき、複雑な設計および製造プロセスをサポートします。