CAD-MLLM - 上海科技大学と複数の研究機関が共同開発した、コンピュータ支援設計（CAD）モデル生成システム。

CAD-MLLMとは何ですか？

CAD-MLLMは、上海科技大学、Transcengram、DeepSeek AI、香港大学が共同開発したコンピュータ支援設計（CAD）モデル生成システムで、テキスト記述、画像、点群、またはそれらの組み合わせなど、さまざまなユーザー入力に基づいてパラメトリックCADモデルを生成します。このシステムは、コマンドシーケンスと大規模言語モデル（LLM）を使用してマルチモーダルデータを整列および処理し、完全なCADモデルを構築します。CAD-MLLMは、Omni-CADと呼ばれる大規模なマルチモーダルデータセットと新しい評価指標を導入し、生成されたモデルのトポロジ品質とサーフェスの閉鎖性を包括的に評価します。CAD-MLLMは、既存の手法よりも優れたパフォーマンスを発揮し、データ欠陥に対する高い堅牢性を示します。

CAD-MLLMの主な機能

• マルチモーダル入力処理テキスト記述、画像、点群など、さまざまな入力形式を処理し、入力に基づいてCADモデルを生成することができます。
• パラメトリックCADモデル生成このシステムは、ユーザーが編集・調整可能なパラメトリックCADモデルを生成できます。
• データセットの構築と注釈テキストによる説明、マルチビュー画像、点群、および対応するCADコマンドシーケンスを含む、Omni-CADと呼ばれるデータセットを紹介します。
• 評価指標イノベーションこのシステムは、生成されたCADモデルのトポロジー品質と表面閉鎖性を評価するための新しい評価指標を導入しています。
• 堅牢性ノイズや欠損データへの対応において、高い堅牢性を示す。
• インタラクティブデザインユーザーは簡単な指示とイラストに基づいてCADモデルを容易に設計できるため、専門知識のない人でも自分のデザインアイデアを実現できます。

CAD-MLLMの技術原理

• コマンドシーケンスの表現CADモデルのコマンドシーケンスはベクトル化され、大規模言語モデル（LLM）による学習に適したデータストリームを形成する。
• マルチモーダルデータアライメント高度なLLMを使用して、異なるモーダルデータとCADモデルのベクトル表現を整列させ、モデルが複数の入力を理解して処理できるようにします。
• ネットワークアーキテクチャネットワークアーキテクチャは、視覚データアライメント、点データアライメント、大規模言語モデルの3つのモジュールで構成され、クロスモーダル入力に対応しています。
• 機能スペースの共有非テキスト入力は、まず固定エンコーダに基づいて処理され、次に投影層を使用して、共有大規模言語モデル（LLM）特徴空間内で特徴が整列されます。
• 低ランク適応（LoRA）の微調整統合されたプロンプトとマルチモーダル埋め込みに基づき、低ランク適応（LoRA）技術を適用してLLMを微調整することにより、高精度なCADモデルが生成される。
• データ拡張手法本稿では、新しいマルチモーダル条件付きCADデータセットであるOmni-CADを生成するためのデータ注釈プロセスとデータ拡張手法を提案する。

CAD-MLLMプロジェクトの住所

• プロジェクト公式サイト：cad-mllm.github.io
• arXiv技術論文：https://arxiv.org/pdf/2411.04954

CAD-MLLMの応用シナリオ

• 工業デザインと製造これにより、設計者やエンジニアは複雑な工業製品のCADモデルを迅速に作成・修正できるようになり、製品開発プロセスを加速させることができます。
• 建築とエンジニアリング建築家や構造エンジニアは、現場の写真や地形データから正確なCAD図面を作成することができ、設計と計画の効率を向上させることができる。
• 自動車産業自動車メーカーは、コンセプトスケッチや説明に基づいて自動車部品の正確なCADモデルを作成し、設計および製造プロセスを最適化している。
• 航空宇宙航空宇宙分野では、複雑な設計要件と性能パラメータに基づいて、航空機や宇宙船の部品および構造のCADモデルが作成される。
• 教育と訓練学生や初心者にとって、この方法は学習曲線を緩やかにし、教育効果を高める。