AB
AB
AiBoss

すべてのカテゴリ

project

ENEL - 上海AIラボがエンコーダー不要の3D大規模マルチモーダルモデルを発表

ENEL（Exploring the Potential of Encoder-free Architectures in 3D LMMs）は、3D理解タスクにおける従来のエンコーダーアーキテクチャの限界に対処する革新的なエンコーダーフリー3D大規模マルチモーダルモデル（3D LMM）です。

ENELとは何ですか？

ENEL（Exploring the Potential of Encoder-free Architectures in 3D LMMs）は、3D理解タスクにおける従来のエンコーダーアーキテクチャの限界に対処する革新的なエンコーダーフリー3D大規模マルチモーダルモデル（3D LMM）です。ENELは3Dエンコーダーを排除し、点群データを離散的な点マーカーに直接変換し、それらをテキストマーカーと連結して大規模言語モデル（LLM）に入力します。このモデルは、2つの主要な戦略によって効率的な意味エンコーディングと幾何学的理解を実現します。1つ目は、ハイブリッド意味損失によって高レベルの意味を抽出する、LLMに組み込まれた意味エンコーディング戦略です。2つ目は、LLMが点群の局所的な詳細に焦点を当てることを可能にする階層的な幾何学的集約戦略です。

ENELの7Bモデルは、3Dオブジェクト分類、3Dオブジェクトキャプション生成、3Dビジュアル質問応答（VQA）など、複数の3Dタスクで優れた性能を発揮します。Objaverseベンチマークでは、ENEL-7Bは3D MM-Vetデータセットにおいて、キャプション生成でGPTスコア50.92%、分類で55.0%、VQAで42.7%を達成しており、いずれも既存の13Bモデル（ShapeLLMなど）に匹敵する性能です。ENELのエンコーダーレスアーキテクチャは、セマンティックエンコーディングにおいて非常に優れた性能を発揮し、点群とテキスト間の意味的な関連性をより的確に捉えます。

ENELの主な機能

  • エンコーダレスアーキテクチャENELは従来の3Dエンコーダーを不要にし、タグ埋め込みモジュールを介して点群データを直接個別の点タグに変換します。これらのタグはテキストタグと連結された後、LLMに入力されます。これにより、エンコーダーアーキテクチャでよく見られる点群の解像度制限や意味的埋め込みの不一致といった問題を回避できます。
  • 高度な意味抽出ENELは、LLM埋め込み意味符号化戦略を用いて、事前学習段階でハイブリッド意味損失を導入し、点群の重要な幾何学的構造を保持しながら、高レベルの意味的特徴を抽出することができる。
  • 局所的な幾何学的知覚命令調整段階において、ENELは階層的な幾何学的集約戦略を採用し、LLMが点群の局所的な詳細を能動的に認識できるようにしています。集約および伝播処理を通じて、局所的な幾何学的情報がLLMの初期層に統合され、複雑な3D構造をより精緻に理解することが可能になります。
  • マルチタスク3D理解ENELは、3Dオブジェクト分類、3Dオブジェクトキャプション生成、3Dビジュアル質問応答（VQA）など、複数の3Dタスクにおいて非常に優れた性能を発揮します。7Bモデルは、Objaverseベンチマークにおいて、分類精度55.0%、キャプション生成GPTスコア50.92%を達成し、13B ShapeLLMの性能に匹敵します。
  • 高効率な意味的アライメントENELは、エンコーダー不要のアーキテクチャを通じて、点群とテキストという2つのモダリティ間の効率的な意味的アライメントを実現し、両者の意味的相関関係をより的確に捉え、3Dマルチモーダルタスクのためのより強力な意味的基盤を提供します。

ENELの技術原則

  • LLM埋め込み型意味符号化事前学習段階において、ENELは、さまざまな自己教師あり点群損失（マスクモデリング損失、再構成損失、コントラスト損失、知識蒸留損失など）を検討することで、ハイブリッドセマンティック損失を提案しました。この損失関数は、点群の高レベルのセマンティック情報をLLMに埋め込むことができ、従来の3Dエンコーダの機能を置き換えます。
  • 階層的ジオメトリ集約命令チューニングの段階で、ENELは階層的な幾何学的集約戦略を導入しました。この戦略は、初期レイヤーで点群を集約および伝播することで、LLMに帰納的バイアスを組み込み、点群の局所的な詳細に焦点を当てることを可能にします。具体的には、最遠点サンプリング（FPS）とk近傍法（k-NN）アルゴリズムを使用して点群をダウンサンプリングおよび集約し、きめ細かい意味情報を段階的に統合します。

ENELのプロジェクト住所

ENELの応用事例

  • 3Dオブジェクト分類ENELは3Dオブジェクトを効率的に分類でき、産業オートメーション、ロボットビジョン、自動運転などの分野に適しています。複雑な3Dオブジェクトを迅速に識別・分類することが可能です。
  • 3Dオブジェクトのキャプション生成：これは3Dモデルの説明文を生成するために使用でき、ユーザーが3Dシーンの重要な情報を素早く理解するのに役立ちます。また、仮想現実（VR）、拡張現実（AR）、および3Dモデリングツールに適しています。
  • 3Dビジュアル質問応答（VQA）医療画像解析、建築設計、教育など、3Dシーンに関連する質問に答えることができ、ユーザーが3Dデータから重要な情報を迅速に取得するのに役立ちます。
  • 複雑な3D形状を理解する航空宇宙、自動車製造、ジュエリーデザインなど、複雑な形状を正確に理解する必要があるシナリオに適しており、エンジニアやデザイナーが3Dモデルをよりよく理解し、最適化するのに役立ちます。
戻る