project
Find3D - カリフォルニア工科大学が開発した3Dパーツ分割モデル
Find3Dは、カリフォルニア工科大学（Caltech）が開発した3Dパーツ分割モデルで、任意のテキストクエリに基づいて、あらゆるオブジェクトの任意のパーツを分割できます。Find3Dは強力なデータエンジンを使用して、インターネット上の3Dアセットからトレーニングデータを自動的に生成します。
Find3Dとは何ですか？
Find3Dは、カリフォルニア工科大学（Caltech）が開発した3Dパーツ分割モデルで、任意のテキストクエリに基づいて、あらゆるオブジェクトのあらゆる部分を分割できます。Find3Dは強力なデータエンジンを使用して、インターネット上の3Dアセットからトレーニングデータを自動的に生成し、対照的なトレーニング手法を用いて拡張性の高い3Dモデルをトレーニングします。Find3Dは、Objaverse-General、ShapeNet-Part、PartNet-Eなど、複数のデータセットで優れた性能を発揮し、2番目に優れた手法と比較して平均IoU（Intersection-over-Union）を最大3倍向上させ、iPhoneの写真やAI生成画像からの3Dフィールド構築にも対応できます。
Find3Dの主な機能
- オープンワールド3D部分セグメンテーションテキストクエリのみを使用して、あらゆるオブジェクトのあらゆる部分を識別および分割することができ、事前に定義された部分セットに制限されることはありません。
- 手動での注釈は不要ですデータエンジンを使用して、インターネット上の3Dアセットから手動で注釈を付けることなく、トレーニングデータを自動的に生成します。
- 高いパフォーマンスと汎用性この手法は複数のデータセットで優れた性能を発揮し、2番目に優れた手法と比較して平均交差結合比（mIoU）が3倍向上しました。
- 迅速な推論既存のベースラインと比較して6～300倍高速であり、推論速度が大幅に向上する。
- 堅牢性様々な物体姿勢やクエリ条件下においても、安定したセグメンテーション結果を維持する。
- クエリの柔軟性さまざまな粒度や記述スタイルを持つ部分クエリなど、さまざまな種類のテキストクエリをサポートしています。
Find3Dの技術的原理
- データエンジン：
- SAMやGeminiなどの2Dベースモデルを使用して、3Dオブジェクトに自動的に注釈を付ける。
- 3Dアセットは複数のビューにレンダリングされ、各ビューはセグメンテーションのためにSAMに渡されます。
- SAMによって返された各マスクについて、Geminiに問い合わせて対応するパーツ名を取得し、（マスク、テキスト）のペアを作成します。
- 部分的な名前を、視覚および言語の基礎モデル（SigLIPなど）の潜在埋め込み空間に埋め込む。
- 投影幾何学に基づいて、マスクは3D点群に逆投影され、（点、テキスト埋め込み）ペアが形成されます。
- モデルトレーニング：
- 点群をシーケンスとして扱い、ブロックアテンションを実行する、Transformerベースの点群モデル。
- モデルによって返される点特徴量は、テキスト埋め込みとのコサイン類似度を比較することにより、任意の自由形式テキストに対してクエリを実行するために使用されます。
- 対照学習目標は、ラベルの曖昧さや部分的な可視性といった問題に対処し、データエンジンによって生成されたデータを用いたスケーラブルなトレーニングをサポートします。
- 比較学習目標：
- これは、各点に複数のラベルが付与されるという問題と、各マスクがビューの一部しか覆わないためにラベルのない点が生じるという問題の両方に対処するものです。
- 対照学習の目的に基づいて、このモデルは堅牢な特徴表現を学習し、オープンワールドにおいて正確な部分セグメンテーションを実現できる。
Find3Dプロジェクトのアドレス
- プロジェクト公式サイト：ziqi-ma.github.io/find3dsite
- GitHubリポジトリ：https://github.com/ziqi-ma/Find3D
- arXiv技術論文：https://arxiv.org/pdf/2411.13550v1
- オンラインでデモを体験してください：https://huggingface.co/spaces/ziqima/Find3D
Find3Dの応用シナリオ
- ロボットの視覚と操作：ロボット工学の分野では、ロボットが物体の特定の部分を識別して位置を特定し、精密な把持、操作、または相互作用を行うのに役立ちます。
- 仮想現実（VR）と拡張現実（AR）：VR/ARアプリケーションにおいては、仮想オブジェクトに対するより深い理解を提供し、仮想環境におけるユーザーのインタラクティブな体験を向上させる。
- コンピュータ支援設計（CAD）：CADソフトウェアでは、設計者が3Dモデルの特定の部分を迅速に識別して編集するのに役立ち、設計効率を向上させます。
- ゲーム開発：ゲーム開発においては、キャラクターの装備変更やオブジェクトの破壊効果など、より複雑な3Dオブジェクト間の相互作用を作成することが可能です。
- 建築とエンジニアリング：建築や工学の分野では、建築模型や機械部品などの複雑な3D構造の解析や理解に役立ちます。