See3D - 北京人工知能研究院が開発した、オープンソースでラベルフリーのビデオベースの3D生成モデル。 - AiBoss

See3Dとは何ですか？

See3D（See Video, Get 3D）は、北京人工知能研究院（BAAI）が開発した3D生成モデルです。大規模なラベルなしインターネット動画から学習し、3Dコンテンツを生成します。カメラパラメータに依存する従来の3D生成モデルとは異なり、See3Dは視覚条件付け技術を用いて、動画内の視覚的な手がかりのみに基づいて、カメラの向きを制御可能で形状が一貫したマルチビュー画像を生成します。これにより、高価な3Dやカメラのアノテーションが不要になり、インターネット動画から効率的に3Dの事前知識を学習できます。See3Dは、テキスト、シングルビュー、スパースビュー画像からの3Dコンテンツ生成をサポートし、3D編集やガウスレンダリングも可能です。

See3Dの主な機能

テキスト、単一ビュー、疎ビューから3Dへの生成See3Dは、テキストによる説明、単一の視点からの画像、または少数の画像に基づいて3Dコンテンツを生成できます。
3D編集とガウスレンダリングこのモデルは、生成された3Dコンテンツの編集をサポートし、ガウスレンダリング技術を使用してレンダリング効果を向上させます。
3Dインタラクティブワールドを解き放て画像を入力すると、没入感のあるインタラクティブな3Dシーンが生成され、ユーザーはリアルタイムで実際の空間構造を探索することができます。
疎な画像に基づく3D再構成少数の画像（3～6枚）を入力するだけで、モデルは詳細な3Dシーンを生成できます。
オープンワールド3D生成テキストによる指示に基づいて、モデルは芸術的な画像を生成し、それらの画像を使用して仮想3Dシーンを作成することができる。
単一ビューに基づく3D生成実写画像を入力すれば、モデルはリアルな3Dシーンを生成できる。

See3Dの技術原則

視覚条件付け技術See3Dは従来のカメラパラメータに依存しません。代わりに、視覚条件技術を用いて、映像内の視覚的な手がかりを通して、カメラの向きを制御でき、幾何学的に一貫性のあるマルチビュー画像を生成します。
大規模なラベルなし動画学習See3Dは、高価な3Dデータやカメラアノテーションに頼ることなく、インターネット動画から効率的に3D事前情報を学習できます。
データセットの構築研究チームは、高品質で多様性に富んだ大規模なマルチビュー画像データセット「WebVi3D」を構築しました。このデータセットには、1600万本のビデオクリップから抽出された3億2000万フレームの画像が含まれています。インターネット上のビデオコンテンツの増加に伴い、このデータセットは自動化されたプロセスによって継続的に拡張可能です。
マルチビュー拡散モデルのトレーニングSee3Dは、マスク処理されたビデオデータに時間依存ノイズを加えることで、純粋な2次元誘導視覚信号を生成するという新たな視覚条件を導入しています。スケーラブルなマルチビュー拡散モデル（MVD）のトレーニングをサポートし、カメラの状態に依存しないため、「視覚のみで3Dを取得する」という目標を達成します。
3D生成フレームワークSee3Dの学習済み3D事前情報により、単一ビューベースの3D生成、疎なビューの再構築、オープンワールドシーンでの3D編集など、さまざまな3D作成アプリケーションが可能になり、オブジェクトレベルとシーンレベルの両方で、複雑なカメラ軌道の下での長いビューシーケンスの生成をサポートします。

See3Dのプロジェクトアドレス

プロジェクト公式サイト：https://vision.baai.ac.cn/see3d
GitHubリポジトリ：https://github.com/baaivision/See3D
arXiv技術論文：https://arxiv.org/pdf/2412.06699

See3Dの応用事例

ゲーム開発AIが生成した3Dモデルは、ゲーム内のキャラクター、環境、オブジェクトの作成に利用でき、開発効率の向上とコスト削減につながる。
建築設計建築設計において、AIは建物のモデルを生成することができ、設計者が設計案を迅速に構想・修正するのに役立つ。
電子商取引オンライン小売業者は、AIが生成した3Dモデルを使用して商品を展示することで、ユーザーのショッピング体験を向上させることができる。
AR/VRAR/VR分野では、AIが生成した3Dモデルを用いてリアルな仮想環境やキャラクターを作成し、ユーザーの没入感を高めることができる。
映画とエンターテイメントAIは、実在の俳優をCGキャラクターに置き換えることで、映画制作者がCGキャラクターを作成するのを支援し、特殊効果の制作プロセスを簡素化することができる。
工業デザインAIが生成した3Dモデルは、工業製品の設計シミュレーションに利用でき、製品開発プロセスを加速させる。