Bolt3D - オックスフォード大学がGoogleと共同開発した3Dシーン生成技術。 - AiBoss

Bolt3Dとは何ですか？

Bolt3Dは、Google Research、オックスフォード大学のVGGチーム、そしてGoogle DeepMindが共同開発した新しい3Dシーン生成技術です。これは、単一のGPU上で1枚または複数枚の画像から3Dシーン表現を7秒未満で直接サンプリングできるポテンシャル拡散モデルです。NVIDIA H100グラフィックス処理ユニットでは、Bolt3Dはわずか6.25秒で写真から完全な3Dシーンを生成できます。

Bolt3Dの主な機能

3Dシーンを素早く生成するBolt3Dは、1つまたは複数の入力画像から3Dシーン表現を直接サンプリングできるフィードフォワード生成手法です。非常に高速に画像を生成し、単一のGPUでわずか6.25秒で完了します。
多角的視点からの入力と一般化能力単一ビューから複数ビューまで、さまざまな枚数の入力画像をサポートし、未観測領域のコンテンツを生成でき、優れた汎化能力を備えています。
高精細な3Dシーン表現このシステムはガウス型スパッタリング技術を用いてデータを保存し、2次元グリッド上に3次元ガウス関数を配置することで3次元シーンを構築します。各関数は位置、色、透明度、空間情報を記録するため、高品質な3次元シーンが得られます。
リアルタイムのインタラクションとアプリケーションユーザーは生成された3Dシーンをブラウザ上でリアルタイムに表示およびレンダリングすることができ、ゲーム開発、仮想現実、拡張現実、建築設計、映画・テレビ制作など、幅広い応用が期待されます。

Bolt3Dの技術原理

幾何学的多視点ポテンシャル拡散モデル画像と3D点群マップを同時にモデル化するために、マルチビュー潜在拡散モデルが訓練されました。このモデルは、1枚以上の画像とそのカメラの姿勢を入力として受け取り、対象画像、対象点群マップ、およびソースビュー点群マップの同時分布を捉えるように学習します。
幾何学的VAE幾何学的VAEを学習させ、視点の点群マップとカメラ光線マップを幾何学的潜在特徴に共同で符号化した。このモデルは、標準的なVAE目的関数と特定の幾何学的損失関数の組み合わせを最小化することで最適化され、点群マップの高精度圧縮を可能にする。
ガウス型頭部モデルカメラと生成された画像および点群マップが与えられた場合、マルチビューフィードフォワードガウスヘッドモデルをトレーニングし、散布画像に格納された3Dガウス細線化カラー、不透明度、および共分散行列を出力する。
大規模なマルチビュー一貫性データセットBolt3Dをトレーニングするために、既存のマルチビュー画像データセットに最先端の高密度再構成技術を適用して生成された、大規模でマルチビューで一貫性のある3D形状および外観データセットが作成されました。
3段階のトレーニングプロセストレーニングプロセスは3段階のアプローチを採用しています。まず、幾何学的変分オートエンコーダー（GEOAE）をトレーニングし、次にガウスヘッドモデルをトレーニングし、最後に潜在拡散モデルをトレーニングします。

Bolt3Dプロジェクトのアドレス

プロジェクト公式サイト：https://szymanowiczs.github.io/bolt3d
arXiv技術論文：https://arxiv.org/pdf/2503.14445

Bolt3Dの応用事例

ゲーム開発ゲーム内で3Dシーンを迅速に生成することで、開発時間とコストを削減できます。
仮想現実と拡張現実VRおよびARアプリケーション向けにリアルタイム3Dシーン生成機能を提供し、ユーザーエクスペリエンスを向上させます。
建築設計建物の3Dモデルを素早く生成し、設計やプレゼンテーションを容易にします。
映画およびテレビ制作映画やテレビシリーズの特殊効果制作に使用され、複雑な3Dシーンを迅速に生成します。