Stable Video 3D (SV3D) - Stability AI社が開発した、マルチビュー合成および3D生成モデル。

安定した3D映像とは何ですか？

Stable Video 3D (SV3D) は、Stability AI が開発したマルチビュー合成および 3D 生成モデルです。単一の画像から一貫性のあるマルチビュー画像を生成し、高品質な 3D メッシュモデルの生成をさらに最適化します。このモデルは、以前にリリースされた Stable Video Diffusion モデルを改良したもので、より高品質で没入感のあるマルチビュー体験を提供します。他の 3D 生成モデルと比較して、SV3D の主な利点は、画像拡散モデルではなくビデオ拡散モデルを使用している点にあり、これにより、生成される出力の一般化と視点の一貫性において大きなメリットが得られます。

安定した3Dビデオの特徴

• マルチビュービデオ生成SV3Dは、単一の画像入力から複数の視点からのビデオコンテンツを生成できます。ユーザーはさまざまな方向や角度からオブジェクトを閲覧でき、各視点の映像は高品質で、視点間の一貫性も維持されます。
• 3Dメッシュ作成生成されたマルチビュー動画とStable Video 3Dモデルを使用することで、ユーザーはオブジェクトの3Dメッシュを作成できます。これらの3Dメッシュは2D画像から推測され、ゲーム開発、仮想現実、拡張現実など、さまざまな3Dアプリケーションで使用できます。
• トラックビデオ生成Stable Video 3Dは、物体の周囲を回転または移動する動画を生成する機能を提供し、ユーザーは物体の周囲を回転または移動する動画を作成して、ダイナミックな視点体験を実現できます。
• カメラ経路制御SV3Dは、指定されたカメラパスに沿って3Dビデオを作成する機能をサポートしており、ユーザーはビデオの視点やカメラの動きを正確に制御できるため、より自由な制作が可能になります。
• 新視点統合（NVS）SV3Dは、新しい視点合成において大きな進歩を遂げ、あらゆる角度から一貫性のあるリアルな視点を生成できるようになり、3D生成のリアリズムと精度が向上しました。

Stable Video 3D公式サイト入口

• 公式プロジェクトホームページ：https://sv3d.github.io/
• 技術報告書：https://stability.ai/s/SV3D_report.pdf
• ハグ顔モデル：https://huggingface.co/stabilityai/sv3d

Stable Video 3Dの仕組み

1. 新視点統合（NVS）:
   • 入力画像ユーザーは、1つ以上のオブジェクトを含む単一の2次元画像を入力として提供します。
   • カメラの姿勢制御生成される画像の視点を制御するために、一連の角度（仰角と方位角）を含むカメラの軌跡を定義します。
   • 潜在的なビデオ拡散モデルこの手法では、入力画像とカメラの姿勢に基づいて一連の新しい視点画像を生成する、学習済みの潜在的ビデオ拡散モデル（例えば、安定ビデオ拡散 – SVD）を使用します。これらの画像は、3Dオブジェクトの周囲を周回するビデオをシミュレートします。
2. 3D表現の最適化:
   • 粗い3D再構成生成されたマルチビュー画像をターゲットとして使用し、NeRF（ニューラル放射輝度場）モデルを学習させることで、3Dオブジェクトの粗い表現を再構築します。このステップは、オブジェクトのおおよその形状と質感を捉えるために、低解像度で実行されます。
   • メッシュ抽出学習済みのNeRFモデルから、通常はマーチングキューブアルゴリズムを用いて、予備的な3Dメッシュを抽出する。
   • 微調整3Dメッシュは、DMTEt（Deep Marching Tetrahedra）表現を用いてさらに精緻化されます。このステップは、細部の精度とメッシュの品質を向上させるために、高解像度で実行されます。
3. 改良された3D最適化技術:
   • マスクされた分留サンプリング（SDS）損失SV3Dは、見えない領域の3D品質を向上させるために、マスキング分数蒸留サンプリング損失を導入しています。この損失関数は、トレーニング中に参照視点から見えない領域を埋め、最適化することに重点を置いています。
   • 分離型照明モデルSV3Dはまた、固定照明条件によって引き起こされるレンダリングの問題を軽減するために、3D形状やテクスチャとは独立して最適化される分離型照明モデルを提案している。
4. 研修と評価:
   • データセットSV3Dは、Objaverseデータセットなど、多様な3Dオブジェクトを含むデータセットで学習されています。
   • 評価するSV3Dによって生成されたマルチビュー画像と3Dメッシュの品質は、実際の3Dデータや他のNVS手法と比較することによって評価される。