MIDI-AIの3Dシーン生成技術は、一枚の画像を360度3Dシーンに変換することができます。

MIDIとは何ですか？

MIDI（Multi-Instance Diffusion for Single Image to 3D Scene Generation）は、単一画像を短時間で高精細な3Dシーンに変換できる高度な3Dシーン生成技術です。入力画像をインテリジェントにセグメント化し、シーン内の独立した要素を識別した後、マルチインスタンス拡散モデルとアテンションメカニズムを組み合わせることで、360度3Dシーンを生成します。強力なグローバル認識能力とディテールレンダリング能力を備え、40秒以内に生成を完了でき、さまざまなスタイルの画像に対して優れた汎化能力を発揮します。

MIDIの主な機能

2D画像を3Dシーンに変換単一の2D画像を360度の3Dシーンに変換することで、ユーザーに没入感のある体験を提供する。
マルチインスタンス同期拡散シーン内の複数のオブジェクトの3Dモデリングを同時に実行できるため、オブジェクトを一つずつ生成して組み合わせるという複雑なプロセスを回避できます。
インテリジェントなセグメンテーションと認識入力画像に対してインテリジェントなセグメンテーションを実行し、シーン内の様々な独立した要素を正確に識別します。

MIDIの技術的原理

インテリジェントセグメンテーションMIDIはまず、入力された単一画像をインテリジェントに分割し、シーン内のさまざまな独立した要素（テーブル、椅子、コーヒーカップなど）を正確に識別します。これらの「分解された」画像パーツは、シーン全体の環境情報とともに、3Dシーン構築の重要な基盤となります。
マルチインスタンス同期拡散他の手法では3Dオブジェクトを一つずつ生成・結合していくのに対し、MIDIはマルチインスタンス同期拡散方式を採用しています。オーケストラが複数の楽器を同時に演奏し、最終的に調和のとれたメロディーへと融合させるように、シーン内の複数のオブジェクトを同時にモデリングすることが可能です。これにより、オブジェクトを一つずつ生成・結合していく複雑なプロセスが不要となり、効率が大幅に向上します。
マルチインスタンス注意機構MIDIは、オブジェクト間の相互作用と空間的な関係を効果的に捉える、斬新なマルチインスタンス・アテンション機構を導入しています。これにより、生成される3Dシーンには個々のオブジェクトが含まれるだけでなく、より重要なことに、それらの配置と相互影響が論理的に一貫性を持ち、シームレスに統合されることが保証されます。
グローバルな認識と詳細の融合MIDIは、マルチインスタンス・アテンションレイヤーとクロスアテンションレイヤーを導入することで、グローバルシーンのコンテキスト情報を完全に理解し、それを個々の3Dオブジェクトの生成プロセスに統合することができます。これにより、シーン全体の調和が保たれ、ディテールが豊かになります。
高効率なトレーニングと汎化能力トレーニング中、MIDIは限られたシーンレベルのデータを使用して3Dインスタンス間の相互作用を監視し、それに加えて大量の単一オブジェクトデータを使用して正則化を行います。
テクスチャの詳細最適化MIDIで生成された3Dシーンの質感のディテールは素晴らしい。MVアダプターなどの技術を応用することで、最終的な3Dシーンはよりリアルで説得力のあるものになっている。

MIDIプロジェクトアドレス

プロジェクト公式サイト：https://huanngzh.github.io/MIDI-Page/
GitHubリポジトリ：https://github.com/VAST-AI-Research/MIDI-3D
ハギングフェイスモデルライブラリ：https://huggingface.co/VAST-AI/MIDI-3D
arXiv技術論文：https://arxiv.org/pdf/2412.03558

MIDIの応用シナリオ

ゲーム開発ゲーム内で3Dシーンを迅速に生成し、開発コストを削減します。
バーチャルリアリティユーザーに没入感のある3D体験を提供します。
インテリアデザイン室内写真を撮影するだけで3Dモデルを素早く生成し、デザインやプレゼンテーションを容易にします。
文化遺産のデジタル保存文化遺物の3Dモデリングは、研究と展示を容易にする。