Atlas - World Labsが世界初のマルチモーダル世界モデルを発表 - AiBoss

Atlasとは何ですか？

フェイフェイ・リー氏が設立したワールドラボが開発したAtlasは、世界初のマルチモーダル世界モデルです。このモデルは、テキスト、画像、動画、3D空間情報をネイティブに理解し、空間コンテキストを通して画像を3次元座標に固定します。これにより、ピクセルレベルでの高精度なカメラ制御、疎な写真からの3D再構成、時空間シミュレーションが可能になります。数枚の通常の写真だけで、このモデルは任意のカメラ動作による長尺動画を生成し、リアルなシーンを再構成できるため、ロボット向けのシミュレーション訓練環境を提供します。

Atlasの主な機能

カメラ制御による生成1～6枚の写真を入力し、カメラの姿勢を指定することで、空間的な幾何学的形状が一貫した1分間の1440pビデオを生成します。
宇宙再構築: 実際のシーンの3D点群またはガウススプラッシュモデルは、専門的なスキャン機器を必要とせず、わずか2～25枚の通常の写真を使用して再構築できます。
時空シミュレーションこれにより、空間構造や世界の進化の理解が可能になり、「バレットタイム」マルチカメラ再構成をサポートし、ロボット向けの実世界からシミュレーションへの変換訓練環境を提供する。
画像生成テキストまたは画像による指示に基づいて、高品質な画像と360°パノラマを生成します。複雑な指示や複数のビジュアルスタイルにも対応しています。

アトラスの技術原理

マルチモーダル自己回帰拡散トランスフォーマーAtlasは、テキスト、画像、ビデオフレーム、カメラの姿勢、3D深度マップを同じ「空間コンテキスト」シーケンスにエンコードし、要素ごとに自己回帰的に出力を生成する、統一されたアーキテクチャをゼロから事前学習します。同時に、拡散メカニズムを使用して高次元の連続データ（画像/ビデオ）のノイズを段階的に除去し、LLMのシーケンスの柔軟性とビデオ生成モデルの高品質なレンダリング機能をバランスよく両立させます。
空間的文脈LLMのテキストベースのコンテキストとは異なり、Atlasは各入力画像に明示的な3D座標と深度情報を紐付け、モデル内に空間的に制約された3Dシーン表現を構築します。新しいビューを生成する際、モデルはこの確立された空間フレームワーク内で外挿と補完を行い、様々な視点間で幾何学的な一貫性と物理的な妥当性を確保します。

Atlasの使い方

公式ウェブサイトをご覧くださいAtlasへのアクセスをリクエストするには、https://form.typeform.com/to/zHFR4r3A にアクセスしてください。
カメラ制御によってビデオが生成される1～6枚の参考画像をアップロードし、カメラのポーズと動きの軌跡を設定すると、Atlasが最大1分間の映画のようなビデオを生成します。
3D空間再構成2～25枚の普通の写真をアップロードしてください。専門的な機材は必要ありません。Atlasはそれらを自動的に再構築し、移動可能な3D点群またはガウス分布によるスプラッシュシーンを作成します。
「バレットタイム」効果3～5台の一般的な携帯電話を使って、同じ動画を様々な角度から撮影してください。Atlasで再構成した後、どの角度からでも自由に再生できます。
ロボットシミュレーション訓練現実世界の環境を短い動画で撮影すると、Atlasが自動的に高精度のデジタルツインシーンを生成し、ロボットが実行・テストできるようにします。
文生写真／パノラマビューテキストプロンプトまたは参照画像を入力することで、高品質の画像や360°パノラマ画像を直接生成できます。

アトラスの主な利点

ピクセルレベルのカメラ制御曖昧なテキストによる説明に頼るのではなく、カメラの姿勢をネイティブな入力として使用することで、監督レベルの精度でカメラの動きを実現します。
極めて疎な再構成ごく普通の携帯電話の写真数枚だけで高精度の3Dシーンを再構築することが可能になり、従来のスキャンソリューションをはるかに凌駕する。
空間幾何学的一貫性空間コンテキストに基づいて、画像は3D座標に固定され、異なる視点から見ても歪みやちらつきのない画像が生成されます。
マルチタスク統合アーキテクチャ単一のモデルで、専用ツールに切り替えることなく、生成、再構成、シミュレーション、画像生成を同時にカバーできます。
実世界とシミュレーション間の閉ループ実世界の動画を直接ロボットシミュレーション環境に変換できるため、身体を使った知能訓練のコストを大幅に削減できる。
連続スケーリングこれはゼロから事前学習されたものであり、計算能力の向上に伴って性能が継続的に向上することが証明されており、将来的な成長の可能性が非常に高いことを示している。

アトラスプロジェクトの住所

プロジェクト公式サイト：https://www.worldlabs.ai/blog/atlas

Atlasと類似の競合製品との比較

比較対象寸法	Atlas（World Labs）	Genie 3（Google DeepMind）
位置	空間知能のためのオムニワールドモデル	汎用リアルタイムインタラクティブワールドモデル
コア入力	テキスト、画像、動画、カメラポーズ、3D深度マップ	画像、アクションコマンド、および状態履歴
カメラ制御	ピクセルレベルの精度、カメラ姿勢パラメータ入力をネイティブにサポート	制御は主に、テキストや動作の説明を通して間接的に行われる。
3D再構成	点群は、2～25枚の通常の写真/ガウススプラッシュから再構築できます。	インタラクティブな世界生成と非スパース再構築の専門知識に注力
ビデオ生成	最長再生時間は1分、解像度は1440pで、空間的な幾何学的整合性が非常に高い。	リアルタイムでのやり取りを重視し、各セグメントの所要時間は比較的短く設定されている。
物理シミュレーション	Real-to-Simによるロボットトレーニング環境の生成をサポート	自己学習型物理エンジンとリアルタイムのインタラクティブなフィードバックを重視
出力形式	画像、動画、点群、3Dガウススプラッティング	インタラクティブな世界情勢、ビデオフレーム

Atlasの応用シナリオ

映画およびVFX制作監督は数枚のシーン写真を提供し、カメラの動きの軌跡を設計します。Atlasは、精密なカメラワークで高解像度1440pの映像を生成でき、わずか数台のスマートフォンで「バレットタイム」効果を実現できるため、数百台ものプロ仕様のカメラアレイは不要になります。
ゲームおよび仮想シーンの構築アートチームが少数の実写写真をアップロードすると、Atlasはそれらを自動的に移動可能な3Dガウススプラッシュシーンに再構築し、ゲームエンジンに直接インポートすることで、オープンワールドやVRシーンの制作サイクルを大幅に短縮します。
ロボット工学と身体知能トレーニングAtlasは、携帯電話で現実世界の環境を短い動画で撮影することで、高精度のデジタルツインシーンを自動的に生成します。これにより、ロボットは仮想空間を繰り返し走行し、さまざまなシナリオを試すことができ、時間とコストがかかる現実世界のデータ収集という根本的な課題を解決します。
建築と不動産のショーケース数枚の現場写真から建物や内部空間の完全な3Dモデルを再構築でき、あらゆる角度からの視点移動や航空写真の生成をサポートしているため、不動産プロジェクトの販売前展示や史跡のデジタルアーカイブなどに活用できる。
広告およびeコマースコンテンツの作成商品画像またはテキストを入力するだけで、360°パノラマ動画やスタイリッシュな広告を素早く出力できます。ピクセル単位のカメラ制御により、カメラの動きが変わっても商品の形状や照明が常に一定に保たれます。