project
ABot-World Studio - Amap(高徳地図)が立ち上げた、世界規模のモデル作成ワークショップ
ABot-World Studioは、AutoNaviが開発した汎用ワールドモデルワークショップで、インタラクティブなビデオ生成と3DGSシーン生成を単一の製品に統合しています。ユーザーはテキストや画像を入力して、リアルタイムでインタラクト可能なAIワールドを生成できます。
ABot-World Studioとは何ですか?
ABot-World Studioは、AutoNaviが開発した汎用ワールドモデルワークショップで、インタラクティブなビデオ生成と3DGSシーン生成を単一の製品に統合しています。ユーザーはテキストや画像を入力して、リアルタイムで操作可能なAIワールドを生成できます。5090ピクセルの単一画像のローカル展開に対応し、連続推論は1時間以上可能です。また、無限のワールドジャンプを可能にする時空ポータルも内蔵しています。
ABot-World Studioの主な機能
-
文・写真:ライフワールドテキストや画像を入力して、リアルタイムでインタラクティブなAIワールドを生成し、動画や3DGSファイルを出力します。
-
リアルタイムのインタラクティブな探索WASDキーと視点操作に対応しており、世界はユーザーの操作にリアルタイムで反応し、変化します。
-
どこでもドアあらゆるシーンにポータルを埋め込むことで、全く別の3D世界へジャンプし、無限の探索ネットワークを構築できます。
-
バイモーダル生成インタラクティブなビデオ生成と、リアルな形状を持つ3DGS空間アセットの生成を同時にサポートします。
-
長期的な推論アーキテクチャレベルでは推論時間に上限はなく、単一の連続推論を1時間以上安定して実行できます。
ABot-World Studioの技術原理
- ABot-World0 ビデオ生成モデルこのモデルは、シーンローミングとキャラクター制御を統合し、アルゴリズム最適化を用いてエラーの蓄積を軽減することで、より長い時間枠にわたって継続的な推論と精密な制御を可能にする。
- ABot-3DWorld0 シーン生成モデルABot-Earth0.5と推論パスを共有し、同じアーキテクチャを使用して屋内、街路風景、都市航空写真の生成をあらゆるスケールで接続し、「生成-評価-修復」のモジュール設計を採用して高忠実度の出力を保証します。
- ローカル軽量推論このモデルシリーズ全体は、一般消費者向けGPU向けに徹底的に最適化されており、専用の計算能力クラスターに頼ることなく、単一のRTX 5090で推論を完了し、1時間ごとの世界生成を実現できます。
WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ
ABot-World Studioの使い方
-
公式ウェブサイトをご覧くださいテストページにアクセスするには、ABot-World Studioの公式ウェブサイト(https://abot-world.amap.com/)をご覧ください。
-
入力プロンプト画像をアップロードするか、テキストによる説明を入力して、初期世界のシーンを生成してください。
-
リアルタイム制御キーボードのWASDキーとマウス/矢印キーを使用して、一人称視点または三人称視点で操作します。
-
どのドアでも開けてくださいシーン内の任意のドアを見つけるか配置することで、新たに生成された3D世界へ移動できます。
-
資産を輸出する生成されたワールドをビデオファイルまたは3DGS形式のアセットとして保存し、二次的な作成に使用できます。
ABot-World Studioの主な利点
-
統一バイモーダルインタラクティブビデオと3Dシーン生成が統合され、リアルタイムでの探索と永続的な空間アセットのバランスが取れたのは今回が初めてです。
-
時間ごとの推論単一の連続推論実行は、クラッシュや品質低下を起こすことなく1時間以上継続でき、同様のシステムにおける1分間の制限をはるかに超えています。
-
シングルカード展開ローカルのRTX 5090でも動作するため、ハードウェア要件が軽減されます。
-
物理的粘稠度それは現実の物理法則を高度に再現しており、受動的なピクセルの流れではなく、世界は行動に正確に反応する。
-
フルスケール3D同じアーキテクチャは、屋内シーン、街並み、都市の航空写真などにも適用され、リアルな形状と奥行き感を持つシーンを生成する。
ABot-World Studioプロジェクトの住所
- プロジェクト公式サイト:https://abot-world.amap.com/
- GitHubリポジトリ:https://github.com/amap-cvlab/ABot-World
ABot-World Studioの類似製品の比較
| 比較対象寸法 | ABot-World Studio | Google Genie 2 |
|---|---|---|
| 推論時間 | 1時間以上にわたる連続推論セッションでは、クラッシュや品質低下は発生しなかった。 | 一貫性のある世界を生成するには約1分かかり、その後リセットする必要があります。 |
| モーダルカバレッジ | インタラクティブなビデオと保存可能な3DGS空間アセットを出力できます。 | 主にインタラクティブな3Dビデオ環境を出力するものであり、ネイティブの3Dアセットは出力しません。 |
| 展開しきい値 | 専用の計算能力を必要とせず、単一のローカルの一般消費者向けGPU(5090)で動作させることができます。 | 現時点では研究・プレビュー段階であり、ローカル展開や外部APIはまだ利用できません。 |
| 世界拡大 | 内蔵された「どこでもドア」機構により、複数の世界をシームレスに飛び越えたり、行き来したりすることが可能になる。 | それは単一の世界内では長期記憶を持つが、複数の世界にまたがって拡張する能力は限られている。 |
| オープンソースのエコシステム | モデルとコードは完全にオープンソースであり、GitHubとHugging Faceで公開されています。 | これはオープンソースではなく、その機能は公式ブログと論文でのみ紹介されている。 |
| アプリケーション段階 | 現在、一般公開テストが実施されており、コンテンツ作成や実践的なトレーニングに直接利用できます。 | 迅速なプロトタイピングとAIエージェントの評価のための研究ツールとして位置づけられています。 |
ABot-World Studioの応用事例
- 身体知能トレーニングこれは、ロボットに高精度の物理シミュレーション訓練場を提供し、現実世界の環境における知覚と意思決定をシミュレートすることを可能にする。
- オープンワールドゲームゲームマップの無限の動的生成と任意のドアジャンプ機構をサポートし、従来のレベル境界の制約を打ち破ります。
- 映画やテレビのストーリーボード制作単一視点の映像をマルチカメラのストーリーボードに素早く変換できるため、クリエイティブ検証サイクルを数週間から数時間に短縮できます。
- 文化と観光を深く体験できる没入型体験ユーザーは、有名な絵画や歴史的な文明の場面に一人称視点で入り込み、受動的な鑑賞者から、その場面の参加者へと変貌する。
- 教育研修教室没入型で探究型の学習を実現するために、インタラクティブな仮想地理・歴史教育空間を構築する。