project
Cosmos - NVIDIAのジェネレーティブワールドモデリングプラットフォーム
CosmosはNVIDIAのジェネレーティブワールドモデリングプラットフォームであり、特に自動運転やロボット工学分野における物理AIシステムの開発を加速させます。Cosmosはテキスト、画像、動画からのプロンプトを受け入れることができます。
宇宙とは何か？
Cosmosは、NVIDIAのジェネレーティブワールドモデリングプラットフォームであり、特に自動運転やロボット工学の分野における物理AIシステムの開発を加速します。Cosmosは、テキスト、画像、またはビデオからの手がかりを受け取り、非常にリアルな仮想世界状態を生成し、自動運転やロボット工学アプリケーション向けに独自のビデオ出力を提供します。このプラットフォームは、ジェネレーティブワールドモデル、高度なタグ付けツール、および高速ビデオ処理パイプラインを統合しており、開発者が大量の物理ベースの合成データを生成し、実世界データへの依存度を低減するのに役立ちます。Cosmosは、データセキュリティとコンプライアンスを確保するためのセキュリティメカニズムも提供します。開発者は、Cosmosモデルを微調整して、特定のアプリケーションニーズを満たすカスタマイズされたAIモデルを作成できます。
コスモスの主な機能
- 仮想世界状態を生成するCosmosは、テキスト、画像、またはビデオの指示に基づいて、非常にリアルな仮想世界の状態を生成できるため、自動運転やロボット工学のアプリケーションに適しています。
- 生成モデルこのプラットフォームは生成モデルを用いて、現実世界のシナリオに類似したデータを迅速に生成し、開発者が既存のAIモデルを訓練および評価するのに役立つ。
- 高度なタグ付けとデータ処理Cosmosは高度なラベル付け機能と高速なビデオ処理パイプラインを統合しており、生成されたデータがその後のモデルトレーニングにおいてより大きな役割を果たすことを可能にします。
- 安全とコンプライアンスこのプラットフォームは、データセキュリティとコンプライアンスを確保するためのセキュリティ保護メカニズムも提供しています。
- オープンモデルライセンスCosmosは、Hugging FaceおよびNVIDIA NGCのカタログでオープンモデルライセンスとして提供され、開発者はカスタマイズされたアプリケーションを作成できるようになります。
コスモスの技術原理
- 生成世界基盤モデル（WFM）Cosmosは、拡散モデルや自己回帰型Transformerモデルなどの高度な生成モデリング技術を用いて、現実世界のシーンに非常に近い合成データを生成します。
- 高度なトークナイザー（Cosmos Tokenizer）このタグ付けツールは、高度なエンコーダー・デコーダーアーキテクチャを採用し、3D因果畳み込みとアテンション機構を組み合わせることで、時空間情報を効率的に処理します。画像や動画を高圧縮・高品質のタグに分解できるため、AIモデルにとってより効率的な視覚データを提供します。
- 動画処理パイプラインの高速化（NeMo Curator）Cosmosは、大量のビデオデータを短時間で処理できる高速ビデオ処理パイプラインを統合しています。例えば、NeMo Curatorは2000万時間分のビデオデータを14日間で処理できます。
コスモスモデルシリーズ
ナノモデル
- 特徴低遅延およびリアルタイムアプリケーションに適しています。
- パラメータサイズ約40億個のパラメータ。
- アプリケーションシナリオリアルタイムのビデオ解析やシンプルなロボット制御タスクなど、迅速な応答が求められるアプリケーションに適しています。
スーパーモデル
- 特徴高性能ベンチマークを提供します。
- パラメータサイズ約70億個のパラメータ。
- アプリケーションシナリオ環境認識や自律走行車の意思決定支援、複雑なロボットタスクのシミュレーションやトレーニングなど、高い性能と精度が求められる用途に適しています。
ウルトラモデル
- 特徴最高品質と最高精度を追求する。
- パラメータサイズ約140億個のパラメータ。
- アプリケーションシナリオ高精度な自動運転シミュレーションや複雑な産業用ロボットの動作シミュレーションなど、極めて高い精度と品質が求められる用途に適しています。
コスモスプロジェクトの住所
- プロジェクト公式サイト：https://research.nvidia.com/publication/2025-01_cosmos
- GitHubリポジトリ：https://github.com/NVIDIA/Cosmos
- ハギングフェイスモデルライブラリ：https://huggingface.co/collections/nvidia/cosmos
- 技術論文：https://d1qx31qr3h6wln.cloudfront.net/publications/NVIDIA%20Cosmos
Cosmosの応用事例
- 運転環境シミュレーションCosmosは、さまざまな気象条件や道路状況下で合成データを生成でき、自動運転システムのトレーニングのための豊富なシナリオを提供する。
- 戦略モデルの最適化Cosmosは、多数の現実的な運転シナリオを生成することで、自動運転システムがシミュレーション環境で強化学習を実行し、意思決定戦略モデルを最適化し、さまざまなシナリオの下でのパフォーマンスをテストするのに役立ちます。
- 複雑な環境への適応能力トレーニングCosmosは、ロボットに複雑な環境のリアルタイムシミュレーションを提供することで、合成データを用いてロボットの知覚システムを訓練することを可能にする。
- ナビゲーションとタスク実行Cosmosによって生成された仮想世界の状態に基づいて、ロボットは周囲の環境をよりよく理解し、適応することができ、より正確なナビゲーションとタスク実行を実現できる。
- リアルなシーン生成Cosmosは、仮想現実ゲームやシミュレーション訓練に適した、非常にリアルな仮想世界状態を生成できます。例えば、開発者はOmniverseを使用して3Dシーンを作成し、Cosmosを使用してそれをリアルなシーンに変換することで、ロボットをシミュレーション環境で訓練させることができます。
- 産業用デジタルツインNVIDIAのOmniverseとCosmosを組み合わせることで、工場や倉庫のシミュレーション、テスト、最適化のための産業用デジタルツイン環境を構築できます。これにより、複雑な生産設備や流通センターネットワークにおける手動設計、運用、最適化の精度が向上します。
Cosmosの応用事例
- Uberの自動運転車開発UberはCosmosをいち早く導入した企業の1つとして、生成型AI機能を活用した安全で拡張性の高い自動運転ソリューションの開発を加速させてきました。CosmosはUberの自動運転システムに豊富な合成データを提供し、さまざまな運転シナリオにおけるモデルのトレーニングと最適化を支援することで、自動運転技術の安全性と信頼性を向上させています。
- XPeng MotorsのシミュレーショントレーニングXPeng Motorsは、Cosmosプラットフォームを利用して、さまざまな天候や道路状況下で合成走行データを生成することで、自動運転アルゴリズムのシミュレーションとトレーニングを行っています。例えば、雨、雪、霧などの悪天候や、市街地道路や高速道路などのさまざまな道路状況をシミュレーションすることで、自動運転システムは環境認識、意思決定、操作実行の方法をより良く学習し、実際の道路状況におけるアルゴリズムの性能を向上させることができます。
- 1Xロボットの動的プログラミング1XはCosmosのシミュレーションエンジンを活用し、ロボットに高精度な機械的、運動学的、および動的相互作用モデリング機能を提供します。閉ループシミュレーションを通じて、1Xロボットは仮想環境内で動的プランニングと環境適応最適化を実行でき、実世界のアプリケーションにおいてより正確なナビゲーションとタスク実行を実現します。