AB
AB
AiBoss

すべてのカテゴリ

project

Cosmos 3 - NVIDIAのオープンソース、マルチモーダル物理AI基盤モデル

Cosmos 3は、NVIDIA初の完全オープンソースのマルチモーダル物理AI基盤モデルであり、ハイブリッドTransformerアーキテクチャを使用して、視覚的推論、世界生成、および行動予測機能を統合しています。

コスモス3とは何ですか？

Cosmos 3は、NVIDIA初の完全オープンソースのマルチモーダル物理AI基盤モデルであり、視覚推論、ワールド生成、モーション予測機能を統合したハイブリッドTransformerアーキテクチャを採用しています。このモデルは、テキスト、画像、動画、効果音、モーションコンテンツをネイティブに理解・生成でき、物理シミュレーションにおいて業界最高レベルの精度を実現しています。NVIDIAはまた、次世代ワールドモデルの開発を共同で推進するため、RunwayやBlack Forest LabsなどをメンバーとするCosmos Coalitionを立ち上げました。Cosmos 3 SuperおよびNanoバージョンは既に利用可能で、Edgeバージョンも近日中にリリース予定です。

コスモス3の主な特徴

  • 完全なモーダルネイティブ理解と生成テキスト、画像、動画、環境音、モーション軌跡の処理を統合することで、個別のモジュールを組み合わせる必要がなくなります。
  • 物理世界のシミュレーション世界モデルとして、物理環境をシミュレートし、シーンの将来の状態を予測し、モデルのトレーニングと評価をサポートします。
  • 行動戦略の策定動作軌道計画を通じて、ロボットや自律走行システムが特定のタスクを完了できるように訓練を支援する。
  • マルチモーダルな視覚推論物体間の相互作用、動作パターン、および時空間的関係に関する、複数の感覚モダリティを横断した理解。
  • 合成データ生成物理的な精度に基づいて高品質なトレーニングデータを生成し、実データ収集のコストを削減する。

コスモス3の技術的原理

  • ハイブリッドトランスフォーマーアーキテクチャCosmos 3は、推論型トランスフォーマーと特殊な生成型トランスフォーマーを組み合わせたものです。このモデルはまず、物体間の相互作用、動きのパターン、時空間的な関係を分析して物理世界の根底にある論理を理解し、その理解に基づいて動画を生成し、動きの軌跡を予測します。このアーキテクチャ設計により、推論と生成の間に閉ループが構築され、出力が物理法則に準拠することが保証されます。
  • 大規模なマルチモーダル物理AIデータセットを用いたトレーニングこのモデルは、テキスト、画像、動画、効果音、動作軌跡など、数十億ものサンプルを用いて学習されており、物理世界に対する深い理解を構築することで、開発者がより少ないデータ量と低コストで物理AIシステムを構築できるようにする。

Cosmos 3 の使い方

  • アクセスプラットフォームCosmos 3の機能を体験するには、https://www.nvidia.com/en-us/ai/cosmos/ にアクセスしてください。
  • モデルを取得するHugging Faceからオープンソースのモデルウェイトをダウンロードしてください。
  • カスタム開発Hugging Face DiffusersとGitHubリソースを使用して、モデルをカスタマイズし、合成データを生成します。
  • 導入理由NVIDIA NIMマイクロサービスを介してモデルをデプロイするか、Baseten、CoreWeave、Microsoft Azureなどのクラウドパートナーを選択することで、推論を高速化できます。

コスモス3の主な利点

  • 完全オープンソースモデルの重みとアーキテクチャは完全にオープンであり、自由なカスタマイズと二次学習が可能です。
  • 物理的精度の分野でトップこのオープンソースモデルは、Artificial Analysis、Physics-IQ、PAI-Bench、R-Benchといった世界的な生成ベンチマークにおいて第1位にランクされています。
  • トレーニング効率の向上これにより、物理AIのトレーニングと評価のサイクルが数ヶ月から数日に短縮されます。
  • 3つの機能を1つにまとめるそれは、視覚言語モデル、世界モデル、そして世界行動モデルのバックボーンネットワークという3つの役割を同時に担っている。
  • 業界アライアンスのサポートコスモス・コアリションは、世界中のトップクラスのAI研究所とロボット企業を結集させ、エコシステムを構築する。

コスモス3プロジェクトの住所

  • プロジェクト公式サイト：https://www.nvidia.com/en-us/ai/cosmos/
  • ハギングフェイスモデルライブラリ：https://huggingface.co/collections/nvidia/cosmos3

Cosmos 3と類似製品との比較

寸法 Cosmos 3 Google Gemini 2.5 Pro
オープンソース 完全オープンソース（モデルの重み付けとアーキテクチャ） クローズドソースAPI
モーダルカバレッジ テキスト／画像／動画／効果音／モーション テキスト／画像／音声／動画
物理学とAIに焦点を当てる 物理世界のシミュレーションとモーション生成のために特別に設計されています 一般的なマルチモーダル大規模モデル
行動創出 ロボット／自律走行の動作軌跡をネイティブにサポート ネイティブモーション出力はサポートされていません。
物理的精度ベンチマーク Physics-IQとPAI-Benchは、初のオープンソースプログラムである。 物理AIの具体的な評価はありません
トレーニングデータ 数十億の物理AIマルチモーダルデータ 主に一般的なインターネットデータ
展開方法 NIMマイクロサービス／クラウドパートナー／オンプレミス Vertex AI API
生態学的同盟 コスモス連合（ランウェイ、BFLなど） Google独自の生態系

Cosmos 3の応用シナリオ

  • ロボットトレーニング本システムは、産業用ロボットおよびヒューマノイドロボット向けに、世界モデルシミュレーションと動作戦略の事前学習を提供する。
  • 自動運転技術の開発複雑な交通シナリオをシミュレートし、特殊なケースのトレーニングデータを生成し、自動運転モデルの反復開発を加速します。
  • ビジュアルAIインテリジェントエージェントこれにより、産業検査、インテリジェントセキュリティ、倉庫管理などのシナリオにおいて、知覚、推論、意思決定の閉ループを実現できます。
  • 合成データファクトリーこれは、高価な実世界データ収集に代わるもので、物理的に一貫性のあるトレーニングサンプルをバッチ単位で生成します。
  • 物理世界の研究学術機関向けにオープンな基礎モデルを提供し、身体化された知能と世界モデルに関する理論的研究を促進する。
戻る