AB
AiBoss站
快讯

NVIDIA 发布 Cosmos 世界模型开发工具,支持交互式仿真

NVIDIA 开发者博客介绍 Cosmos 平台:Cosmos Framework 提供世界模型训练、强化学习、优化与推理的模块化工具,Cosmos NIM 微服务负责 GPU 加速推理,并给出自动驾驶、机器人与手术场景的仿真配方。

核心事实

NVIDIA 开发者博客发布文章,介绍面向物理 AI 的 Cosmos 平台。据文章描述,Cosmos Framework 是一套开放、模块化的框架,覆盖世界模型的训练、模型优化与推理,并提供 agent 技能与配方;Cosmos NIM 微服务则通过应用 API 提供 GPU 加速的模型服务。文章称,Framework 的支持范围正从 Cosmos 3 扩展到 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 及其他兼容的 Hugging Face 模型。

背景与影响

文章把物理 AI 开发者的困难归为两类:让模型适配自身传感器、任务与数据,以及把模型可靠地部署进应用。仿真部分给出 Cosmos 3 Nano 的推理配方与示例 checkpoint,用于生成同步的相机视频与 LiDAR 观测,覆盖自动驾驶、机器人与手术场景。其中 Cosmos3-Nano-Transfer-Auto 采用双向生成,适合离线合成数据;Cosmos3-Nano-Sim-Auto 为因果、少步蒸馏变体,支持自回归流式生成,可用于闭环评估。机器人方向另有 Sim-Transfer 与双臂 Sim-Bimanual,手术方向则有 Cosmos3-H-Embodied-Nano 与 Cosmos3-H-Dreams。部署方面,文章称 NIM 微服务结合量化、推测解码与 KV-cache 感知路由,在 H200 GPU 上取得约 2–3 倍加速。

限制与来源

上述性能与显存数字均来自 NVIDIA 官方博客,尚未经独立验证;文章提到 Cosmos3-Nano 生成在 BF16 下需 58 GiB、FP8 加卸载下需 44 GiB 显存,实际需求随模型与任务而变。示例 checkpoint 称支持 PyTorch 与 vLLM-Omni,并在 Hopper 与 Blackwell GPU 上测试。具体功能、可用地区与许可条款请以 NVIDIA 官网当前信息为准。本文基于 developer.nvidia.com 博客文章整理。