NVIDIA 发布 Cosmos3-H-Dreams：用生成式仿真还原临床手术场景
NVIDIA 在 Hugging Face 发布 Cosmos3-H-Dreams，基于 Cosmos 3 与 FlashDreams，可从临床胆囊切除手术视频与机器人运动学中学习，并在单张 RTX PRO 6000 GPU 上实时生成受动作控制的手术画面。官方强调该模型是研究用仿真器，并非经临床验证的医疗系统。
核心事实
NVIDIA 于 2026 年 10 月 20 日在 Hugging Face 博客发布 Cosmos3-H-Dreams，将交互式生成仿真推进到临床手术场景。据官方介绍，该模型基于 Cosmos 3 基础模型（具体为 16B 参数的 Cosmos3-H-Embodied-Nano），从 CMR Surgical Versius 平台上临床胆囊切除手术的同步视频与机器人运动学数据中学习，并借助 NVIDIA 的流式推理加速库 FlashDreams，可在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。官方称，据其所知，这是首个基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术仿真器。
背景与影响
此前的 Cosmos-H-Dreams 基于 Cosmos-Predict2.5，面向 dVRK 桌面缝合任务，用学习视觉动态替代显式建模几何、组织形变与物理交互。新版本把这一思路带入体内场景：组织牵拉、反光变化、结构遮挡与烟雾都会影响画面，误差还会随长序列累积，因此时间一致性至关重要。模型采用 28 个动作维度，训练视频为 832×480、动作对齐频率 10 Hz；训练流程先由双向教师模型扩展到 72 帧，再蒸馏为因果学生模型，发布四步与两步两个检查点，两步模型为单独训练，步数更少意味着推理更快但画质下降。官方同时列出后续研究方向，包括覆盖完整手术流程、结合数值仿真、引入外科医生评估、支持更多器械以及闭环训练自主手术策略。
限制与来源
NVIDIA 明确说明，上述内容属于研究方向而非已确立的临床能力；Cosmos3-H-Dreams 是研究用仿真器，并非经过验证的患者诊疗系统。视觉真实只是验证起点，不等于生物力学准确。模型可适配其他数据集与器械，但需使用与训练一致的动作约定与归一化。本文信息来自 Hugging Face 博客原文，模型可用性、许可证与获取方式请以官网当前信息为准。