AB
AiBoss
News

Kyutai 发布 CADRE 视频自编码器,世界模型动作延迟降至 230 毫秒以内

Kyutai 发布开源因果扩散表征自编码器 CADRE,面向交互式世界模型。据其论文,基于 CADRE 的世界模型在单张 H100 上以 20 fps 运行,动作延迟低于 230 毫秒;代码采用 MIT 许可,权重为 CC BY-NC 4.0,不含商业用途。

核心事实

Kyutai 发布了 CADRE,一组面向交互式世界模型的开源因果扩散表征自编码器(causal diffusion representation autoencoders)。据其论文,基于 CADRE 的世界模型可在单张 H100 上以 20 fps 运行,动作延迟在 230 毫秒以内。该系列包含 7 个自编码器,每个约 4.76 亿训练参数,另加一个冻结的 8600 万参数 DINOv3 ViT-B/16;世界模型为 12 亿参数,视频分辨率为 288×512。

背景与影响

不少世界模型直接沿用文生视频生成器的自编码器,这类自编码器把多帧压进一个潜变量,导致每次动作都要等待。CADRE 的思路是把压缩率作为唯一变量来隔离研究:编码器复用 MIRA 方案,由冻结的 DINOv3 提取逐帧特征,再经一个训练好的三维卷积压成 64 通道潜变量,7 个成员之间只有这一瓶颈不同;解码器为 24 块因果扩散 Transformer,逐块流式解码,并通过渐进式自蒸馏在单阶段训练中学会 1 至 2 步解码。训练数据来自 23 个公开视频源、约 7.6 万小时,覆盖网页、机器人、驾驶与游戏视频。论文报告称,在驾驶场景中 CADRE-2×16×16 的 FVD 为 162.6,而 Wan 2.2 为 599.7;在单张 H100 上,CADRE-2×32×32 的动作延迟为 185 毫秒、最高 23.4 fps,Wan 2.2、LTX-2 与 Cosmos 分别为 317、492 与 605 毫秒。

限制与来源

上述数字均为 Kyutai 自报,尚未获独立复现确认。CADRE 并非全面领先:在机器人操作任务中,Cosmos 的 FVD 为 39.5,优于最佳单步 CADRE 的 47.6;Wan 2.2 在留出视频重建上的 PSNR 为 35.02 dB,明显更高。长潜变量还会在块与块之间留下可见接缝,τ=8 时边界超出量达 1.6 至 1.8。每个世界模型只覆盖一个环境,结论能否推广到通用模型仍待验证。代码为 MIT 许可,Hugging Face 上的权重为 CC BY-NC 4.0,排除商业用途;量化版本未披露。具体许可、可用性与使用条件请以官网及模型卡当前信息为准。来源:MarkTechPost 报道及 Kyutai 论文。