AB
AiBoss站
快讯

Kyutai 联合 Inria 发布 REKI:2.4B 参数 VLA 模型为机器人操作引入轻量记忆

Kyutai 与 Inria、École des Ponts 发布 2.4B 参数视觉-语言-动作模型 REKI,仅用公开数据预训练,通过 32 个寄存器 token 为动作专家加入对最近 3 帧的记忆,权重已在 Hugging Face 开放。

核心事实

据 MarkTechPost 报道,Kyutai 与 Inria、École des Ponts 联合发布了 REKI,一个面向机器人操作的 2.4B 参数视觉-语言-动作模型(VLA)。该模型由 2.2B 的 Qwen3.5-2B 视觉语言主干与 0.2B 的流匹配动作专家组成,仅使用公开数据预训练,权重已在 Hugging Face 发布,采用 CC BY-NC-SA 4.0 许可,代码为 MIT 许可。

REKI 的记忆机制放在动作专家内部:每帧动作 token 之前放置 32 个可学习的寄存器 token,它们与当帧的提示和视角做交叉注意力,并与更早帧的寄存器做自注意力,覆盖最近 3 帧、间隔 1 秒。寄存器每帧只计算一次并缓存,据项目页说明,读取缓存使 21.8 毫秒的动作块增加约 0.1 毫秒,每个历史帧约占 2 MiB 显存。

背景与影响

多数 VLA 只依据当前帧行动,已有记忆方案或把历史帧送入 VLM,或展开训练、增加模块,均带来额外开销。REKI 的做法是把记忆成本压到较低水平。据报在 RoboTwin 上,加入记忆后机械臂在两姿态间振荡的回合占比从 18.6% 降至 4.1%,Kyutai 将其归因于感知混叠。基准方面,据模型卡与项目页,REKI 在 LIBERO-Plus 上得 90.4%,在 RoboTwin Clean2Rand 上得 65.8%,在 RoboCasa365 上得 38.4%,后者落后于 Xiaomi-Robotics-1 的 57.4%。上述数字均为 Kyutai 自行评测,尚未获第三方独立确认。

限制与来源

REKI 为每个基准单独微调,跨基准分数不宜直接横向比较;权重为非商业许可,官方未公布量化版本,部署需自行搭建。实际可用性、硬件要求与许可条款请以官网及模型卡当前信息为准。本文信息来自 MarkTechPost 报道,模型性能与对比数据尚未获官方独立确认。