AB
AiBoss
Wiki

什么是动作分块变换器(Action Chunking Transformer)?

动作分块变换器(Action Chunking Transformer,ACT)是一种用于模仿学习的轻量级策略模型,最早由论文《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》提出。它把连续动作按块预测,用变换器编码多视角图像与关节状态,从而在低成本硬件和少量示教数据下完成精细操作任务。

动作分块变换器(Action Chunking Transformer,ACT)是一种面向机器人模仿学习(imitation learning)的策略模型,其核心做法是让策略一次预测未来若干步动作组成的「动作块」,而不是逐步输出单个动作。它主要用来缓解精细操作任务中策略误差随时间累积、人类示教数据非平稳等问题,使低成本、精度有限的硬件也能完成接触密集的精细操作。

为什么重要

在 ACT 出现之前,机器人做精细操作(例如穿扎带、把电池卡入槽位)通常依赖高精度机器人、精密传感器或细致的标定,成本高、搭建麻烦。论文指出,这类任务需要精度、接触力的协调以及闭环视觉反馈,传统上属于「 notoriously difficult」的范畴。

直接做端到端模仿学习也有明显痛点:策略在每一步的小误差会随着时间复合放大;人类示教本身是非平稳的,同一任务不同示教者的动作节奏和风格不一致。论文正是针对这两个问题提出 ACT,目标是在低成本硬件和少量示教数据条件下实现精细的双臂操作。

工作机制

根据 Hugging Face 官方文档与原始论文,ACT 的机制可以拆成以下几个要点:

  • 动作分块(action chunking):策略输出的不是单个动作,而是一段长度为 k 的未来动作序列。一次预测多步,减少了逐步决策的次数,从而降低误差逐步累积的机会。
  • 生成式建模:论文将 ACT 描述为在动作序列上学习一个生成模型(generative model over action sequences),用变换器结构生成连贯的动作块。
  • 三部分架构:官方文档说明 ACT 由视觉骨干、变换器编码器和变换器解码器组成。视觉骨干使用 ResNet-18 处理来自多个相机视角的图像;编码器综合相机特征、关节位置和一个学习到的隐变量;解码器通过交叉注意力(cross-attention)生成动作序列。
  • 输入与输出:输入包括多路 RGB 图像(例如腕部相机、前视或顶视相机)、当前机器人关节位置,以及一个在训练中学到的隐风格变量 z;该变量在推理时被置为零。输出是一块 k 步的未来动作序列。

官方文档称,ACT 是一个轻量且高效的模仿学习策略,特别适合精细操作任务;它只有约 8000 万参数,在单张 GPU 上数小时即可完成训练,并且常常在仅 50 条示教数据下就能取得较高成功率。这些描述来自该文档,属于其对该模型的评价。

典型例子

原始论文给出了 ACT 在真实世界中的具体应用:作者用一套低成本系统和自定义遥操作接口采集真实示教,直接做端到端模仿学习,让 ACT 学会了 6 项困难任务,其中包括打开半透明调料杯、把电池卡入槽位等,成功率在 80%–90% 之间,而所用示教数据仅约 10 分钟。论文同时说明,这些结果是在其自建的低成本双臂硬件上取得的。

在工具链层面,ACT 被集成进 Hugging Face 的 LeRobot 项目。官方文档把它列为初学者上手 LeRobot 时首先推荐的模型,理由是训练快、算力需求低、性能较强。文档给出的训练方式是通过 lerobot-train 命令指定 --policy.type=act,并建议从默认超参数开始,单 GPU 上 10 万训练步大约需要数小时,批大小可从 8 起步再按显存调整;评估则使用 lerobot-rollout 在真实机器人上运行策略。文档还提到,本地没有强 GPU 时可以用 Google Colab 按 ACT 训练 notebook 进行训练。

边界与常见误解

首先,ACT 是一种模仿学习策略,不是强化学习方法,也不自带环境交互试错机制;它的能力上限受示教数据覆盖范围约束。论文强调的是在低成本、不精确硬件上完成精细任务,这并不等于它可以无条件替代高精度硬件或精密传感器。

其次,动作分块并不等于「一次预测就完事」。块长度 k 是一个需要选择的超参数,块越长单次预测覆盖的时间越久,但块内动作对环境变化的响应也更粗;块越短则逐步决策次数回升。素材没有给出 k 的具体取值建议,实际使用需结合任务调整。

第三,容易把「约 8000 万参数」「数小时训练」「50 条示教」等说法当成普遍规律。这些数字出自 Hugging Face 官方文档对 ACT 的介绍,以及论文在特定任务和硬件上的实验设置,换任务、换机器人、换相机配置后表现会不同,不能直接外推。

第四,隐风格变量 z 在训练时学习、推理时置零,这一设计来自官方文档的描述;它意味着模型在推理阶段并不依赖显式的风格输入,但这不表示模型对示教风格差异完全免疫。

最后,ACT 最初是为双臂精细操作设计的,论文标题即指向低成本硬件上的双臂精细操作;把它用于其他形态的机器人或非操作类任务,需要重新验证,素材中没有给出这类迁移的结论。

参考资料