什么是视觉-语言-动作模型（Vision-Language-Action Model）？

视觉-语言-动作模型（Vision-Language-Action Model，简称 VLA）是一类把机器人动作编码为文本词元（token）、并与视觉语言任务一起训练的端到端机器人控制模型。按 arXiv 论文《RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control》的表述，它要解决的问题是：让单个端到端训练的模型既能学会把机器人观测映射为动作，又能利用来自网络的、大规模语言与视觉语言预训练数据带来的收益，从而提升泛化能力并产生涌现的语义推理能力。

为什么重要

在 VLA 这一提法出现之前，机器人策略学习与视觉语言模型基本是两条相对独立的路线。机器人策略通常依赖机器人轨迹数据训练，数据规模与语义覆盖面有限；视觉语言模型则在互联网规模的图文数据上预训练，具备较强的语义理解能力，但输出的是自然语言，并不直接产生机器人动作。

该论文指出，其目标是让一个端到端模型同时完成两件事：学习从机器人观测到动作的映射，以及享受网络语言与视觉语言数据大规模预训练的好处。论文认为，与其它做法相比，它提出的是一条简单、通用的配方，使模型能够同时容纳自然语言回答与机器人动作。这一思路的意义在于：机器人训练数据中未出现过的指令、物体与语义组合，有可能借助预训练知识被模型理解并执行。

工作机制

按该论文的描述，VLA 的核心做法可以拆成以下几个要点：

共同微调（co-fine-tune）：在机器人轨迹数据与互联网规模的视觉语言任务（例如视觉问答，visual question answering）上，同时对最先进的视觉语言模型进行微调。
动作即文本词元：为了让自然语言回答和机器人动作适配同一种格式，把动作表达为文本词元，并以与自然语言词元相同的方式直接并入模型的训练集。
端到端控制：模型直接接收机器人观测，输出动作，而不是由独立的感知、规划、控制模块串联完成。
可叠加思维链推理：论文进一步展示，引入思维链（chain of thought）推理后，模型可以执行多阶段的语义推理。

论文把具备上述特征的这一类模型称为视觉-语言-动作模型（VLA），并给出了一个具体实例，命名为 RT-2。

典型例子

该论文给出的实例是 RT-2。论文报告了大规模评估（6k 次评估试验），称其方法得到了表现良好的机器人策略，并使 RT-2 从互联网规模训练中获得一系列涌现能力，包括：

对新颖物体的泛化显著改善；
能够解释机器人训练数据中不存在的指令，例如把某个物体放到指定的数字或图标上；
能够针对用户指令执行初步推理，例如拿起最小或最大的物体，或拿起离另一个物体最近的物体。

论文还展示了思维链推理带来的多阶段语义推理能力，例如判断可以临时充当锤子使用的物体（一块石头），或判断对疲惫的人更合适的饮料类型（能量饮料）。这些结果均出自该论文的评估，属于论文作者报告的内容。

边界与常见误解

首先需要明确，VLA 是论文提出的一类模型类别名称，而非已被广泛验证的行业共识。上述泛化改善、涌现能力与推理表现，都是该论文在其评估设置下报告的结果，不能直接外推为任意机器人系统上的普遍结论。

其次，VLA 不等于「把大模型接到机器人上」这么简单。按论文的配方，关键在于把动作表达为文本词元并与视觉语言任务共同微调，使同一个模型同时承担语言输出与动作输出；缺少这一格式统一与联合训练，就不属于论文所定义的这一类模型。

第三，动作被表达为文本词元意味着动作空间需要能够被离散化并纳入词表，这本身是一种建模取舍；论文并未声称该做法适用于所有机器人形态与所有任务。

第四，涌现的语义推理能力依赖互联网规模的视觉语言预训练数据，其覆盖范围与偏差会随之带入机器人策略，论文没有给出这方面的系统性边界分析。

参考资料

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control