什么是扩散策略（Diffusion Policy）？一种把机器人视觉运动策略建模为条件去噪扩散过程的模仿学习方法

扩散策略（Diffusion Policy）是一种把机器人的视觉运动策略（visuomotor policy）表示为条件去噪扩散过程（conditional denoising diffusion process）的方法：策略不再直接由观测回归出一个动作，而是从随机噪声出发，经过若干步去噪，逐步生成一段动作序列。它要解决的问题是机器人模仿学习中的动作生成问题——尤其是当同一观测下存在多种合理动作时，如何让策略表达这种多峰分布，而不是把它们平均成一个不可行的中间动作。

为什么重要

在扩散策略出现之前，机器人策略学习的主流做法是把观测直接映射为动作：或用回归网络输出一个确定性动作，或用高斯混合模型、离散化分类等方式表达动作分布。论文指出，这类做法在真实操作任务中会遇到几类困难：人类演示数据往往包含多模态行为（同一场景下可以向左绕也可以向右绕），回归式目标容易把多个模态平均掉；动作空间维度较高时，显式建模分布变得昂贵；训练过程也容易出现不稳定。

论文的出发点是借用生成建模中扩散模型的表达能力。作者在摘要中把扩散策略描述为「生成机器人行为的一种新方式」，并称扩散形式为机器人策略带来若干优势：能够较自然地处理多模态动作分布、适合高维动作空间、并表现出较好的训练稳定性。需要说明的是，这些优势表述来自该论文自身的分析与实验，而非已被普遍验证的行业结论。

工作机制

按论文的描述，扩散策略的核心可以拆成以下几个要点：

把策略写成条件去噪扩散过程。策略的输入是观测（例如视觉信息与机器人本体状态），输出不是单个动作，而是一段动作序列。生成过程从噪声开始，在观测条件下反复去噪，最终得到动作。
学习动作分布得分函数的梯度。论文称该方法学习动作分布得分函数（score function）的梯度，并在推理阶段通过一系列随机朗之万动力学（Langevin dynamics）步骤，沿着这个梯度场迭代优化动作样本。
滚动时域控制（receding horizon control）。论文把滚动时域控制列为关键技术贡献之一：每次预测一段未来动作，但只执行其中一部分，然后重新观测、重新预测。这一做法让策略能在执行过程中持续纠正偏差。
视觉条件化（visual conditioning）。论文同样把视觉条件化列为关键贡献，即让去噪过程以视觉观测为条件，使生成的动作为当前场景服务。
时间序列扩散 Transformer（time-series diffusion transformer）。论文提出的第三项关键技术贡献，是用 Transformer 结构处理动作序列的时间维度，作为扩散模型在策略学习中的骨干设计。

从通用机制角度看，扩散模型本身是一类生成模型：训练时向数据逐步加噪，学习还原；推理时从噪声逐步去噪，得到样本。扩散策略把这套机制的作用对象从图像换成了动作序列，并把观测作为条件注入。以上是对扩散模型通用原理的概括，论文的具体实现细节以其正文与公开代码为准。

典型例子

论文给出的评测设置是：在来自 4 个不同机器人操作基准（robot manipulation benchmarks）的 12 项任务上对扩散策略进行基准测试。作者报告的结果是，它在这 12 项任务上一致优于当时已有的先进机器人学习方法，平均提升 46.9%。这一数字是论文作者在其评测设置下报告的结果，任务集合、基线选择与度量方式均由论文定义。

论文还说明，代码、数据与训练细节已公开，并称该工作是原始 RSS2023 论文的扩展期刊版本。对希望复现或对比的研究者而言，这些公开材料是主要入口。

边界与常见误解

它不是「一次前向就出动作」的策略。由于推理需要在观测条件下执行多步去噪，单次决策的计算开销高于直接回归的网络。论文强调的是表达能力与稳定性方面的收益，但这一收益伴随推理成本，实际部署时需要权衡去噪步数与控制频率。

「平均提升 46.9%」有明确适用范围。该数字来自论文选定的 4 个基准、12 项任务与相应基线，不能外推为在所有机器人任务、所有硬件平台上的通用增益，也不应被理解为已获独立第三方广泛复现的结论。

它不等于「扩散模型即机器人基础模型」。扩散策略讨论的是一种策略表示与学习方式，论文的贡献集中在策略生成形式与若干配套设计上，并不主张扩散模型可以脱离具体任务数据直接泛化到任意场景。

训练稳定性等优势是论文的主张。「较好处理多模态动作分布」「适合高维动作空间」「训练稳定性较好」均为该论文在摘要中提出的判断，属于作者基于其分析给出的说法；读者在引用时应标明出处，而非当作领域共识。

它属于模仿学习范畴。论文讨论的是从演示数据学习视觉运动策略，不涉及强化学习中的奖励设计与探索问题；把它与强化学习策略优化混为一谈是常见误解。

参考资料

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion（arXiv:2303.04137）