什么是信赖域策略优化(Trust Region Policy Optimization)?
信赖域策略优化(TRPO)是 John Schulman 等人在 2015 年提出的一种策略梯度类强化学习算法,其论文给出了具有单调改进保证的迭代策略优化过程,并通过若干近似得到可实际运行的算法。TRPO 与自然策略梯度方法相近,适用于优化神经网络等大型非线性策略。
信赖域策略优化(Trust Region Policy Optimization,TRPO)是一种用于强化学习中策略优化的迭代算法。按该论文的表述,它描述的是一个具有单调改进(monotonic improvement)保证的策略优化迭代过程;作者通过对这一理论过程做若干近似,得到了可实际运行的算法,即 TRPO。它要解决的问题是:在策略梯度类方法中,如何让每一步策略更新既足够大以推进学习,又不至于大到把策略推入性能崩溃的区域。
为什么重要
在 TRPO 出现之前,策略梯度方法通常直接沿梯度方向更新策略参数,更新步长由学习率等超参数控制。这种做法的问题在于:策略参数的一小步变化,可能引起策略行为分布的大幅改变,进而导致采样分布与旧策略严重偏离,训练出现剧烈波动甚至不可逆的性能下降。步长过小则学习缓慢,步长过大则可能崩坏,调参负担落在使用者身上。
该论文提出的思路是把「策略改变幅度」本身作为约束显式地写进优化问题,而不是仅靠学习率间接控制。论文称,其迭代过程具有单调改进的保证,即理论上每一步更新都不会使目标性能变差。这一性质对深度强化学习尤其有意义,因为策略往往由神经网络这类大型非线性函数表示,参数空间维度高、行为对参数敏感。
工作机制
按论文的描述,TRPO 的核心做法可以拆成以下几个要点:
- 以替代目标衡量更新收益。 不直接在真实性能上做优化,而是构造一个可用旧策略采样数据估计的替代目标(surrogate objective),用它近似衡量新策略相对旧策略的性能变化。这样每一步更新都可以在已有样本上计算,无需为新策略重新采样。
- 用信赖域约束更新幅度。 在最大化替代目标的同时,限制新旧策略之间的差异不超过一个阈值,即把每次更新限制在一个「信赖域」内。约束的对象是策略分布之间的距离,而不是参数空间的欧氏距离,因此同样的参数变化在不同参数化下不会被误判。
- 与自然策略梯度相近。 论文明确指出,该算法与自然策略梯度方法(natural policy gradient methods)相似。二者都在更新方向中引入了与策略分布几何相关的度量,使得更新在分布意义上更为均衡。
- 从理论过程到实用算法。 论文先给出具有单调改进保证的理论过程,再通过若干近似把它变成可计算的算法。作者也说明,这些近似偏离了理论,但在实践中 TRPO 往往仍表现出单调改进,且只需很少的超参数调节。
- 适用于大型非线性策略。 论文称该算法对优化神经网络等大型非线性策略是有效的,这也是它被用于高维输入任务的前提。
需要强调的是,上述「单调改进」「鲁棒性能」「少量调参」等表述均出自该论文自身的论述与实验观察,属于作者的结论,而非独立第三方给出的普遍定论。
典型例子
论文给出的实验覆盖了多个任务,可作为该方法的真实用例:
- 仿真机器人运动控制。 论文报告了在仿真环境中学习机器人游泳、跳跃和行走步态(swimming, hopping, and walking gaits)的结果。
- Atari 游戏。 论文报告了以屏幕图像作为输入玩 Atari 游戏的结果,这一设置要求策略直接从高维像素观测中学习。
论文摘要称,在这些差异较大的任务上,TRPO 表现出稳健的性能(robust performance)。这些任务共同的特点是策略规模较大、输入维度较高,正好对应论文所强调的「大型非线性策略」场景。
从文献信息看,该工作由 John Schulman、Sergey Levine、Philipp Moritz、Michael I. Jordan、Pieter Abbeel 共同完成,共 16 页,发表于 ICML 2015。论文于 2015 年 2 月 19 日首次提交至 arXiv,最新版本 v5 修订于 2017 年 4 月 20 日。
边界与常见误解
第一,「有保证」不等于「实现中必然成立」。 论文的单调改进保证针对的是理论上经过论证的迭代过程;实际算法对理论过程做了若干近似,作者本人也承认这些近似偏离了理论。因此把 TRPO 理解为「每一步都严格不会变差」的算法是一种误读,论文的表述是它「往往」给出单调改进。
第二,它不是对任意场景都成立的通用结论。 论文的实验集中在仿真机器人控制与 Atari 游戏两类任务上,这些结果不能直接外推到所有强化学习问题,例如奖励极其稀疏、或策略分布难以用采样估计差异的场合。
第三,它与自然策略梯度不是同一件事。 论文的措辞是「相似于」自然策略梯度方法,二者在思想上有亲缘关系,但 TRPO 的着力点在于把更新幅度约束成显式的信赖域,并配套给出可运行的近似流程。把两者等同会掩盖这一区别。
第四,存在已知代价。 由于每次更新都要在替代目标与信赖域约束之间求解,并需要估计新旧策略之间的差异,TRPO 的单步计算比朴素的策略梯度更新更重;同时信赖域阈值本身仍是一个需要设定的量。论文强调的「少量超参数调节」是相对于其性能表现而言的,并不意味着没有超参数。
第五,不要把论文的主张写成行业共识。 关于鲁棒性、单调改进倾向和调参负担的说法,来源是该论文的摘要与实验部分,属于作者陈述;引用时应指明出处,而不应表述为已被广泛验证的定论。