什么是随机深度（Stochastic Depth）？一种训练时随机丢弃层、测试时保留完整深度的训练方法

随机深度（Stochastic Depth）是一种用于训练极深残差网络的训练方法：训练时对每个小批量（mini-batch）随机丢弃一部分层，并用恒等函数（identity function）把这些层旁路掉；测试时则使用完整深度的网络。它要解决的问题是：网络层数越多，表达能力越强，但训练时的梯度消失、前向信息流衰减和训练时间过长也随之而来。

为什么重要

在随机深度提出之前，卷积网络已经可以通过堆叠数百层来显著降低竞争性基准上的误差。论文指出，这种深度在测试时非常有价值，但训练极深网络本身有一组难题：梯度可能消失，前向信息流常常逐层衰减，训练时间也可能慢得难以接受。

残差网络（Residual Network）通过跳跃连接缓解了深层网络的优化困难，使训练更深的网络成为可能。随机深度是在这一基础上的进一步做法，论文将其定位为对残差网络近期成功的一种补充。它试图同时满足两个看似矛盾的需求：训练时用较浅的有效网络降低优化难度，测试时用完整的深层网络保留表达能力。

这一思路的意义在于，它把「深度」从训练阶段固定不变的结构属性，变成了可以在训练过程中随机变化的量。对需要训练上百层甚至上千层网络的场景，这提供了一种不改变测试期网络结构的正则化与加速手段。

工作机制

论文描述的随机深度流程可以拆成以下几个要点：

• 起点是极深网络。方法从层数很多的网络开始，而不是先训练一个浅网络再扩展。
• 按小批量随机丢弃层。在训练阶段，对每一个小批量，随机选择一部分层将其丢弃。
• 用恒等函数旁路。被丢弃的层不是简单删除，而是由恒等函数绕过，使信息直接穿过这些层。这一点依赖残差结构：残差块的跳跃连接天然提供了旁路通道。
• 测试时恢复完整深度。训练结束后，测试阶段使用全部层，不再随机丢弃。论文把这种设置概括为「训练短网络、测试深网络」。

从效果上看，训练时每个小批量对应的有效网络深度是随机的，因此不同小批量走的是不同的子网络；而测试时所有层都参与计算。论文称这种简单做法能大幅减少训练时间，并在其评测的几乎所有数据集上显著改善测试误差。

需要说明的是，上述机制描述来自论文本身。论文没有把随机深度表述为适用于所有网络结构的通用结论，其出发点和实验都围绕残差网络展开。

典型例子

论文给出了一个具体的规模与结果示例：使用随机深度，残差网络的深度可以增加到超过 1200 层，并且仍然能在测试误差上带来有意义的改善，在 CIFAR-10 上报告的测试误差为 4.91%。

论文还报告，该方法在其用于评测的几乎所有数据集上都改善了测试误差，并显著缩短了训练时间。这些数字是论文作者在其实验设置下得到的结果，属于该论文的报告，而非独立复现的行业基准。

论文的发表信息也可作为该概念的出处参照：题为《Deep Networks with Stochastic Depth》，作者为 Gao Huang、Yu Sun、Zhuang Liu、Daniel Sedra、Kilian Weinberger，2016 年 3 月 30 日提交第一版，2016 年 7 月 28 日更新至第三版，论文注明前两位作者贡献相同。

边界与常见误解

它不是一种新的网络结构。随机深度改变的是训练过程，测试时的网络与普通残差网络一样使用全部层。把它理解成「训练完就变浅了」是一种误解。

它依赖残差连接。被丢弃的层需要用恒等函数旁路，这要求网络中存在可用的跳跃通路。论文明确把该方法放在残差网络的语境中讨论，并未主张它可以直接套用到任意无跳跃连接的网络。

「随机丢弃层」不等于「随机丢弃神经元」。随机深度作用于层级别，按小批量决定整层是否被旁路；这与在单元级别随机置零的做法在作用对象上不同。

效果数据有适用范围。论文报告的 4.91% CIFAR-10 测试误差、超过 1200 层的深度、训练时间缩短等结论，均来自作者自己的实验配置。论文没有给出跨所有任务、所有架构的普适保证，引用这些数字时应注明来源。

已知代价。训练阶段每个小批量只经过一个随机子网络，意味着单次前向与反向计算量小于完整网络，但随机性也引入了训练过程与测试过程之间的不一致，需要在测试时使用完整网络来弥补。论文将这种训练与测试的不对称视为方法的设计核心，而非缺陷。

参考资料

• arXiv:1603.09382 Deep Networks with Stochastic Depth