什么是调优透镜（Tuned Lens）？一种逐层解读 Transformer 隐状态的方法

调优透镜（Tuned Lens）是一种用于分析 Transformer 语言模型内部计算过程的可解释性方法。它的核心做法是：在一个冻结的预训练模型中，为每一个 Transformer 块（block）训练一个仿射探针（affine probe），把该块输出的隐状态（hidden state）解码成词表上的概率分布，从而得到模型在每一层的「潜在预测」。它要解决的问题是：Transformer 的最终输出只反映最后一层的结果，中间各层究竟在算什么、预测是如何一层层被修正的，从外部看不出来；调优透镜提供了一种可训练、可比较的逐层读取手段。

为什么重要

在调优透镜出现之前，研究者常用的一种做法是「logit lens」：直接把中间层的隐状态送进模型最后的输出层（unembedding），看它会给出什么词。按论文的描述，这一技术确实产生过有用的洞见，但往往比较脆弱（brittle），读出的结果不稳定、也不够可靠。

这种脆弱性来自一个结构性错配：模型最后一层的输出层是针对最后一层的表示分布训练出来的，而中间层的隐状态处在不同的表示空间中，直接套用同一个输出层，得到的分布未必忠实反映该层实际「倾向」预测什么。对于想研究「模型在第几层决定了某个答案」「错误是从哪一层开始出现的」这类问题的研究者来说，缺少一个稳定、可比的逐层读数，就很难把分析推进下去。

调优透镜的意义在于把「逐层读取」从一种依赖巧合的技巧，变成一个有明确训练目标、可以量化评估其预测质量的方法。论文作者用它来分析 Transformer 的迭代推理（iterative inference）过程，即模型预测如何逐层被细化。

工作机制

按论文的描述，调优透镜的流程可以拆成以下几个要点：

冻结原模型。被分析的预训练模型参数保持不变，调优透镜不修改模型本身，只在其上附加探针。这一点使它区别于微调或蒸馏类方法：分析对象保持原样。
逐块训练仿射探针。为模型中的每一个块训练一个仿射变换（affine probe），作用是把该块的隐状态映射到一个可以被输出层解码的空间。所谓仿射，指形如「线性变换加偏置」的映射，参数量相对有限。
解码为词表分布。经过探针变换后的隐状态再送入模型的输出层，得到该层对应的、覆盖整个词表的概率分布。这样每一层都有一个「如果在这里就输出，模型会说什么」的答案。
沿层比较轨迹。把各层的分布按深度排列，就得到一条潜在预测的轨迹（trajectory of latent predictions），可以观察预测在哪些层发生明显变化、最终答案何时基本定型。

论文将调优透镜定位为对 logit lens 的改进（refinement）。作者在多种自回归语言模型上测试了该方法，模型规模最大到 20B 参数，报告称它比 logit lens 更具预测性、更可靠、偏差更小（more predictive, reliable and unbiased）。这些结论是论文作者基于其实验给出的，属于该论文的主张，而非独立复现后的行业定论。

论文还通过因果实验（causal experiments）检验探针读出的内容是否与模型自身使用的特征一致，报告称调优透镜使用的特征与模型本身相似。此外，作者发现潜在预测的轨迹可用于检测恶意输入，并报告了较高的准确率。

典型例子

论文中出现的具体用法与对象包括：

逐层预测分析。以迭代推理为视角，用每一块的探针输出刻画模型预测如何随深度被细化，这是论文的主线实验。
与 logit lens 的对比。在同一批模型上比较两种逐层读取方式的预测质量、可靠性与偏差，作为方法有效性的主要证据。
因果实验。用于检验调优透镜读出的特征是否与模型实际依赖的特征相符。
恶意输入检测。利用潜在预测轨迹作为信号来识别恶意输入，论文报告了高准确率。
测试模型范围。多种自回归语言模型，参数量最大到 20B。

论文同时说明，复现其结果所需的全部代码已随论文公开。

边界与常见误解

首先需要区分「读取」与「解释」。调优透镜给出的是每一层隐状态经探针解码后的词表分布，它说明该层表示在输出空间上「看起来像」要预测什么，并不等于证明模型内部就是以这种方式、依据这些特征做出决策。论文用因果实验来补强这一点，恰恰说明单纯的解码结果本身不足以支撑因果结论。

其次，探针是训练出来的。每个块一个仿射探针意味着额外的训练成本与一组需要拟合的参数；探针的质量取决于训练数据与目标，读数的可信度也随之受限。它不是一个无需训练、即插即用的观察窗口。

第三，容易被误解为「层数越深预测越准」的简单单调故事。调优透镜的价值在于呈现轨迹，而轨迹在不同模型、不同输入上未必单调平滑；把它当成一条必然收敛的曲线会过度简化。

第四，论文报告的优越性——更具预测性、更可靠、偏差更小，以及恶意输入检测的高准确率——都是作者在论文所测试的模型与设置下得到的结果，涉及的具体数字应回到原文核对，不宜外推为对所有模型、所有任务的普遍保证。

最后，调优透镜针对的是 Transformer 类架构中按块组织的隐状态；它依赖「存在可逐块读取的隐状态序列」这一前提，对于不满足该结构或不暴露中间表示的模型，方法无法直接套用。

参考资料

Eliciting Latent Predictions from Transformers with the Tuned Lens（arXiv:2303.08112）