什么是对数几率透镜（Logit Lens）？一种免训练读取语言模型中间层预测的方法

对数几率透镜（Logit Lens）是一种用于分析大型语言模型（Large Language Model, LLM）内部表示的可解释性技术：它把模型中间某一层的隐藏状态（hidden state）直接送入模型末端的输出投影（unembedding / 语言模型头），得到该层在词表上的概率分布，从而读出模型在这一层「倾向于输出什么词」。它要解决的问题是：模型内部有几十层连续变换，外部只能看到最后一层的输出，中间各层究竟在算什么、在哪一层形成了最终答案，原本缺乏一个低成本的观察窗口。

需要说明的是，本词条所依据的素材是一篇讨论该方法局限性的会议论文，而非该方法本身的原始提出文献。因此下文关于「对数几率透镜是什么」的描述属于该领域通用的机制性说明，而涉及效果评价、适用范围的判断，均明确归属于该论文的作者主张。

为什么重要

在可解释性研究中，理解模型内部状态通常有两条路。一条是训练探针（probe）：在某一层上另训一个小分类器去预测某种属性，代价是需要标注数据和额外训练。另一条是依赖外部模型：用另一个模型去评判、检测或改写原模型的输出，代价是引入额外推理开销与新的不确定性。这两条路都把「读懂模型」变成了一件需要额外资源的事。

对数几率透镜的价值在于它免训练。它不引入任何新参数，只复用模型已有的输出投影矩阵，把中间层表示「翻译」成词表上的分布。这让研究者可以近乎零成本地逐层扫描：某一层的分布是否已经收敛到最终答案、答案是在哪一层突然成形的、中间层是否短暂地偏向过另一个候选词。对于需要快速定位模型行为的工程场景，这种低成本特性是它被广泛采用的主要原因。

在幻觉检测这一具体方向上，该论文把对数几率透镜称为当前最先进的免训练技术（state-of-the-art training-free technique），并以此作为基线来评估自己的改进方法。这一表述出自论文作者，反映的是该文写作时的方法格局，而非整个领域的定论。

工作机制

对数几率透镜的核心做法可以拆成以下几个要点：

取中间层表示。让输入文本通过模型的前若干层，在第 l 层停下，取出该层输出的隐藏状态向量。这个向量与最后一层的隐藏状态处于同一个表示空间（在采用残差连接的 Transformer 架构中，各层隐藏状态共享维度并逐层累加）。
复用输出投影。把第 l 层的隐藏状态直接乘上模型末端用于生成词概率的投影矩阵，得到词表大小的打分向量，再经 softmax 归一化为概率分布。整个过程不新增任何参数。
逐层解读。对多个不同的 l 重复上述步骤，得到每一层的「临时预测」。观察这些预测如何随层数变化：何时出现正确答案、何时出现错误候选、最终层与中间层的分歧在哪里。
用于检测与定位。在幻觉检测任务中，可以把中间层分布与最终输出做比较，或观察某些层是否对某个实体给出异常高的置信度，以此作为判断依据。

这一机制成立的前提是「中间层表示与最终层表示可比」。当模型架构偏离这一前提（例如层间存在强烈的归一化或结构改造），直接套用输出投影得到的分布可能缺乏意义，这是该方法在架构层面的隐含约束。

典型例子

素材中给出的具体案例来自一篇发表于 NAACL 2025 长文论文集的论文《Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs》，作者为 Anirudh Phukan、Divyansh、Harshit Kumar Morj、Vaishnavi、Apoorv Saxena 与 Koustava Goswami。该文的研究对象是大型多模态模型（Large Multimodal Model, LMM），即把语言模型的语言能力与特定模态的编码器结合起来、以扩展多模态理解能力的模型。

该论文的出发点是：LMM 受幻觉困扰，而传统检测与缓解方法往往依赖昂贵的训练或重度依赖外部模型；利用模型内部特征是一条有前景的替代路线。作者在文中批判性地评估了对数几率透镜在处理泛化的视觉幻觉时的局限，并提出名为 ContextualLens 的改进方法：不再直接使用中间层表示去做输出投影，而是利用 LMM 中间层的上下文词元嵌入（contextual token embeddings）。

据该论文摘要，ContextualLens 在动作、光学字符识别（OCR）等多种类别上改善了幻觉检测与定位（grounding），在需要上下文理解的任务（如空间关系、属性比较）上表现突出；其定位技术能给出高精度的边界框，从而使任务从零样本目标分割过渡到有定位的视觉问答。以上均为该论文作者的陈述，本词条未对其结果进行复现或独立验证。

这个例子也说明了对数几率透镜在实践中的典型角色：它常被当作一个简单、免训练的基线，新方法通过指出它在特定场景下的不足来确立自身的改进空间。

边界与常见误解

第一，它不是「模型真实想法」的直读器。对数几率透镜读出的是「若在此处截断并直接输出，会得到什么分布」，这是一种假设性的解读，而非模型在该层实际执行的唯一计算。中间层表示本来还要经过后续层的加工，把它提前投影到词表空间，等于跳过了一部分计算。

第二，它的有效性依赖架构假设。该方法默认中间层与最终层共享可比的表示空间。对于结构差异较大的模型，尤其是多模态模型中语言部分与视觉部分交互之后的状态，这一假设未必成立。前述论文正是从这一点切入，指出该方法在处理泛化的视觉幻觉时存在局限，并主张改用中间层的上下文词元嵌入。

第三，「免训练」不等于「无代价」。它省去了训练探针的成本，但需要对模型做逐层前向与多次投影，且解读结果仍依赖人工判断或额外的规则设计。它提供的是观察手段，不是自动化的判定结论。

第四，不要把某一篇论文的评价当成领域共识。该论文称对数几率透镜为最先进的免训练技术，这是作者在特定任务（多模态幻觉检测）与特定时间点上的判断；同一篇论文同时论证了它的局限。读者在引用时应区分「该方法是什么」与「某篇论文如何评价它」。

参考资料

Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs（ACL Anthology）