什么是因果追踪（Causal Tracing）？一种通过干预大模型内部表示来定位因果路径的方法

因果追踪（Causal Tracing）是一类面向大语言模型（Large Language Model, LLM）的可解释性方法：它系统地干预模型的内部表示，以揭示并量化特定输入或计算与特定关注指标之间的因果路径，从而刻画模型的行为。按照 ACL 2026 收录的论文《Multi-component Causal Tracing in Large Language Models》的表述，它要解决的问题是：模型内部哪些组件、以何种方式真正影响了我们关心的输出指标，而不只是与这些指标在统计上相关。

为什么重要

大语言模型的行为由大量内部组件共同决定，包括注意力头（attention head）与多层感知机神经元（multi-layer perceptron neuron）等。若只观察激活值、注意力权重或梯度等信号，得到的往往是相关性而非因果性：某个组件在某个输入上激活很强，并不等于移除或改变它就会改变输出。

在因果追踪出现之前，相关研究多集中在单组件或单层的层面上，即一次只考察一个注意力头、一个神经元或一个层的作用。该论文指出，其工作正是建立在以往这些单组件或单层研究之上。这类做法的局限在于：模型对某项能力的实现通常分散在多个组件上，单独看一个组件容易低估或错判其贡献，也难以回答「哪一组组件共同支撑了目标指标」这一问题。而同时考察多个组件又会带来组合爆炸——候选组件子集的数量随组件数呈指数增长，逐一枚举在计算上不可行。因果追踪及其多组件扩展，正是为在因果层面回答「谁在起作用」以及「如何高效地找出这一组组件」而提出的。

工作机制

根据该论文的摘要，因果追踪的核心做法是对模型的内部表示施加干预，并观察目标指标随之发生的变化，从而把「输入或计算」与「指标」之间的因果通路显性化。其多组件框架可拆为以下几个要点：

干预内部表示：不把模型当作黑箱，而是直接作用于其内部表示，通过改变这些表示来检验它们对输出的影响。这是「因果」而非「相关」的来源。
面向目标指标：追踪的目标不是泛泛的「输出」，而是指定的性能指标，论文举出的例子包括准确率（accuracy）与公平性（fairness）。框架支持对多种不同指标施加灵活的干预。
同时追踪多个组件：与以往一次只看一个组件或一层不同，该框架系统性地识别对目标指标最关键的一组组件子集，例如若干注意力头与多层感知机神经元的组合。
把组合搜索转化为连续问题：为应对多组件带来的组合复杂度，论文设计了一种高效算法，利用软干预（soft intervention）与经过设计的指标变换，把原本的组合搜索问题转换为在适当约束下可高效求解的连续问题，进而产生用于挑选组件的二元决策。

需要强调的是，上述框架与算法是该论文提出的主张，其有效性以论文报告的实验为依据，并不构成对整个领域的普遍结论。

典型例子

该论文给出的具体例子包括两类组件与两类指标：组件方面是注意力头与多层感知机神经元；指标方面是准确率与公平性。框架的任务就是在这些组件中找出对指定指标影响最大的子集。论文摘要称，实验结果表明所提方法能够高效地识别出对目标指标具有高影响的组件子集，并优于已有的基线方法。这些结果出自论文自身的实验设置，具体数值与实验条件应以原文为准。

该论文发表于 ACL 2026（第 64 届计算语言学协会年会长论文第一卷），页码为 3398–3418，作者为 Zirui Yan、Dennis Wei、Dmitriy A Katz、Prasanna Sattigeri 与 Ali Tajer。

边界与常见误解

首先，因果追踪不等于「解释模型说了什么」。它回答的是内部组件与某个预先指定的指标之间的因果关系；指标选得不同，追踪出的关键组件子集也可能不同。因此它不能被理解为对模型行为唯一、完整的解释。

其次，它容易被误解为一种通用的可视化工具。实际上它依赖对内部表示的干预实验，需要能够访问并修改模型内部状态；对于只能通过接口调用的模型，这类方法难以直接实施。

第三，多组件追踪的代价是真实的。组件子集的数量随组件数组合增长，论文正是为此引入软干预与指标变换，把离散搜索松弛为连续优化；这意味着结果依赖约束设定与优化过程，所得组件子集是该方法在给定条件下的选择，而非绝对唯一的「真实电路」。

最后，该论文的方法与结论均以其自身实验为范围。将其效果外推到其他模型、其他任务或其他指标，需要额外的验证，不能视为已被普遍证实的行业共识。

参考资料

Multi-component Causal Tracing in Large Language Models