什么是概念激活向量（Concept Activation Vectors）？——用人类概念解读神经网络内部状态的可解释性工具

概念激活向量（Concept Activation Vectors，CAV）是一种用于解释神经网络内部状态的可解释性工具：它把模型某一隐藏层的激活值视为高维空间中的点，用一组属于某个「概念」的输入与一组不属于该概念的输入，在该空间中拟合出一个方向向量，用这个方向来代表人类可理解的概念。它要解决的问题是：深度模型规模大、结构复杂、内部状态往往不透明，而许多系统（例如图像分类器）实际依赖的是低层特征而非高层概念，仅靠特征归因难以回答「模型是否用到了某个概念」这类问题。

CAV 由 Been Kim、Martin Wattenberg、Justin Gilmer、Carrie Cai、James Wexler、Fernanda Viegas、Rory Sayres 在论文《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》中提出，该论文发表于 ICML 2018。论文同时给出了以 CAV 为基础的技术 TCAV（Testing with CAVs），用方向导数来量化用户定义的概念对某个分类结果的重要程度。

为什么重要

在 CAV 出现之前，解释深度模型的主流做法是特征归因（feature attribution）：把一次预测的贡献分摊到输入维度上，例如像素、词元或表格字段。这类方法能回答「哪些输入位置影响了这次预测」，但存在两个结构性局限。

第一，归因结果停留在低层特征层面。图像分类器看到的往往是边缘、纹理、颜色块，而人关心的是「条纹」「斑点」这类高层概念。归因图能指出某些像素重要，却不能直接说明模型是否使用了「条纹」这一概念，也不能说明这个概念对某一类别的预测有多关键。

第二，归因通常是针对单次预测的局部解释，难以回答关于模型整体行为的假设性问题。研究者想验证的往往是「模型判断斑马时是否依赖条纹」这样的假设，而不是某一张图的解释。

CAV 的思路是把模型的内部状态当作资源而不是障碍：既然隐藏层激活已经是高维表示，就可以在这个表示空间里直接定义概念方向，再用它做定量检验。论文以图像分类为试验场，说明 CAV 可用于探索假设、为标准的图像分类网络以及一个医学应用生成洞察。

工作机制

按照原始论文的描述，CAV 的构造与使用可以拆成以下几个步骤。

1. 选定层与概念。先确定要考察的隐藏层，并由使用者给出一个概念，例如「条纹」。概念需要以样本集合的形式落地：一批包含该概念的输入，以及一批不包含该概念的输入。
2. 收集激活。把这两组输入分别送入模型，取出指定隐藏层的激活值。每个输入在该层对应高维空间中的一个点。
3. 训练线性分类器。在这两组激活点上训练一个线性分类器，区分「属于概念」与「不属于概念」。该分类器的决策边界法向量即为概念激活向量，它给出表示空间中与概念对应的一个方向。
4. 用方向导数量化重要性。这是 TCAV 的部分：对目标类别的预测，计算模型输出沿 CAV 方向的方向导数，衡量预测对该方向的敏感程度。把多个样本上的结果汇总，就得到概念对某一类别的重要程度分数。论文给出的直观例子是：预测「斑马」时，结果对「条纹」这一概念的存在有多敏感。
5. 解读与假设检验。使用者据此比较不同概念、不同层、不同类别下的分数，形成对模型行为的假设并加以验证。

后续研究对这套流程给出了更理论化的刻画。论文《Concept activation vectors: a unifying view and adversarial attacks》采用概率视角：既然 CAV 由概念类与非概念样本的隐藏层激活计算而来，那么（非）概念输入的分布就诱导出 CAV 的一个分布，使 CAV 成为表示空间中的随机向量。该论文据此推导了不同类型 CAV 的均值与协方差，给出一个统一的理论视角。

典型例子

原始论文在图像分类领域给出了两类应用场景。

• 标准图像分类网络上的概念检验。论文以「斑马」与「条纹」为例说明 TCAV 的用法：量化「斑马」这一预测对「条纹」概念的敏感程度，从而检验模型是否按人类预期的概念进行判断。
• 医学应用。论文摘要提到，CAV 被用于为一个医学应用生成洞察，作为图像分类之外的第二个试验场景。

在理论层面，《Concept activation vectors: a unifying view and adversarial attacks》把 CAV 视为可解释人工智能中的一种工具，认为它为理解人类可理解的概念如何被编码在模型潜在空间中提供了一条有前景的路径；该论文同时指出，CAV 强烈依赖相对随意的非概念分布，并用一个简单而有效的对抗攻击来说明这一点。

边界与常见误解

CAV 不是特征归因的替代品，而是另一类问题的答案。特征归因回答「哪些输入维度影响了这次预测」，CAV 与 TCAV 回答「某个用户定义的概念方向对某类预测有多重要」。两者关注的对象不同，不能互相替代。

概念由使用者定义，结论依赖这一定义。CAV 的方向来自使用者提供的概念样本集合。概念选得宽或窄、样本是否有代表性，都会改变得到的向量。因此 TCAV 的分数应理解为在给定概念定义下的量化结果，而不是模型「真正理解」了该概念的证明。

对非概念分布的敏感性是一项已知代价。上述统一视角论文明确指出，CAV 可能强烈依赖相对随意的非概念分布，而这一因素在此前工作中很大程度上被忽视；该论文用一个简单而有效的对抗攻击展示了这一脆弱性，并强调需要更系统的研究。这意味着在解读 CAV 结果时，非概念样本的选取方式本身就是一个需要交代和检验的设计选择。

线性假设是一种建模选择。CAV 通过在激活空间中训练线性分类器来获得方向，这相当于假定概念在该层表示中可由一个线性方向刻画。这一假定是否成立，取决于层、概念与模型，不能默认对所有概念都成立。

它解释的是内部表示，不是因果机制。CAV 给出的是表示空间中的方向与敏感度，属于对模型内部状态的一种解读方式；把它直接读作模型决策的因果解释，超出了该方法本身能支持的范围。

参考资料

• Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)
• Concept activation vectors: a unifying view and adversarial attacks