AB
AiBoss
Wiki

什么是跨层转码器(Cross-Layer Transcoder)?一种跨层共享特征、按层解码的模型可解释性工具

跨层转码器(Cross-Layer Transcoder,CLT)是一种用于机制可解释性研究的稀疏代理模型:它用编码器—解码器结构,从前面若干层的稀疏特征重建某一层的激活,从而把模型内部计算表示为可归因的线性分解。本文介绍其动机、工作机制、两篇 arXiv 论文中的典型用法,以及适用边界与常见误解。

跨层转码器(Cross-Layer Transcoder,CLT)是一类用于机制可解释性(mechanistic interpretability)研究的稀疏代理模型:它把 Transformer 某一层的激活,表示为来自前面若干层的稀疏特征之和,并保留按层区分的解码过程。它要解决的问题是:以往基于字典学习与转码器的做法虽然能把模型计算拆成稀疏、可解释的特征及其相互作用,但由此得到的特征归因图(feature attribution graph)往往庞大而冗余,实际可读性有限;跨层转码器通过在各层之间共享特征、同时保留层特定的解码,试图得到更紧凑的表示。

为什么重要

理解大语言模型(Large Language Model,LLM)如何表示和处理信息,是机制可解释性的核心目标。按照 CLT-Forge 论文的叙述,近期基于字典学习和转码器的方法,能够用稀疏、可解释的特征及其相互作用来表示模型的计算,并由此构造特征归因图。问题在于,这类图通常规模很大且包含大量冗余,限制了它们在实践中的可解释性。

在视觉领域,arXiv:2604.13304 的论文给出了另一条对照线索:稀疏自编码器(Sparse Autoencoder,SAE)已被用于提取人类可解释的特征,但它们作用于单个层,既无法刻画 Transformer 的跨层计算结构,也无法反映各层在形成最后一层表示时的相对重要性。该论文因此提出把跨层转码器作为视觉 Transformer(Vision Transformer,ViT)中 MLP 模块的可靠、稀疏且具备深度感知能力的代理模型。

换言之,跨层转码器的价值主张有两点:一是把「逐层独立分析」换成「跨层联合分析」,二是把不透明的最终表示换成可加、可按层分解的构造。需要说明的是,这两点分别是上述两篇论文各自提出的主张,而非已被普遍确认的行业共识。

工作机制

根据 arXiv:2604.13304 的描述,跨层转码器采用编码器—解码器(encoder-decoder)方案:用来自前面各层的学习到的稀疏嵌入,重建每一个 MLP 之后的激活。由此得到的是一种线性分解,它把 ViT 的最终表示从一个不透明的嵌入,转变为可加的、按层解析的构造,从而支持忠实的归因与过程级可解释性。

结合两篇素材,可以把核心做法拆成以下几个要点:

  • 跨层共享特征:特征不在每一层各自独立定义,而是在层与层之间共享,这是压缩表示规模、减少冗余的来源。
  • 保留层特定解码:共享特征的同时,解码仍按层区分,因此不同层对最终表示的贡献可以被分别读出,而不会被合并成一个整体。
  • 以重建为目标:模型学习的是从前面层的稀疏嵌入重建目标层的激活,重建保真度是衡量代理模型是否可用的基本指标。
  • 产出可加分解:由于重建是线性的,最终表示可以写成若干层-wise 项之和,进而计算跨层贡献分数(cross-layer contribution scores)用于归因。

在工程层面,CLT-Forge 论文指出,跨层转码器虽然能给出更紧凑的表示,但在规模上仍然难以训练和分析。该论文提出的开源库把端到端训练与可解释性分析整合在一起,包含:带模型分片(model sharding)与压缩激活缓存的可扩展分布式训练;用于特征分析与解释的统一自动化可解释性流水线;使用 Circuit-Tracer 计算归因图;以及一个灵活的可视化界面。该论文称,这为规模化开展基于 CLT 的机制可解释性研究提供了实用且统一的方案。

典型例子

语言模型方向的工具库。CLT-Forge 是 arXiv:2603.21014 提出的开源库,作者包括 Florent Draye、Vedant Palit、Abir Harrasse、Tung-Yu Wu、Jiarui Liu、Punya Syon Pandey、Roderick Wu、Chih-Hao Hsu、Terry Jingchen Zhang、Zhijing Jin、Bernhard Schölkopf。该论文将其定位为面向跨层转码器与归因图的端到端训练与可解释性框架,并把分布式训练、自动化特征解释、基于 Circuit-Tracer 的归因图计算和可视化界面组合在同一套流程中。

视觉 Transformer 方向的实证。arXiv:2604.13304 的论文(作者为 Gerasimos Chatzoudis、Konstantinos D. Polyzos、Zhuowei Li、Difei Gu、Gemma E. Moran、Hao Wang、Dimitris N. Metaxas)在 CLIP ViT-B/32 与 ViT-B/16 上训练跨层转码器,数据集为 CIFAR-100、COCO 与 ImageNet-100。该论文报告:跨层转码器在 MLP 后激活上取得较高的重建保真度,并在某些情况下保持甚至提升了 CLIP 的零样本分类准确率;在可解释性方面,跨层贡献分数提供了忠实的归因,显示最终表示集中在少数主导性的层-wise 项上——移除这些项会使性能下降,而保留它们则大体能维持性能。以上均为该论文自身的实验结论。

边界与常见误解

它不是对原模型的替代。在视觉论文的设定中,跨层转码器是 MLP 模块的代理模型,用途是重建激活并支持归因分析;「在某些情况下保持甚至提升零样本准确率」是该论文在特定模型与数据集上的观察,不能被推广为跨层转码器普遍优于原模型。

它不等于稀疏自编码器。两者都追求稀疏、可解释的特征,但按 arXiv:2604.13304 的论述,SAE 作用于单个层,不刻画跨层计算结构,也不反映各层在最终表示形成中的相对重要性;跨层转码器的差异正在于跨层共享特征与按层解码。

它并不自动带来可读性。CLT-Forge 论文明确指出,归因图往往庞大且冗余;跨层转码器只是缓解这一问题的一种手段,而该论文同时强调 CLT 本身在规模上难以训练与分析,这正是其需要分布式训练、激活缓存与自动化解释流水线的原因。

已知代价与限制。训练需要模型分片与压缩激活缓存等工程支持;解释环节依赖自动化流水线,特征解释的质量受该流水线约束;重建保真度是前提条件,代理模型与真实激活之间的偏差会传导到归因结论上。此外,现有素材分别覆盖语言模型工具链与视觉 Transformer 实验,尚不足以支撑「跨层转码器在所有模态、所有架构上通用」这类判断。

参考资料