什么是交叉编码器（Crosscoder）？一种用于模型差异分析的可解释性方法
交叉编码器（Crosscoder）是一种用于模型差异分析（model diffing）的可解释性方法，它在一个基座模型与一个微调模型（或两个不同架构的模型）上共同学习一本共享的、可解释的概念字典，把概念表示为两个模型内部的潜在方向，从而追踪概念在微调或架构差异中如何迁移、出现或消失。
交叉编码器（Crosscoder）是一种用于模型差异分析（model diffing）的可解释性方法：它在一对模型上共同训练一本共享的字典，把可解释的概念表示为两个模型内部的潜在方向（latent direction），从而追踪这些概念在微调或架构差异中如何迁移、出现或消失。它要解决的问题是：当模型经过微调或换成另一种架构后，研究者希望知道内部表征与算法究竟改变了什么，而交叉编码器提供了一种把两个模型的表征放进同一套概念坐标里对照的手段。
为什么重要
按照 arXiv:2504.02922 的表述，模型差异分析（model diffing）研究的是微调如何改变模型的表征与内部算法。许多值得关注的行为是在微调阶段被引入的，因此差异分析被视为解释这类行为的一条有前景的路径。在此之前，要判断某个概念是不是微调「新引入」的，通常只能分别观察两个模型，缺少一套共享的概念坐标来直接对照。
交叉编码器正是为填补这一空缺而提出的：它学习一本共享字典，其中的概念同时以潜在方向的形式存在于基座模型与微调模型中，于是可以追踪概念在微调过程中如何移动或涌现。该论文指出，此前的工作观察到过在基座模型中没有对应方向的概念，并据此假设这些「模型专属潜在向量」就是微调阶段引入的概念。这一假设正是交叉编码器价值与风险的集中体现：如果测量方法本身有偏差，就会把两个模型共有的概念误判为某一方独有。
arXiv:2602.11729 则从另一个角度说明其重要性：模型差异分析在发现新模型中的安全相关行为方面很有前景，但此前应用主要集中于「基座模型与其微调版本」的对比；而新发布的大模型往往采用全新架构，因此跨架构方法对于让差异分析广泛适用是必要的。该论文称，交叉编码器是能够进行跨架构模型差异分析的一种方案，但此前只被用于基座与微调的对比。
工作机制
综合两篇论文的描述，交叉编码器的核心做法可以拆成以下几点：
- 共享字典。交叉编码器学习一本共享的可解释概念字典，每个概念以潜在方向的形式表示，并同时对应到两个模型（例如基座模型与微调模型）的表征空间中。
- 概念对照。由于两个模型共用同一套潜在方向，研究者可以逐概念比较它在两个模型中的存在程度，判断某个概念是两者共有、在微调中发生偏移，还是只在其中一个模型中出现。
- 稀疏训练损失。arXiv:2504.02922 指出，交叉编码器使用 L1 训练损失，而这一损失会带来两个问题，可能把实际上在两个模型中都存在的概念误判为微调模型独有。该论文为此提出 Latent Scaling，通过更准确地度量每个潜在向量在各模型中的存在程度来标记这些问题。
- 改用 BatchTopK 损失。同一论文在上述观察的基础上，训练了一个使用 BatchTopK 损失的交叉编码器，并报告该做法显著缓解了上述问题，找到了更多真正属于对话微调且高度可解释的概念。论文作者建议实践者采用类似技术。
- 专用特征交叉编码器。arXiv:2602.11729 提出 Dedicated Feature Crosscoders（DFC），这是一种架构上的修改，目的是更好地隔离仅属于某一个模型的特征，从而服务于跨架构的差异分析。
需要说明的是，上述关于 L1 损失缺陷、Latent Scaling 与 BatchTopK 效果的判断，均出自 arXiv:2504.02922 这篇论文的实验与主张；关于 DFC 的设计动机与作用，出自 arXiv:2602.11729。它们不是被普遍验证的行业共识。
典型例子
arXiv:2504.02922 在 Gemma 2 2B 的基座模型与对话模型上进行了对比实验。该论文报告，标准交叉编码器严重受上述稀疏性问题影响；而使用 BatchTopK 交叉编码器后，作者成功识别出一组既具可解释性又具因果效力的对话专属潜在向量，它们代表诸如虚假信息（false information）与个人问题（personal question）等概念，另有多条与拒答相关的潜在向量，对不同拒答触发条件表现出细微偏好。
arXiv:2602.11729 称其首次将交叉编码器应用于跨架构模型差异分析，并以无监督方式发现了若干特征，包括：Qwen3-8B 与 Deepseek-R1-0528-Qwen3-8B 中的中国共产党对齐（Chinese Communist Party alignment）、Llama3.1-8B-Instruct 中的美国例外论（American exceptionalism），以及 GPT-OSS-20B 中的版权拒答机制。该论文将这些结果视为把跨架构交叉编码器差异分析确立为识别模型间有意义行为差异的有效方法的进展。
边界与常见误解
第一，交叉编码器不是「直接读出模型概念」的万能工具。arXiv:2504.02922 的核心发现恰恰是：在标准 L1 训练损失下，交叉编码器可能把两个模型共有的概念误标为某一方独有，因此基于它得出的「某概念是微调新引入的」结论需要谨慎对待，并应配合更准确的度量方式（如该论文提出的 Latent Scaling）加以核查。
第二，交叉编码器的应用范围在素材中仍处于扩展阶段。arXiv:2602.11729 明确指出，交叉编码器此前只被用于基座与微调的对比，该论文才首次将其用于跨架构差异分析；因此不宜把跨架构场景视为已被充分验证的成熟用法。
第三，容易把「潜在向量的存在」与「因果作用」混为一谈。arXiv:2504.02922 在描述其对话专属潜在向量时，特别区分了可解释性与因果效力两个维度，说明仅有可解释的潜在方向并不自动等于该概念对模型行为有因果影响。
第四，交叉编码器是模型差异分析这一更大研究方向下的一种方法，而非唯一方法；两篇论文均将其置于 model diffing 的框架内讨论，其结论也主要针对各自实验中的模型与设置。