什么是多头潜在注意力（Multi-head Latent Attention）？
多头潜在注意力（MLA）是 DeepSeek-AI 在 DeepSeek-V2 中提出的一种注意力结构，核心做法是把 Key-Value 缓存压缩成潜在向量，从而降低长上下文推理时的显存占用与解码开销。该论文报告称，相比 DeepSeek 67B，DeepSeek-V2 将 KV 缓存减少 93.3%，并把最大生成吞吐量提升到 5.76 倍。
多头潜在注意力（Multi-head Latent Attention，MLA）是一种用于 Transformer 类大语言模型的注意力结构，其核心做法是把推理时需要缓存的 Key 与 Value 压缩成一个潜在向量（latent vector），而不是按每个注意力头分别保存完整的键值张量。它要解决的问题是：在自回归生成中，键值缓存（KV cache）随上下文长度和并发请求数线性增长，成为长上下文推理的主要显存与带宽瓶颈。
为什么重要
自回归语言模型在逐 token 生成时，需要把此前所有位置的 Key 和 Value 保留下来，供后续每一步注意力计算复用，这部分存储通常称为键值缓存。标准多头注意力（Multi-Head Attention，MHA）为每个注意力头、每一层都保存独立的键值张量，因此缓存规模与层数、头数、头维度、序列长度和批大小成正比。当上下文扩展到数万乃至十几万 token，或需要同时服务大量请求时，缓存会迅速吃掉显存，并带来频繁的显存读写，限制解码吞吐。
常见的缓解思路包括减少键值头数（如分组查询注意力）、共享键值、量化缓存或裁剪上下文，但这些方法往往在表达能力、实现复杂度或效果之间做取舍。多头潜在注意力试图从表示层面压缩缓存：不再直接缓存高维的逐头键值，而是缓存一个维度更低的潜在向量，在计算时再投影回所需的键与值。根据 DeepSeek-AI 在论文中的表述，MLA 通过把键值缓存显著压缩为潜在向量来保证高效推理，这是其宣称的推理效率来源。
工作机制
按照该论文的描述，MLA 的关键在于「压缩—缓存—还原」这一条链路，可以分要点理解：
- 低秩压缩：对输入做下投影，得到一个维度远小于原始逐头键值的潜在表示，作为缓存对象。这样每层每个位置只需保存这个潜在向量，而不是完整的 K 与 V。
- 缓存潜在向量：解码阶段复用历史信息时，读取的是压缩后的潜在向量，缓存体积因此显著下降，显存带宽压力也随之减小。
- 上投影还原：在注意力计算前，通过上投影把潜在向量映射回键与值所需的空间，再与查询做注意力运算。压缩与还原由可学习参数完成，随模型一起训练。
- 与位置编码的配合：由于键被压缩后再还原，位置信息的注入方式需要相应设计，论文中对此有专门处理，以保证注意力仍能区分不同位置。
需要强调的是，上述机制描述来自该论文对 DeepSeek-V2 架构的说明，属于该模型的实现方案，并不自动等同于其他模型的通用做法。MLA 通常与稀疏专家结构（Mixture-of-Experts，MoE）等设计组合使用，但两者是相互独立的架构选择。
典型例子
素材中给出的直接例子是 DeepSeek-V2 本身。该论文称，DeepSeek-V2 是一个采用混合专家结构的语言模型，总参数 236B，每个 token 激活 21B 参数，支持 128K token 的上下文长度，其创新架构包括多头潜在注意力和 DeepSeekMoE。论文给出的对比数据是：与 DeepSeek 67B 相比，DeepSeek-V2 在取得明显更强性能的同时，节省 42.5% 的训练成本，将键值缓存减少 93.3%，并把最大生成吞吐量提升到 5.76 倍。该模型在由 8.1T token 构成的多来源语料上预训练，并经过监督微调与强化学习。论文还称，即使只有 21B 激活参数，DeepSeek-V2 及其对话版本在开源模型中仍达到顶级水平。
这些数字均出自该论文的摘要，是作者对自家模型的报告结果，测试条件、基线配置与评测集合需以原文为准，不应外推为其他模型或其它硬件环境下的普遍表现。
边界与常见误解
第一，MLA 不是「免费」的压缩。它把缓存从逐头键值换成潜在向量，但引入了额外的下投影与上投影计算，且压缩维度是需要调优的超参数；压缩越激进，潜在表示承载的信息越受限，是否影响长程依赖建模需要实验验证。论文报告的是 DeepSeek-V2 这一具体配置下的结果，不能据此断言任意压缩率都无损。
第二，MLA 常被误解为一种位置编码方案或一种专家路由机制。实际上它属于注意力内部的键值表示与缓存设计，与位置编码、MoE 路由是不同层面的问题，只是在 DeepSeek-V2 中被组合在一起。
第三，论文中的 93.3% 缓存降幅与 5.76 倍吞吐提升，是与 DeepSeek 67B 对比得出的整体系统级数字，其中也包含 MoE 稀疏计算等因素的贡献，不能全部归因于 MLA 单项技术。读者若引用这些数字，应同时说明比较对象与出处。
第四，MLA 的收益主要体现在推理阶段的缓存占用与吞吐，对训练阶段的影响则取决于具体实现；把它当作「训练加速方法」并不准确。