Zyphra 发布分层注意力 ZHA：让稀疏注意力的索引本身变稀疏

Zyphra 发布树状索引稀疏注意力方法 ZHA

Zyphra 发布了 Zyphra Hierarchical Attention（ZHA），一种以树状索引器为核心的稀疏注意力方法。据其技术论文，ZHA 把 KV 缓存中的键按连续分块压缩成摘要键，再逐层向上压缩，形成多层树；解码时查询先给顶层节点打分，保留覆盖估计注意力质量比例 p 的最小节点集合，再逐层展开到原始 KV 条目，首个 token 始终作为注意力汇保留。完整 KV 缓存仍然保留，树只决定每次查询读取哪些缓存键。

背景与已报告结果

素材指出，SSM、滑动窗口等固定状态方法在长上下文下会饱和，而 DeepSeek Sparse Attention 一类细粒度稀疏方法的索引器仍需扫描全部历史 token，接近 1M token 时索引可占层耗时的 60% 至 90%。ZHA 的思路是让搜索本身也变稀疏。据 Zyphra 自报数据，在 Qwen3.6-35B-A3B 上仅训练 81,920 个参数（约 0.00024%），基础模型冻结，用 3.98B token、1,900 步、32K 上下文做 KL 蒸馏；在 7 项推理、编码与检索基准上与稠密注意力相差数个百分点，LongBench v2 深树为 63.4%、稠密为 58.0%，RULER-13（256K）宽树为 96.2%、稠密为 96.0%。素材同时提到，在基于 NoPE 的 Nemotron-3.5-Lightning-30B-A3B 上，深树 RULER-13 比稠密低 25.3 分；参数量低于 1B 的模型在转换时表现吃力。

限制与来源

上述数字均为 Zyphra 自报，尚未获独立复现确认。Zyphra 未发布优化内核，速度结论来自 H100 BF16 roofline 建模，而非实测；十亿 token 级加速为外推预测。ZHA 目前展示的最大模型为 35B MoE，是否适用于更大规模、其他架构与训练范式仍待验证。相关细节见 arXiv 论文 2610.42112 与 Zyphra 技术博客，具体能力与可用性以官方当前信息为准。本文不构成任何投资建议。