ニュース
罗福莉等人发布 HySparse2 论文，探索分层稀疏注意力
HySparse2 论文提出分层稀疏注意力与 KV 共享设计，并报告在大规模 MoE 模型上的实验；它不是一款已经发布的新聊天模型。
罗福莉等研究者公开 HySparse2 论文。论文提出分层稀疏注意力及 KV 共享方案，用于降低长上下文模型的计算与缓存开销，并报告大规模 MoE 模型实验。
作者给出的效率数字取决于论文实验条件；研究方案公开不代表相关后续模型已经发布。参考：HySparse2 论文
HySparse2 论文提出分层稀疏注意力与 KV 共享设计，并报告在大规模 MoE 模型上的实验；它不是一款已经发布的新聊天模型。
罗福莉等研究者公开 HySparse2 论文。论文提出分层稀疏注意力及 KV 共享方案，用于降低长上下文模型的计算与缓存开销，并报告大规模 MoE 模型实验。
作者给出的效率数字取决于论文实验条件；研究方案公开不代表相关后续模型已经发布。参考：HySparse2 论文