GPT-6带火循环Transformer，阿里两篇顶会论文早已布局

核心事实

据量子位报道，OpenAI的GPT-6 Astra发布后，其采用的“循环深度”（recurrent depth）技术引发广泛关注。该技术让同一组Transformer层反复运行，在不增加同等规模参数的情况下加深计算。阿里及合作高校团队早在11个月前（2025年10月）就公开了相关论文，针对循环Transformer的“计算冗余”问题提出两项方案：MeSH和SpiralFormer，分别被ICLR 2026和EMNLP 2026接收。

背景与影响

循环Transformer被视为下一代高效大模型的候选路线之一，其核心优势在于用计算深度换取参数规模。然而，学界发现同等算力下循环模型常因“计算冗余”而表现不佳。MeSH通过引入Memory Buffer和动态读写路由器，解决循环内部信息管理问题，实验显示在Pythia-1.4B级别上，循环结构减少约33%非嵌入参数，零样本下游平均准确率从49.50%提升至50.56%。SpiralFormer则通过调整每轮循环的序列长度，让模型从全局到局部逐步处理信息，在参数量基本不变的情况下，计算量从14.08T FLOPs降至13.13T，5-shot下游平均准确率从51.93%提升至54.37%。这两项研究为循环架构走向实用提供了关键拼图。

限制与来源

上述实验数据均来自论文所述，尚未经独立验证。GPT-6 Astra是否确用循环架构，OpenAI官方未明确确认，相关讨论仍属外界推测。论文链接：MeSH（arxiv.org/abs/2510.07739）、SpiralFormer（arxiv.org/abs/2602.11698）。更多细节请以官网及论文原文为准。