NextTransformer - 在固定算力预算下公平比较下一代 Transformer 架构的开源框架与基准

NextTransformer 是一个面向下一代 Transformer 架构的开源框架、基准与自动研究平台，由 Interactive-Active-AI 维护。它要回答的问题很具体：当训练预算固定时，语言模型应该把算力花在哪里？据项目自述，它把循环深度、稀疏注意力、线性注意力、残差流变体以及它们的混合方案放在同一份数据上训练，消耗同样的 49.152B tokens，保持相同的每 token 理论训练 FLOPs，并在相同的检查点做评估。它适合研究架构效率的研究者、需要可复现对照实验的工程团队，以及希望让 AI agent 在统一规则下探索新架构的人。

维护者与状态

项目由 Interactive-Active-AI 维护，仓库创建于 2026-10-31，最后一次提交在 2026-11-03。截至 2026-11-04，仓库获得 221 个星标，尚无正式 release。项目自述在 2026-10-31 开源时已包含 31 个已完成的训练运行、36 张模型卡、完整协议、文档与观测台。

主要能力

以下内容来自项目 README 的自述，属于维护者介绍，不是第三方评测结论。

• 统一协议下的对照训练：数据为固定 revision 的 ClimbMix，单一 32,768 词表 tokenizer，2,048 token 上下文，全局统一采样顺序；预算为 49.152B 输入 token、46,875 次更新、每次 1,048,576 token，种子 42；算力口径为每输入 token 4.672 GFLOPs，准入时允许 ±1%、全程允许 ±2% 偏差。
• 评估方式：189 个验证点上的 BPB、六个检查点上的完整 CORE-22，以及一次独立的最终 BPB；基线是每层都使用完整因果注意力的稠密模型，在同一预算下训练。
• 模型库：按家族组织，包括稠密基线（标准残差、AttnRes、HC、mHC）、循环深度类（UT-ACT、Fixed Recursive、Huginn、Ouro、DeepLoop、MoR、LoopFormer、Circle Loop）、稀疏注意力类（DSA、QSA、NSA、SeerAttention 风格、MoBA）、线性注意力类（DeltaNet、GSA + QK-norm、GLA、KDA、RetNet、ELU-Norm、GDN）以及多种混合方案和 MQA/GQA/MLA 等注意力变体。README 注明 GDN–QSA 与 MoBA–MHA 两项结果尚未发布。
• 观测台：在浏览器中查看每次运行的训练曲线、可回放的排行榜、全部 22 个 CORE 任务、架构图与模型卡。
• 插件式扩展：新增方法只需在 nexttransformer/methods/ 下建立文件夹，提供 method.json 和若干钩子，无需改动共享文件；随后用 python -m nexttransformer.protocol.calibrate 校准到共享预算，提交 pull request，准入后用 --formal 训练并再次提交结果。
• 自动研究竞技场：README 称竞技场仍在积极开发中，Arena v2 计划于 2026-11-14 前发布，包含 MCP 工具、计量算力、研究轨迹与自我改进的研究循环；在此之前，任何 LLM 已可提交架构，在同一协议下训练、在同一排行榜上排名，并披露架构是如何被找到的。

使用入口

仓库地址为 Interactive-Active-AI/NextTransformer，项目主页为 NextTransformer 官网，观测台与文档入口均在主页上。

据 README 的快速开始，环境要求为 Linux 与 NVIDIA GPU，并使用 uv 管理依赖。安装步骤为克隆仓库后执行 uv sync --frozen --extra gpu --extra upstream，再单独安装线性注意力内核：

uv pip install --no-deps --require-hashes -r requirements/linear.txt

数据准备需要复制示例站点配置为 site.local.json 并填写运行时目录、资源与数据目录，下载固定 revision 的 ClimbMix（约 600 GB）以及 tokenizer 和 CORE 包，然后运行 python -m nexttransformer.prepare。单节点 8 卡训练示例：

launch/train.sh --config configs/baseline/dense_full.json --site-config site.local.json \
  --output runs/dense_full --micro-batch 8 --formal --resume auto

多节点训练需在训练环境中安装 accelerate==1.15.0，把平台的节点序号、主节点地址与端口映射到对应变量后，用 accelerate launch 启动 nexttransformer.train；在 Slurm 上可提交 launch/slurm.sbatch。训练过程中会按计划执行评估，快速开始文档还覆盖冒烟测试、评估、审计与结果导出。

许可与限制

项目采用 MIT 许可证，README 同时提示参见第三方声明。使用前需要注意的边界条件：训练环境为 Linux 加 NVIDIA GPU；数据准备需要约 600 GB 的 ClimbMix 副本与固定 revision，存储与下载成本不低；单节点示例按 8 卡设计，多节点示例为 2 节点 × 8 卡，其他节点规模需参考集群配置文档。项目尚无正式 release，接口与流程可能随开发调整；竞技场功能仍在开发中，README 给出的 Arena v2 时间是计划而非既成事实。此外，README 中列出的部分混合架构结果尚未发布，引用排行榜时应以实际可查的记录为准。