Prime Intellect 发布 Prime Mega MoE：为融合 MoE 内核补上反向传播，前向最高提速 3.11 倍
Prime Intellect 在 DeepSeek 开源 Mega MoE 内核基础上补上融合且重叠的反向传播，使其可用于训练。官方自报数据显示，Qwen3 MoE 模型完整训练步比 prime-rl 基线快 32%–34%，比 TorchTitan 快 48%–55%。
核心事实
据 MarkTechPost 报道，Prime Intellect 发布了 Prime Mega MoE，这是对 DeepSeek 开源 DeepGEMM 库中融合 Mega MoE 内核的训练扩展。原内核只实现前向计算，Prime Intellect 补充了快速且与通信重叠的反向传播，使该融合内核可用于训练而非仅推理。该内核以 mega_moe 分发后端的形式集成在 prime-rl 训练器中，支持 BF16、MXFP8（仅 Blackwell）和 blockwise FP8（仅 Hopper），并额外提供 fp8_bwd 模式，即 BF16 前向配 FP8 反向。
背景与影响
MoE 模型中每个 token 只路由到少数专家，专家分布在不同 GPU 上，因此每一层都要经历分发、专家计算与合并，前向和反向各来一遍。标准做法把这些步骤拆开执行，GPU 在等待传输时处于空闲。DeepSeek 的 Mega MoE 将专家并行分发、两层专家线性层、SwiGLU 与合并融合为一次内核调用，但只提供前向实现。Prime Intellect 补上的反向内核同样采用重叠策略，从而压缩了训练中的空闲时间。按其自报数据，在 8×H200 节点、FP8、16,384 token 序列与完整激活检查点设置下，Qwen3-30B-A3B 完整训练步从 2.78 秒降至 2.08 秒，Qwen3-235B-A22B 从 12.72 秒降至 9.65 秒；相对 TorchTitan 分别快 48% 与 55%。单层测试中，Qwen3-30B-A3B 前向从 12.0 毫秒降至 3.9 毫秒，即 3.11 倍，但 Qwen3-235B-A22B 的反向仅从 30.5 毫秒降至 24.6 毫秒，约 1.24 倍。
限制与来源
上述性能数字均由 Prime Intellect 自行报告，尚未见独立第三方复现，具体表现可能随硬件、模型与配置变化。3.11 倍这一宣传口径仅指前向计算。与 TorchTitan 的对比来自不同设置，不宜直接横向比较。prime-rl 采用 Apache 2.0 许可证，训练内核需使用 prime-kernels 提供的预编译 DeepGEMM wheel，标准 DeepGEMM 构建不包含这些内核。使用方式与支持范围请以官方仓库和文档当前信息为准。本文来源为 MarkTechPost 报道。