i14 在 AWS Trainium2 上训练并部署 Laplace 3B 线性注意力模型

核心事实

AWS 博客披露，AI 研究与技术公司 i14 将其 Laplace 3B 线性注意力模型迁移到 AWS Trainium2，并使用 TorchNeuron Native 的原生 PyTorch 支持完成训练与推理。据该博客，Laplace 3B 采用门控线性注意力（GLA），以固定大小的循环状态替代随上下文增长的 KV 缓存，每序列状态为 29.5 MB，不随上下文长度增加。在单台 trn2.48xlarge 实例上，该模型训练速度约为每秒 12 万 tokens；推理在 1,280 条并发序列下达到每秒 11,544 个输出 tokens。

背景与影响

主流大模型多采用 softmax 注意力，推理时 KV 缓存随对话或文档上下文增长，可能压低并发、抬高服务成本，并迫使智能体应用丢弃有用历史。线性注意力把训练注意力复杂度从 O(T²) 降到 O(T)，推理状态保持固定，因此更适合长时运行的智能体、大文档分析等需要可预测服务开销的场景。i14 与 AWS 生成式 AI 创新中心团队将原本面向 GPU 的 Triton 内核改写为标准 PyTorch 算子，并调整了 Muon 优化器的通信方式与反向传播的静态展开，以适配 Trainium2 的片上内存与静态编译器。

限制与来源

上述训练与推理数字均来自 AWS 官方博客，尚未见第三方独立复现。线性注意力压缩历史而非保留全部键值，博客也提示需针对具体工作负载评估检索质量。相关性能、可用区域与支持情况请以 AWS 官网当前信息为准。来源：aws.amazon.com。