NVIDIA 介绍用 cuTile 加速 Mamba-2 前向传播内核

核心事实

NVIDIA 开发者博客发文介绍，Jane Street 的机器学习工程师作为 cuTile 的早期采用者，在 cuTile 中实现了 Mamba-2 状态空间模型，并与 NVIDIA 合作优化了前向传播中的三个自定义内核：chunk_cumsum、fwd_pass_state 和 compute_out。据该文描述，cuTile 是基于 Python 的 DSL 与并行编程模型，把线程级和 warp 级调度抽象为以 tile 为中心的高层原语，由编译器自动面向 Tensor Cores 等 GPU 硬件特性。

背景与影响

文章指出，序列建模架构面临计算权衡：传统 softmax 注意力训练快，但推理阶段的计算与内存需求随序列长度线性增长；RNN 训练难以并行，但推理计算恒定、内存占用固定。Mamba-2 采用固定大小的隐藏状态与循环更新，可按块（chunk）计算并利用 Tensor Cores。三个内核分别负责：在 log 空间按 token、按 head 计算衰减项的块内累积和并存储复用；用 ct.mma 执行 Tensor Core 矩阵乘，以跳跃公式推进各块隐藏状态；将携带状态项、带衰减与因果掩码的交互矩阵以及跳跃连接融合进单个 tiled 内核。文中提到的优化手段包括 DRAM 流量建模的延迟提示、操作数交换以将融合操作数送入 Tensor Memory、便于 TMA 访问的转置内存布局，以及按输入形状搜索块大小与占用率的自动调优器。

限制与来源

上述内容来自 NVIDIA 开发者博客，文中未给出实测性能数据、与其他实现的对比数字或可用地区信息。cuTile 的使用需满足其 Python Quickstart 所列环境要求，具体 API、安装方式与支持范围请以 NVIDIA 官网当前信息为准。本文仅为技术信息转述，不构成任何投资或采购建议。