NVIDIA cuBLAS 新增 FP64 算法：整数 Tensor Core 上实现双精度矩阵乘法加速
NVIDIA 在 CUDA Toolkit 13.4.2 的 cuBLAS 中引入 Ozaki-II 与 2M 两种算法，将 FP64 矩阵乘法映射到整数 Tensor Core 上执行并保持双精度精度。官方博客称 DGEMM 在 VR NVL72 上较原生 FP64 快 5.5 倍，复杂矩阵乘法 ZGEMM 在 GB200 上快 5 倍。
核心事实
NVIDIA 开发者博客于 2026 年 11 月 13 日发文介绍，CUDA Toolkit 13.4.2 中的 cuBLAS 新增 Ozaki-II 与 2M 两种算法，用于在整数 Tensor Core 上加速双精度（FP64）稠密通用矩阵乘法，即实数场景的 DGEMM 与复数场景的 ZGEMM，并称结果保持完整双精度精度。据该文，Ozaki-II 借助中国剩余定理减少整数乘法次数，所需 Tensor Core GEMM 次数约为 Ozaki-I 的一半；2M 方法则把一次复数矩阵乘法从四次实数乘法降为两次。cuBLAS 会通过启发式规则在 Ozaki-I 与 Ozaki-II 之间自动选择，应用代码无需改动。
背景与影响
分子化学、材料科学等科学模拟的大量运行时间花在高精度稠密矩阵乘法上。此前 cuBLAS 已通过浮点仿真框架把 FP64 运算映射到整数 Tensor Core。博客给出的数据包括：采用 Ozaki-II 的 DGEMM 在 NVIDIA VR NVL72 上比原生 FP64 快 5.5 倍，在 GB200 上快 3.9 倍；采用 2M 算法的 ZGEMM 在 GB200 上比原生复数 FP64 快 5 倍。应用层面，量子化学 CCSD 计算在 VR NVL72 与 GB200 上分别获得 2 倍和 1.4 倍端到端加速，材料科学软件 BerkeleyGW 分别获得 6.6 倍和 3.9 倍加速。文章还提到，NVIDIA Rubin GPU 引入 TI16 数值格式与 tcgen05.mma 指令，可进一步加速上述计算。
限制与来源
上述性能数字均来自 NVIDIA 官方博客的自家测试，测试环境、问题规模与对比基线由厂商设定，尚未见独立第三方复现，实际表现因工作负载而异。博客称当保持 FP64 等效精度所需的尾数位数超过库默认值或用户设定上限时，cuBLAS 会回退到原生 FP64 指令路径。相关 API 细节、精度设置与可用性请以 NVIDIA 官方文档及官网当前信息为准。本文信息来源为 developer.nvidia.com 博客文章《Faster Scientific Simulations with New FP64 Algorithms in NVIDIA cuBLAS》。