AB
AiBoss
News

Cloudflare 借数学与 Rust 优化一致性哈希,再省 100TB 内存

Cloudflare 称通过对一致性哈希算法的小幅调整,使基于 Pingora 的负载均衡服务内存占用显著下降,全球范围内回收超过 100TB 内存。该发现源自性能团队的一则内存异常工单,涉及开源库 pingora-ketama。

核心事实

Cloudflare 在官方博客中表示,其内部负载均衡服务 Pingora Backend Router(PBR)被发现内存占用明显高于预期,问题集中在与开源一致性哈希库 pingora-ketama 相关的数据结构上。据该博客介绍,团队通过对单一算法做小幅修改,使这一基于 Pingora 的服务内存占用大幅下降,并在全球范围内回收了超过 100TB 的 RAM。这一数字是在此前 DNS 团队释放 100TB 内存的基础上再次取得的。

背景与影响

Cloudflare 称其全球数千台服务器合计拥有 PB 级内存与数百万 CPU 核心,且资源长期处于高负载状态。由于希望每项服务都能运行在每一个节点上,资源余量有限,因此即便是 1% 级别的改进也被认为值得关注。一致性哈希被用于按 URL 将可缓存请求路由到服务器,从而减少同一文件的重复存储。博客指出,在如此规模下,小改动会被显著放大,因此算法层面的优化能够转化为可观的内存节省。

限制与来源

上述内容来自 Cloudflare 官方博客文章《Saving another 100TB of RAM with math (and Rust)》,作者为 Kevin Guthrie、Mariia Iurchenko、Zaidoon Abd Al Hadi 与 Ivan Babrou。素材未提供具体的内存占用前后对比数值、优化细节、适用服务范围或时间表,相关技术细节与效果应以官方原文及后续说明为准。本文仅转述该来源的公开表述,不构成任何投资或采购建议。