Liquid AI 推出 RIPL 实时推理引擎,宣称 LFM 端到端延迟低于 50 毫秒
Liquid AI 发布实时推理管线 RIPL,用于在实时请求路径中运行 LFM2.5 系列模型,宣称端到端响应低于 50 毫秒,并给出与 vLLM 上 Qwen3.5 的 p95 延迟对比;相关数据均为厂商自报,RIPL 仅面向企业客户。
核心事实
据 MarkTechPost 报道,Liquid AI 宣布推出 Liquid RIPL(Real-time Inference Pipeline,实时推理管线),这是一个低延迟推理引擎,用于在实时请求路径中运行 Liquid Foundation Models(LFM)。Liquid AI 称其可在 50 毫秒以内返回完整的生成响应,并且在流量持续、峰值负载的情况下仍能维持这一延迟水平。
据该报道,RIPL 支持 230M 至 2.6B 参数的 LFM2.5 模型,面向企业部署,运行于 NVIDIA H100、H200、B200 与 RTX PRO 6000 GPU;基准测试使用单张 B200。
背景与影响
报道指出,多数推理服务栈针对大批量和长时智能体任务优化,单请求耗时数秒可以接受;而搜索排序、欺诈检测、支付授权等场景需要毫秒级响应,团队因此常退回传统模型。Liquid AI 称 RIPL 意在消除这一取舍,并称 Shopify 已在搜索增强等对延迟敏感的电商负载中部署 LFM,生产流量下推理低于 20 毫秒。
据 Liquid AI 自报数据,在开放环泊松到达条件下,RIPL 上 LFM2.5 的 p95 端到端延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍:最佳为 LFM2.5-1.2B 的 155.8 毫秒对 Qwen3.5-0.8B 的 4431 毫秒(256 输入、128 输出),最弱为 LFM2.5-2.6B 的 449.1 毫秒对 2499 毫秒。报道同时指出,较长请求下 50 毫秒以内的目标并不成立。
限制与来源
上述性能数字均为 Liquid AI 自行测试,尚未获独立验证;RIPL 为企业专属的闭源产品,模型权重则依 LFM Open License v1.0 发布。具体可用地区、接入方式与商务条件请以 Liquid AI 官网当前信息为准。本文信息来自 MarkTechPost 报道及其引用的 Liquid AI 博客,不构成任何采购或投资建议。