ArisGlobal 借 Amazon Bedrock 提示缓存优化生成式 AI 推理成本
AWS 博客介绍,生命科学软件商 ArisGlobal 在 Amazon Bedrock 上运行其 AI 引擎 NavaX,通过调整请求顺序、缓存共享提示前缀,应对多租户合规需求带来的提示膨胀与推理成本上升。
核心事实
据 AWS 官方博客文章,生命科学软件提供商 ArisGlobal 在 Amazon Bedrock 上构建了面向生命科学场景的 AI 引擎 NavaX,用于自动化不良事件个案处理。文章称,ArisGlobal 选择 Amazon Bedrock 的原因包括托管式基础模型访问、欧盟区域跨区域推理以及托管提示缓存。随着企业客户带来各自的合规要求,共享提示前缀在约 6 个月内增长约 150%,单案推理成本上升超过 200%。ArisGlobal 随后调整请求顺序,改为优先缓存共享提示前缀,而非优先缓存单案源文档,以降低有效输入成本。
背景与影响
文章介绍,NavaX 的动态数据提取代理会从通常为多页 PDF 的不良事件报告中提取约 130 个字段,并借助 Amazon Bedrock Guardrails 等内容过滤与敏感信息检测能力实施负责任 AI 控制。由于每次请求都重复携带系统指令、客户特定规则、提取模式和示例,提示前缀随租户增加而膨胀。Amazon Bedrock 的提示缓存按前缀生效,从请求开头到缓存检查点之间的连续内容才可复用,因此内容排序决定了哪些部分能被缓存。ArisGlobal 将共享前缀置于检查点之前,使缓存可跨请求、跨个案、跨租户复用。
限制与来源
上述成本变化与交易规模数据均来自 ArisGlobal 内部生产遥测及 AWS 博客叙述,本站未独立核实。模型可用性因区域而异,缓存支持情况、最小前缀长度、TTL 等细节以 AWS 官方文档当前信息为准。本文不构成任何采购或投资建议。来源:aws.amazon.com 博客文章《How ArisGlobal scaled generative AI inference on Amazon Bedrock》。