AWS 博客介绍基于 Amazon Bedrock 与 LiteLLM 构建自助式 LLM 网关
AWS 博客发布技术文章，介绍如何用 Amazon Bedrock 应用推理配置文件配合运行在 AWS Fargate 上的 LiteLLM，构建面向开发者的自助式 LLM 网关，以 OpenAI 兼容接口统一访问基础模型，并实现按用户的成本控制与可观测性。
核心事实
AWS 博客于 2026 年 11 月 12 日发布技术文章，介绍如何构建自助式大语言模型（LLM）网关：以 Amazon Bedrock 应用推理配置文件（Application Inference Profiles）为后端，将 LiteLLM 部署在 AWS Fargate 上，对外暴露 OpenAI 兼容 API。开发者只需在 Claude Code、Continue、Cursor 等工具中配置一个 base URL 和专属 API key，即可访问 Amazon Bedrock 上的基础模型，无需直接接触 Bedrock。文章以 Claude Sonnet 与 Claude Haiku 为例说明配置方式。
背景与影响
文章指出，平台团队需要监控延迟与错误，财务团队需要把推理成本归属到团队和项目，安全团队需要统一的访问控制，而 LLM 网关可作为集中管理的接入点来满足这些需求。该架构中，请求经 Route 53、CloudFront 和 Application Load Balancer 到达 LiteLLM，后者借助 Amazon RDS for PostgreSQL 保存虚拟密钥与消费状态，用 ElastiCache for Valkey 做缓存与跨任务限流，并通过 Secrets Manager 管理密钥；CloudWatch 采集每分钟请求数与每分钟 token 数指标，Langfuse 提供提示级可观测性。文章称，这种抽象让开发者可在不改动工具配置的情况下切换模型或增加回退。
限制与来源
文章说明，LiteLLM AI Gateway 开源组件适合小规模试点，但存在限制：官方文档称免费版最多支持 5 名用户，超出需授权；文中描述的自助发放密钥功能需要 LiteLLM Enterprise 版本。文章未覆盖 Amazon Bedrock Guardrails 等负责任 AI 控制，并建议在生产部署前加入。文中配置中的 token 成本数值标注为示例。模型可用范围与区域支持需以 Amazon Bedrock 官方文档及官网当前信息为准。本文为技术方案介绍，不构成采购或投资建议。来源：AWS 博客。