AB
AiBoss
ニュース

LiteLLM 社区提议为代理网关加入模型生命周期管理

GitHub 上 BerriAI/litellm 仓库出现一份功能请求,建议为 LiteLLM 代理网关补齐模型生命周期管理能力,包括后继模型字段、弃用响应头、供应商生命周期同步与可选强制策略。该请求目前仍为开放状态的议题,尚未获官方确认。

核心事实

据 GitHub 上 BerriAI/litellm 仓库的一份功能请求(Issue #41668,标签为 enhancement),有贡献者提出为 LiteLLM 代理网关补齐模型生命周期管理能力,并计划拆成若干可独立提交的 PR。议题称,网关目前已经能识别模型的 deprecation_date,可通过 GET /v1/model/deprecations 列出即将弃用的模型,并发送每日 Slack 摘要。该请求希望在此基础上增加:model_info 中的 successor_model 字段、响应头中的弃用信号、管理界面面板、面向供应商 API 的可选生命周期同步,以及 on_deprecation 的 warn / block / redirect 行为。

背景与影响

议题描述的场景是:平台管理员通过 LiteLLM 代理接入 Bedrock、Azure / AI Foundry 等供应商时,模型退役信息往往只出现在供应商文档或生命周期页面上,应用团队既不知道迁移目标,API 响应里也没有提示,直到弃用日期当天请求直接返回供应商错误。请求提出在响应头中加入 DeprecationSunsetx-litellm-model-successor,让客户端工具和仪表盘自行感知;同时为 Bedrock 的 ListFoundationModels 与 Azure / AI Foundry 的模型生命周期接口提供可选同步,把状态写入部署的 deprecation_datesuccessor_model。议题还提到 include_usage 参数,用于列出仍在调用待弃用模型的团队与密钥,便于在流量归零后下线。

限制与来源

需要说明的是,上述内容来自一份开放状态的社区功能请求,属于提议而非已发布功能,尚未获官方确认,具体实现范围、默认行为与可用性均可能变化。议题中出现的配置示例、接口路径与响应头名称均为提案设想,不代表当前版本已支持。价格、功能、地区可用性与账号支持等信息,请以 LiteLLM 官网及仓库当前文档为准。本文不构成任何投资、法律或采购建议。