AB
AiBoss
ニュース

Vercel AI Gateway 新增 Private Inference,可接入自有模型端点

Vercel 宣布 AI Gateway 支持 Private Inference,企业可将自托管、微调或预发布模型端点接入同一套认证、SDK、API 与可观测性体系,私有模型仅对所属团队可见。

核心事实

Vercel 在更新日志中宣布,AI Gateway 现已支持 Private Inference。据其说明,该功能允许用户把自有的模型端点作为“私有提供方”接入 AI Gateway,从而让微调模型、自托管模型或预发布模型与目录中的公开模型共用同一套认证、SDK、API 和可观测性能力。用户可在 Private Inference 页面填写端点的基础 URL、选择 API 格式并添加凭据,再登记该端点提供的模型;也可通过 Vercel CLI 65.16.0 或更高版本注册提供方与模型,并以 private/<slug> 形式的模型 ID 调用。

背景与影响

Vercel 表示,此前运行微调、自托管或预发布模型的企业需要为这些模型单独维护密钥、客户端代码和日志。接入后,私有模型可通过 Chat Completions、Responses 或 Messages 接口调用,AI Gateway 会把请求转换为端点所需的格式,切换模型时只需更改模型 ID。按照官方描述,私有模型仅所属 Vercel 团队可查看和调用,不会出现在公开目录中,凭据以加密方式存储,并可按提供方启用零数据保留;相关请求会与目录模型请求一同显示在日志、追踪导出和自定义报表中,还可选择在私有端点失败时回退到目录模型。

限制与来源

上述功能范围、支持的模型类型、接入要求与计费细节均以 Vercel 官方文档和官网当前信息为准。本文未对性能、价格或可用地区作独立核实,相关细节请查阅官方说明。来源:Vercel 更新日志《AI Gateway now supports Private Inference》。