OpenAI 向所有客户开放 Decisions API,决策模型竞争升温
OpenAI 宣布 Decisions API 向所有客户开放,以更快的推理速度和更低成本切入决策模型赛道,与 TypeSafe 的 Jev 系列展开竞争。
OpenAI 向所有客户开放 Decisions API
据 TechCrunch 报道,OpenAI 于 10 月 22 日将其 Decisions API 模型向所有客户开放。该产品于 9 月 29 日的开发者日上首次公布,此前仅面向部分客户试用。OpenAI API 产品负责人 Nikunj Handa 表示,团队并未专门训练一个校准过的决策模型,而是以 ChatGPT Luna 为基础重新配置,以加快推理速度并降低成本。据其说法,响应时间从 1 至 3 秒缩短到 100、120、180 毫秒。公开版本还新增了语音与视觉模态,并通过在地理上分布推理资源来降低各地区延迟。
决策模型赛道竞争加剧
这类被称为“决策模型”或“System One 模型”的产品,能在给定一组选项时快速做出选择并给出置信度评分,被开发者用于替代部分工作流中的大语言模型。该赛道由 TypeSafe 的 Jev 模型开创,据报 TypeSafe 估值已达 76 亿美元。据 TechCrunch 报道,Box、Datadog、Ramp、Speak 等客户在早期试用中用该 API 替换 OpenAI 的大语言模型以提升吞吐量;Speak 首席技术官 Andrew Hsu 称,操作间隔从 1.4 秒降至 0.13 秒。在 AIM System One Index 和 Artificial Analysis Decision Index 等公开榜单上,OpenAI 的决策模型分别位列第八和第十四,落后于 Liquid 的 D1 Ultra、Base Lab 的 Elephant-1 以及最新的 Jev 模型。TypeSafe 首席执行官 Diogo Almeida 对基准测试持怀疑态度,建议用户在自己的工作负载中试用。
限制与来源
目前尚不清楚什么样的决策模型才算优秀,智能、成本、校准与速度之间的权衡因工作负载而异。上述延迟与排名数据均来自厂商说法或第三方榜单,尚未获独立验证。产品的功能范围、可用地区与定价请以 OpenAI 官网当前信息为准。本文来源为 TechCrunch。