Zepto 借助 Databricks 与 MLflow 构建评估优先的 AI 客服智能体

核心事实

据 Databricks 官方博客，印度快速电商平台 Zepto 与 Databricks 合作，构建了评估优先（Evaluation-First）的多智能体 AI 客服系统。该系统每日处理超十万张工单，其中 80% 以上由 AI 智能体在人工监督下完全处理，支持成本降低 65%，投资回报期不足一个月。Zepto 在 Databricks 和 MLflow 上实现了双循环架构：开发循环与生产循环通过严格的质量门控连接，任何失败都会被自动捕获并反馈至开发阶段，以持续改进。

背景与影响

Zepto 业务覆盖印度 60 多个城市，提供分钟级配送服务。随着品类从杂货扩展至服装、电子产品和美妆，以及多语言客户群的增加，客服工单量在天气事件、节日等时段出现剧烈波动。博客指出，在日处理超十万张工单的规模下，即使 1% 的错误率也会导致每天数千次不良结果和收入损失。传统“直接上线”模式在规模扩大后暴露出故障不可见、修复缓慢、内部错误被最终答案掩盖等问题。评估框架通过追踪（Tracing）、黄金数据集（Golden Dataset）和 LLM-as-judge 评估，将可靠性、速度、成本与质量平衡、治理和利益相关者协作纳入核心基础设施，实现了 CSAT 提升 20%、准确率提升 8%、开发周期加快 3 倍、解决时间缩短 4 倍。

限制与来源

以上数据均来自 Databricks 官方博客，未经独立验证。Zepto 的具体技术实现细节、评估指标阈值及生产环境配置可能因场景而异。建议读者访问 Databricks 官网获取最新信息，并以实际部署环境为准。