AB
AiBoss
Tutorials

用 Snowflake Pipeline Builder 搭建带判断模型路由的客服工单处理流水线

Tutorials

用 Snowflake Pipeline Builder 搭建带判断模型路由的客服工单处理流水线

以虚构 SaaS 的客服工单为场景,用 Snowflake Pipeline Builder 在 Snowsight 里以卡片方式搭建任务图:先用 snowflake-decision 判断模型按概率把工单分流到自动回答、Agent 调查、人工处理三条路径,再用 Cortex Agent 生成回答案、用判断模型做质量检查,最后以 DCM 项目形式部署并调优阈值。

客服工单的处理难点往往不在“能不能生成一段回答”,而在于“哪些该自动答、哪些该查数据后答、哪些必须交给人”。Snowflake Pipeline Builder 是 Snowsight 工作区里以卡片连线方式编排任务图的工具,它把原本要靠 SQL、存储过程串起来的调度逻辑搬到画布上,并且允许把 Python 文件、Jupyter Notebook 直接作为卡片接入。这篇教程以一套客服工单分流流水线为例,讲清如何用判断模型 snowflake-decision 按概率分流、如何用 Cortex Agent 生成回答案、如何用阈值控制风险,以及如何把画布上的图作为 DCM 项目部署与维护。适合已经熟悉 Snowflake 基础对象、想把手写编排迁移到可视化任务图的读者。

准备工作

开始之前,需要确认以下几项前置条件。素材没有给出具体的账号版本要求,涉及版本、配额与价格的部分请以 Snowflake 官网当前信息为准。

  • Snowsight 工作区权限:Pipeline Builder 从 Workspaces 的新建菜单进入,需要具备创建工作区与 DCM 项目的角色。
  • 数据库与模式:示例使用 DECISION_PIPE_DB.SUPPORT 作为存放工单、分流结果、回答与运行摘要的模式。
  • 计算资源:需要一个仓库(示例中为 DECISION_PIPE_WH),在任务图的 task_defaults 里统一指定。
  • 判断模型可用性:snowflake-decision 通过 AI_COMPLETE 调用,需确认所在区域已开放该模型。
  • 辅助服务:帮助文章检索用 Cortex Search,客户数据查询用 Cortex Analyst 加语义视图,Agent 本体用 CREATE AGENT 创建。
  • 代码包:Python 卡片不能像 SQL 那样直接内联,需要先做成代码包(Code Bundle),涉及 manifest.yml、pipeline.yml 与任务定义三处配合。

先想清楚分流规则

示例场景是一个面向日本企业的项目管理 SaaS,工单、客户数据、帮助文章全部是日文,工作日每天有几十件咨询。目标不是让 AI 回答全部工单,而是按内容把工单分成三条路径:

路径典型工单为什么走这条路径
auto(固定回答)忘记密码无法登录;如何邀请成员帮助文章里有答案,对任何人都一样
agent(Agent 调查后回答)9 月账单金额与支付状态;我们的套餐能否用 SSO;存储上限是多少;10 月 15 日故障是否影响我们答案因客户而异,需要查套餐、账单、用量数据
human(转人工)希望退还上月费用;觉得账单金额不对;有不明登录记录;视处理结果可能解约涉及金额、权限、法务,需要调查与判断,AI 不能擅自承诺

有两个容易踩的坑值得提前说明。第一,表单里让客户自选的“使用方法”“账单”等分类不可信,客户选了“使用方法”但正文其实在讲账单的情况很常见,因此分流必须读正文,不能依赖表单分类。第二,auto 与 agent 生成的回答也不能直接发送,需要经过质量检查,凡是无法被引用的帮助文章或数据支撑、没有回答到问题、或包含退款与期限之类需要审批的承诺,都要附上草稿转人工。

操作步骤

步骤一:用判断模型做分流

通用大模型也能做分类,但有两个问题:工单是全量进入分流的,件数一多或出现长篇情绪化描述,成本立刻上升;而且让通用模型自报“有多大把握”,它输出的只是一个生成出来的数字,没有概率分布作为依据。

snowflake-decision 是专用于判断的模型,从 AI_COMPLETE 调用,传入状态(state)与问题(questions),返回每个选项的概率。下面是一次调用的写法:

SELECT AI_COMPLETE(
  model => 'snowflake-decision',
  prompt => TO_JSON({
    'state': 'パスワードを忘れてログインできません。',
    'questions': {
      'category': {
        'type': 'choice',
        'instructions': 'What is this support ticket about?',
        'criteria': {
          'account_access': 'Login, password or SSO',
          'billing': 'Invoices or payments',
          'other': 'Anything else'
        }
      }
    }
  })
);

返回的是 JSON。对于 choice 类型的问题,结果位于 answers.category.choice(选中的选项)、answers.category.confidence(置信度)、answers.category.probabilities(各选项概率)。问题共有三种类型:

类型问什么返回什么
choice属于哪个选项选中项、置信度、各选项概率
noul陈述是否为真为真的概率
score处于哪个等级按概率加权的期望值

一次调用可以同时判定多个问题。本流水线在分流阶段用 choice 判断工单类型与可用的帮助文章,用 noul 判断是否需要人工、是否需要客户数据;质量检查阶段还会用到 score。

判断模型与通用模型的差别在于数值的来源。所有选项都会被分配概率,置信度由概率分布计算:confidence = 1 − H / ln(n),其中 H = -Σ p_i ln p_i,n 是选项数量。概率集中在一个选项时接近 1,均匀分散时接近 0。score 则是按概率加权的期望值,例如等级 0 到 2 的概率分别为 0.1、0.2、0.7,则 0×0.1 + 1×0.2 + 2×0.7 = 1.6。另外 temperature 与 top_p 对该模型无效。

这里有一个必须注意的细节:置信度不等于最高概率。三选一时概率为 0.91、0.06、0.03,置信度约为 0.67。置信度还受选项数量影响,本流水线在 19 个选项(18 篇参考文章加“都不匹配”)上做判定,最高概率 0.9、其余 0.1 均分给 18 个选项时,置信度约为 0.79,达不到后文使用的 0.8 阈值。因此阈值必须结合选项数量与实际概率分布来定。

步骤二:设定分流阈值

判断模型返回概率后,用阈值把工单分到三条路径:

  • human:需要人工的概率大于等于 0.5。
  • auto:帮助文章置信度大于等于 0.8,且需要客户数据的概率小于 0.3。
  • agent:其余情况。

阈值放在配置表里,调整时不需要改代码。想更保守就下调 human 阈值,想提高自动化率就下调 auto 阈值。

步骤三:在画布上创建卡片

从 Workspaces 的新建菜单选择 Pipeline Builder,会创建一个空的 DCM 项目。Pipeline Builder 负责用图形界面编排任务图,产物管理则交给 DCM 项目。

把 SQL 文件拖拽到画布上即可生成卡片;没有现成文件时,用左上角的 Create 按钮新建。选中卡片后右侧打开设置面板,在这里配置名称、处理内容(Source)、调度、使用的仓库等。

Python 卡片需要额外一步:先把代码做成代码包。点击 Objects 按钮创建代码包,它相当于把多个文件打成一个包。Notebook(.ipynb)和 ML Job 任务同理。从 DCM 项目角度看,代码包涉及三个文件:manifest.yml 用 asset 指定要打包的文件;pipeline.yml 从该 asset 生成代码包;任务定义里指定使用哪个代码包、执行哪个文件(entrypoint)以及运行环境。

步骤四:用返回值控制分支

卡片可以返回返回值,后续卡片可以设置“只有前一张卡片的返回值等于某个值时才运行”。在设置面板的 Dependencies 中指定前驱卡片(Predecessors)与附加条件(Additional conditions)。

限制在于:一次卡片执行只能返回一个值,无法按工单逐条返回不同值。因此本流水线把职责拆开——每件工单的分流结果(auto / agent / human)记录在表的列里;返回值只用来告诉后续卡片“今天整体上还需不需要继续往下走”。

整张图用到返回值分叉的地方有三处:

分叉点返回值后续动作
取出工单之后NO_TICKETS不进入分类,记录“无对象”后结束
分流之后AGENT_OVERFLOW超出 Agent 上限的部分转人工,与 Agent 卡片并行运行
确定发送或转人工之后REVIEW_NEEDED进入人工队列并生成交接备注

三者表达的都是同一个判断:如果没有一件工单落到这条路径上,这张卡片就不必运行。

步骤五:编排 14 张卡片

完整流水线由 14 张卡片组成,每张卡片负责一件事,并按条件触发:

卡片职责触发条件
T00_PICK_BATCH取出当天要处理的工单最先运行
T01_NO_TICKETS记录没有对象T00 返回 NO_TICKETS
T10_CLASSIFY用判断模型分类工单T00 返回 HAS_TICKETS
T11_CLASSIFY_FALLBACK用通用模型重新分类T10 失败时
T20_ROUTE确定并记录 auto / agent / humanT10 或 T11 任一成功
T30_AGENT_ANSWER由 Cortex Agent 回答 agent 类工单(Python)每次
T31_OVERFLOW_TO_HUMAN超出 Agent 上限的部分转人工T20 返回 AGENT_OVERFLOW
T35_AGENT_FAILEDagent 类工单转人工T30 失败时
T40_AUTO_ANSWER生成 auto 类固定回答并汇总待质检对象前面任一卡片成功
T41_QUALITY_CHECK用判断模型检查回答质量T40 之后
T42_QUALITY_FALLBACK用通用模型重新打分T41 失败时
T45_FINALIZE确定发送还是转人工T41 或 T42 任一成功
T50_HUMAN_QUEUE进入人工队列并生成交接备注T45 返回 REVIEW_NEEDED
T99_RUNSUMMARY记录执行结果(终结器)最后必定运行

终结器与既有任务图一致:即使中途卡片失败,终结器也会在最后运行。T99 记录走了哪条路径、多少件被分到哪里、哪一天被标记为已处理。

步骤六:配置 Agent 的工具与指令

分到 agent 的工单由 Cortex Agent 生成回答案。Agent 配两个工具:检索帮助文章、查询客户数据。例如“9 月账单金额”会通过 Cortex Analyst 查账单数据;“我们的套餐能否用 SSO”则先查帮助文章确认 SSO 的套餐门槛,再查客户数据确认该客户当前套餐。

帮助文章共 18 篇,做成 Cortex Search 服务。由于文章是日文,嵌入模型选用多语言支持的 snowflake-arctic-embed-l-v2.0。客户数据通过语义视图交给 Cortex Analyst 查询,视图汇总了合同、套餐上限、发票、API 用量、故障历史五张表。表和列都加了日文别名(SYNONYMS)与说明(COMMENT),以便把“几月的账单”“合同套餐”这类问法映射到正确的列。SQL 生成注意事项写在 AI_SQL_GENERATION 中,例如必须按账户 ID 过滤客户、故障只查影响客户所在区域的记录。

Agent 本体用 CREATE AGENT 创建,指令里写清工具用法和不应回答的情形。有两个设计要点:一是让 Agent 自己也判断“是否该转人工”,即使分流阶段漏判,遇到退款或未授权访问类内容时 Agent 也能识别并交接,形成双重检查;二是要求回答最后一行输出一行 JSON,包含是否解决(resolution)、引用的帮助文章(sources)、使用的客户数据(facts),便于后续处理机械地提取。

流水线通过 Python 卡片 T30 调用 Agent:把工单逐件传给 SNOWFLAKE.CORTEX.DATA_AGENT_RUN,解析返回的回答并保存。单件调用失败不会中断,继续处理下一件;当失败比例超过配置上限时,才让整张卡片失败。

步骤七:部署与运行

画布上搭好的流水线以 DCM 项目形式部署。部署前有 Plan 模式,会列出将创建与修改的对象,连新建对象的 OWNERSHIP 授予哪个角色这类细节都能确认。

运行时可以传入配置(JSON)。本流水线用它切换“一次处理一天”还是“把未处理的日子一起处理”:

-- 只处理一天未处理的受理日期
EXECUTE TASK GRAPH DECISION_PIPE_DB.SUPPORT.SUPPORT_PROCESSING;

-- 把未处理的日子一起处理
EXECUTE TASK GRAPH DECISION_PIPE_DB.SUPPORT.SUPPORT_PROCESSING
  USING CONFIG = $${ "batch_mode": "all" }$$;

一个完整示例

下面把一次实际运行串起来看。用 13 件工单跑一遍,在任务图的 Run History 里可以看到每张卡片的状态与返回值。这次运行中有需要转人工的工单,因此返回了 REVIEW_NEEDED,人工队列卡片也运行了;判断模型与 Agent 的备用卡片、以及 Agent 数量超限的卡片这次没有出场,状态为 Skipped。最终分流结果是 auto 6 件、agent 1 件、human 6 件。分到 auto 与 agent 的工单写入了回答(REPLY),分到 human 的写入了原因(HUMAN_REASON)。

auto 示例:“忘记密码”被分到 auto,基于帮助文章生成的回答说明可在登录页的“忘记密码”入口重置,输入注册邮箱后会收到重置链接,链接有效期 24 小时,收不到时检查垃圾邮件文件夹,并提示若管理员强制使用 SSO 则需从企业身份提供商登录。

agent 示例:“想知道存储上限”被分到 agent,因为上限随套餐不同,需要查客户合同。回答指出该客户当前为“商业”套餐,工作区整体存储上限为 1TB,单文件上限为 500MB。套餐信息由 Agent 从客户数据取得,上限数值来自帮助文章,属于多个信息源组合出的回答。

human 示例:“有不明登录记录”被判为需要人工的概率 0.95,转入人工。交接备注写明客户名称与账户 ID、客户收到境外登录通知希望调查、表单分类为“其他”、需要调查登录历史与来源 IP、并需判断是否按安全事件升级以及是否引导改密码与启用双因素认证。表单分类虽是“其他”,但正文被正确识别为安全事件。

注意事项

阈值需要用真实数据校准

判断模型返回的概率是否可信,要拿标注结果做对照。13 件样本中需要人工的有 4 件,全部落在 0.6 以上,0.6 以下一件都没有,区分度不错;低概率段与 0.9 段的预测与实际比例吻合较好,但 0.4 到 0.65 这一段实际比例低于预测,概率偏高。阈值取 0.5 时没有漏判,但有 2 件不需要人工的被转人工;提到 0.6 后漏判仍为 0,误转人工降到 1 件,只是需要人工的样本最小值恰好在 0.6 附近,余量很小。

客户数据需求这一侧问题更明显。不需要人工的 9 件中有 3 件需要客户数据,其中 1 件的概率只有 0.2 左右,而当前规则是“小于 0.3 视为不需要客户数据”,这件会被分到 auto,回答里可能缺少客户专属数值。把阈值降到 0.2 左右可以全部覆盖。样本量只有 13 件,这些结论只能看趋势,正式上线前需要更多数据验证。需要强调的是,这里暴露的是阈值位置问题,不是判断模型本身的能力问题。

成本与计费

判断模型的单价明显低于通用模型,因此可以放心把大量数据送进去反复试验与调参。素材给出的具体单价与对比倍数会随时间变化,请以 Snowflake 官网当前价格信息为准,不要按本文数字做预算。

pipeline.yml 会集中到一个文件

用图形界面编排时,所有卡片定义会输出到同一个 pipeline.yml 中,文件会变得很长。结构大致是:先定义任务图对象(task_graph_object,含 roots 与 finalizer)、再定义代码包(code_bundle,通过 from.asset 指向 manifest 中的 asset)、然后逐张卡片定义 task(含 warehouse 与 definition)。卡片较多时建议按职责拆分管理,否则后续维护与代码评审都会很吃力。

返回值不能按行区分

再次强调:一张卡片一次执行只返回一个值。凡是需要“逐件工单不同处理”的逻辑,都要落到表的列上,由后续卡片读取列来决定处理范围,而不是指望返回值携带逐行信息。

Python 卡片必须先打包

Python、Notebook、ML Job 类卡片都不能直接内联代码,必须先创建代码包,并在任务定义中指定代码包、entrypoint 与运行环境。漏掉这一步,卡片无法运行。

失败要有兜底

判断模型与 Agent 都可能失败,因此图中为分类和质量检查各准备了一张通用模型兜底卡片,Agent 失败时也有转人工的卡片。单件调用失败继续处理下一件、失败比例超限才让卡片失败,这种策略可以避免个别异常拖垮整批处理。