AB
AiBoss
チュートリアル

为企业级 AI Agent 搭建独立监督层:从人工审核队列走向三层运维架构

チュートリアル

为企业级 AI Agent 搭建独立监督层:从人工审核队列走向三层运维架构

当 Agent 数量从几个扩展到几十上百个,逐条人工审核会从安全网变成积压队列。本教程讲如何在工作 Agent 与人类之间插入一层独立的、带外运行的监督层:划分任务级自治边界、用独立遥测而非 Agent 自报指标做判断、把可逆操作交给机器、把不可逆变更升级给人,并给出汇率换算 Agent 静默漂移的完整处置示例。

当企业把 Agent 从几个试点推到几十、上百个时,最先崩掉的往往不是模型能力,而是运维。工作 Agent 每小时做出成千上万次决策,调用 API、跑 SQL;而一名工程师读完一条 trace 就要几分钟。两层结构——底层干活的工作 Agent,上层做审核、审批、异常处理的人类——在规模小的时候成立,规模一大,人工审核队列就从安全网变成了积压。这篇教程讲的是把它扩成三层:在工作 Agent 和人类治理者之间,插入一个带外运行的、自治的监督层。人类不再逐条读原始产出,而是审阅监督层升级上来的、已经排好优先级的关键决策。

准备工作

这不是装一个包就能跑起来的东西,动手之前需要先把几件事定下来。以下前置条件按依赖顺序排列。

1. 一份完整的 Agent 动作清单

先审计每个 Agent 能执行的全部动作,逐个判断:如果这个动作失败或做错,在你的组织里会造成多大损害。判断依据是单次动作的破坏半径,不是 Agent 整体的可信度。同一个 Agent 可能既会执行「暂停一个批次」这种可逆操作,也会执行「向客户账户写入金额」这种不可逆变更,两者的自治级别必须不同。

审计的输出是一张动作分级表,至少分三档:

  • 低风险、易撤销:暂停批次、刷新表、缓冲出站请求、重放一条查询。这类动作交给监督层自主执行。
  • 高风险、不可逆:修改映射配置并上线、写入财务数据、对外发送通知。这类动作必须升级给人类审批。
  • 需要人工判断根因:涉及上游 schema 变更、第三方 API 语义变化等,监督层只负责定位和起草补丁,不负责拍板。

2. 独立的计算资源与服务账号

监督层必须跑在专用计算上,使用独立的服务账号。工作 Agent 不能读取、修改或终止监督进程。这是整个架构的地基:如果监督层和工作 Agent 共享运行时,它就继承了被监督系统的超时限制、资源竞争和故障模式,等于没有监督。

3. 独立遥测数据源

监督层的证据不能来自工作 Agent 的自报指标。需要接入的是工作 Agent 无法写入的数据源,典型有三类:

  • 由网络网关或 LLM 代理捕获的 trace——这条链路不归 Agent 控制;
  • 数据仓库的查询日志;
  • 底层表的指标,例如行数、空值率、取值分布。

如果只能拿到 Agent 自己上报的 span 指标,那么「一切正常」这个结论本身就是不可信的——素材里提到的静默失败,指的正是监控指标看起来正常、而关键问题正在发生的情形。

4. 只追加的审计日志

每一次观测、每一次修复尝试、每一次升级决策,都要写入只追加(append-only)的审计日志,并且人类工程师可以访问。这份日志同时承担两个作用:事后追责,以及给监督层本身做抽检。

5. 写成配置的策略文件

自治边界不要埋在代码里,要写成配置文件。这样它可以被评审、被版本化、被审计,也可以随着对监督层信任度的提升而收紧或放宽。策略文件里每条规则至少包含:规则名、判定指标、阈值、风险等级、动作类型(自主执行 / 需审批)、审批超时后的安全兜底动作。

操作步骤

步骤一:把两层结构拆成三层

原来的结构是「工作 Agent → 人类」。改造后是「工作 Agent → 监督层 → 人类」。三层的职责划分如下:

层职责时间尺度
工作 Agent执行领域任务:查库、答客户、分派工单、换算金额毫秒到秒
监督层对照独立遥测计算指标、匹配策略、执行可逆动作、升级不可逆动作秒到分钟
人类制定策略、审批高风险动作、抽检监督层的判断分钟到小时

关键变化在于人类看的东西变了:不再逐条解读原始产出,而是审阅监督层已经排好优先级、附带根因和处置建议的升级项。用一句话概括就是——人审的是审阅者,不是原始工作。

步骤二:给监督层定下四条结构规则

这四条不是最佳实践建议,而是监督层能否成立的前提。任何一条不满足,监督层就会退化成内联护栏,和被监督系统一起失效。

  1. 运行时与凭据隔离:专用计算、独立服务账号,工作 Agent 无权读写或终止监督进程。
  2. 绝不接受被监督 Agent 的指令:工作 Agent 的输出一律当作待分析的遥测数据处理,永远不当作可执行命令。
  3. 证据来自 Agent 写不到的源:网关或代理捕获的 trace、仓库查询日志、底层表指标。不采信自报指标。
  4. 不可变审计轨迹:所有观测、修复尝试、升级决策写入只追加日志。

为什么强调「带外」?因为内联运行的监督层会继承它所检查的系统的运行时漏洞、超时限制和故障模式。检查者和被检查者共享命运,检查就失去意义。

步骤三:按任务粒度写自治策略

权限不能是「可信 / 不可信」的二元开关,要落到任务级别。下面是一张发票对账流水线的示例策略表,可以直接作为你写自己策略文件的模板:

规则判定指标阈值示例风险等级动作超时兜底
汇率兜底比例异常以精确 1.00 写入的换算交易占比基线 0.2%,超过 5% 触发低自主暂停批次无需审批,直接执行
上游 API 字段变更代理侧 payload 差异出现重命名字段中起草映射补丁并升级保持批次暂停状态
映射配置上线补丁审批状态—高需人工审批不自动上线,继续缓冲
表新鲜度下降仓库表最后更新时间超过约定窗口低自主刷新表无需审批,直接执行

表中的阈值只是示例,实际数值要按你的业务基线来定,不要照抄。策略的执行逻辑本身很简单,三步循环:

  1. 对每条规则,用独立计算出来的指标做判定;
  2. 命中且标记为自主的规则,直接执行动作;
  3. 命中且需要审批的规则,连同截止时间和安全兜底动作一起路由给值班工程师。没人响应时,兜底动作生效。

因为策略是配置而非代码,它可以像其他配置一样被评审、版本化、审计,也可以随着信任度提升逐步放宽自主范围。

步骤四:让监督层保持「笨」

监督层本身也是软件,也会坏。那么要不要再加一层来监控它?这样会陷入 Agent 看 Agent、再看 Agent 的无限套娃。正确的做法是反过来:让监督层比它监控的 Agent 简单得多。

  • 它只做「拿自己采集的数据去比对规则」,不做推理、不自行得出结论。
  • 它自主执行的动作必须易撤销:暂停批次、刷新表。出错的代价是浪费时间,不是收入或声誉。
  • 它的每一个决策都被记录,并由人类持续抽检。抽检的意义是把人的注意力重新分配到最关键的决策上。

换句话说,监督层不需要聪明,它需要可预测、可回滚、可审计。

一个完整示例

下面这个场景把上面的所有环节串起来。它来自一家金融机构的货币换算 Agent,负责在国际发票上做币种换算,依赖一个第三方汇率 API 和一个内部数据仓库视图。

故障是怎么发生的

某天,第三方汇率 API 更新了 payload schema,把美元汇率的字段改了名。换算 Agent 没有识别出这个变化。它没有报错——它的兜底逻辑把缺失的汇率默认成静态的 1.00,继续处理发票,返回 200 状态码,换算后的金额表面上完全正常,实际上在数学上是错的。

此时 Agent 自报的 span 指标一切正常。如果只看这份遥测,人类运维要等到问题在下游某处暴露、已经影响到业务用户或客户之后才会发现。

监督层做了什么

第一步,审计目标仓库表,而不是 Agent 的自报遥测。监督层计算「兜底汇率比例」——即以精确 1.00 写入的换算交易占比。这个指标从预期的基线 0.2% 跳到了 18.4%,而与此同时 Agent 报告它的工具调用全部成功。

第二步,查策略。「暂停批次」被标记为低风险、自主执行。监督层立即向队列管理器发出 hold 请求,把出站发票缓冲在企业边界之内,不让它们流出去。

第三步,做修复准备。监督层检查代理侧的 payload 差异,定位到被重命名的 API 字段,为 Agent 的映射配置起草一份补丁,然后把事件路由到值班工程师的队列。

第四步,人类接手。工程师收到的告警里包含:根因、受影响的发票 ID、被暂停批次的状态、以及一份待审的 schema 补丁。工程师批准,事件关闭。

整个过程中,人类只做了一个判断——批准补丁。定位、止损、起草方案都由监督层完成。这就是三层架构和两层架构在规模上的差别:人的时间花在决策上,不花在排查上。

注意事项

人工审核的带宽是有上限的

一名工程师现实中能盯住的活跃 Agent 和数据管道数量很有限,超过之后审核质量就会下降。这不是态度问题,是带宽问题。当 Agent 数量扩展到五十、一百甚至上千,同步的人工审核队列必然变成工程团队的积压。

静默漂移是最难发现的失败模式

Agent 很少以抛出明显异常的方式失败。更常见的是:基于有缺陷的中间工具调用或过期的上游数据,产出一个自信、看起来合法的结果,然后让它继续在系统里传播。这类问题靠人扫告警、读仪表盘很难抓到,靠 Agent 自报指标更抓不到。

不要用内联护栏代替独立监督层

把监督逻辑做成内联护栏,看似省事,但它会继承被检查系统的运行时漏洞、超时限制和故障模式。检查者与被检查者共享同一套运行时,就失去了独立性。

自治边界要按动作划分,不要按 Agent 划分

给整个 Agent 打上「可信」标签,等于允许它执行任何动作。正确的粒度是单次动作的破坏半径:可逆的放行,不可逆的升级。这条规则写进策略文件,才能被审计和调整。

监督层自身的故障要有兜底

监督层是软件,会失败。所以它自主执行的动作必须限定在易撤销的范围内,并且每条需要审批的规则都要配一个超时兜底动作——没人响应时系统进入安全状态,而不是继续放行。

策略阈值需要按业务基线校准

示例中的 0.2% 基线、18.4% 异常值都是特定场景下的数字,不能直接套用。上线前先用历史数据跑一遍规则,确认误报率可接受,再逐步放开自主执行的范围。涉及具体产品能力、配额与计费方式的部分,以各服务商官网当前信息为准。