
为企业级 AI Agent 搭建独立监督层:从人工审核队列走向三层运维架构
为企业级 AI Agent 搭建独立监督层:从人工审核队列走向三层运维架构
当 Agent 数量从几个扩展到几十上百个,逐条人工审核会从安全网变成积压队列。本教程讲如何在工作 Agent 与人类之间插入一层独立的、带外运行的监督层:划分任务级自治边界、用独立遥测而非 Agent 自报指标做判断、把可逆操作交给机器、把不可逆变更升级给人,并给出汇率换算 Agent 静默漂移的完整处置示例。
当企业把 Agent 从几个试点推到几十、上百个时,最先崩掉的往往不是模型能力,而是运维。工作 Agent 每小时做出成千上万次决策,调用 API、跑 SQL;而一名工程师读完一条 trace 就要几分钟。两层结构——底层干活的工作 Agent,上层做审核、审批、异常处理的人类——在规模小的时候成立,规模一大,人工审核队列就从安全网变成了积压。这篇教程讲的是把它扩成三层:在工作 Agent 和人类治理者之间,插入一个带外运行的、自治的监督层。人类不再逐条读原始产出,而是审阅监督层升级上来的、已经排好优先级的关键决策。
准备工作
这不是装一个包就能跑起来的东西,动手之前需要先把几件事定下来。以下前置条件按依赖顺序排列。
1. 一份完整的 Agent 动作清单
先审计每个 Agent 能执行的全部动作,逐个判断:如果这个动作失败或做错,在你的组织里会造成多大损害。判断依据是单次动作的破坏半径,不是 Agent 整体的可信度。同一个 Agent 可能既会执行「暂停一个批次」这种可逆操作,也会执行「向客户账户写入金额」这种不可逆变更,两者的自治级别必须不同。
审计的输出是一张动作分级表,至少分三档:
- 低风险、易撤销:暂停批次、刷新表、缓冲出站请求、重放一条查询。这类动作交给监督层自主执行。
- 高风险、不可逆:修改映射配置并上线、写入财务数据、对外发送通知。这类动作必须升级给人类审批。
- 需要人工判断根因:涉及上游 schema 变更、第三方 API 语义变化等,监督层只负责定位和起草补丁,不负责拍板。
2. 独立的计算资源与服务账号
监督层必须跑在专用计算上,使用独立的服务账号。工作 Agent 不能读取、修改或终止监督进程。这是整个架构的地基:如果监督层和工作 Agent 共享运行时,它就继承了被监督系统的超时限制、资源竞争和故障模式,等于没有监督。
3. 独立遥测数据源
监督层的证据不能来自工作 Agent 的自报指标。需要接入的是工作 Agent 无法写入的数据源,典型有三类:
- 由网络网关或 LLM 代理捕获的 trace——这条链路不归 Agent 控制;
- 数据仓库的查询日志;
- 底层表的指标,例如行数、空值率、取值分布。
如果只能拿到 Agent 自己上报的 span 指标,那么「一切正常」这个结论本身就是不可信的——素材里提到的静默失败,指的正是监控指标看起来正常、而关键问题正在发生的情形。
4. 只追加的审计日志
每一次观测、每一次修复尝试、每一次升级决策,都要写入只追加(append-only)的审计日志,并且人类工程师可以访问。这份日志同时承担两个作用:事后追责,以及给监督层本身做抽检。
5. 写成配置的策略文件
自治边界不要埋在代码里,要写成配置文件。这样它可以被评审、被版本化、被审计,也可以随着对监督层信任度的提升而收紧或放宽。策略文件里每条规则至少包含:规则名、判定指标、阈值、风险等级、动作类型(自主执行 / 需审批)、审批超时后的安全兜底动作。
操作步骤
步骤一:把两层结构拆成三层
原来的结构是「工作 Agent → 人类」。改造后是「工作 Agent → 监督层 → 人类」。三层的职责划分如下:
| 层 | 职责 | 时间尺度 |
|---|---|---|
| 工作 Agent | 执行领域任务:查库、答客户、分派工单、换算金额 | 毫秒到秒 |
| 监督层 | 对照独立遥测计算指标、匹配策略、执行可逆动作、升级不可逆动作 | 秒到分钟 |
| 人类 | 制定策略、审批高风险动作、抽检监督层的判断 | 分钟到小时 |
关键变化在于人类看的东西变了:不再逐条解读原始产出,而是审阅监督层已经排好优先级、附带根因和处置建议的升级项。用一句话概括就是——人审的是审阅者,不是原始工作。
步骤二:给监督层定下四条结构规则
这四条不是最佳实践建议,而是监督层能否成立的前提。任何一条不满足,监督层就会退化成内联护栏,和被监督系统一起失效。
- 运行时与凭据隔离:专用计算、独立服务账号,工作 Agent 无权读写或终止监督进程。
- 绝不接受被监督 Agent 的指令:工作 Agent 的输出一律当作待分析的遥测数据处理,永远不当作可执行命令。
- 证据来自 Agent 写不到的源:网关或代理捕获的 trace、仓库查询日志、底层表指标。不采信自报指标。
- 不可变审计轨迹:所有观测、修复尝试、升级决策写入只追加日志。
为什么强调「带外」?因为内联运行的监督层会继承它所检查的系统的运行时漏洞、超时限制和故障模式。检查者和被检查者共享命运,检查就失去意义。
步骤三:按任务粒度写自治策略
权限不能是「可信 / 不可信」的二元开关,要落到任务级别。下面是一张发票对账流水线的示例策略表,可以直接作为你写自己策略文件的模板:
| 规则 | 判定指标 | 阈值示例 | 风险等级 | 动作 | 超时兜底 |
|---|---|---|---|---|---|
| 汇率兜底比例异常 | 以精确 1.00 写入的换算交易占比 | 基线 0.2%,超过 5% 触发 | 低 | 自主暂停批次 | 无需审批,直接执行 |
| 上游 API 字段变更 | 代理侧 payload 差异 | 出现重命名字段 | 中 | 起草映射补丁并升级 | 保持批次暂停状态 |
| 映射配置上线 | 补丁审批状态 | — | 高 | 需人工审批 | 不自动上线,继续缓冲 |
| 表新鲜度下降 | 仓库表最后更新时间 | 超过约定窗口 | 低 | 自主刷新表 | 无需审批,直接执行 |
表中的阈值只是示例,实际数值要按你的业务基线来定,不要照抄。策略的执行逻辑本身很简单,三步循环:
- 对每条规则,用独立计算出来的指标做判定;
- 命中且标记为自主的规则,直接执行动作;
- 命中且需要审批的规则,连同截止时间和安全兜底动作一起路由给值班工程师。没人响应时,兜底动作生效。
因为策略是配置而非代码,它可以像其他配置一样被评审、版本化、审计,也可以随着信任度提升逐步放宽自主范围。
步骤四:让监督层保持「笨」
监督层本身也是软件,也会坏。那么要不要再加一层来监控它?这样会陷入 Agent 看 Agent、再看 Agent 的无限套娃。正确的做法是反过来:让监督层比它监控的 Agent 简单得多。
- 它只做「拿自己采集的数据去比对规则」,不做推理、不自行得出结论。
- 它自主执行的动作必须易撤销:暂停批次、刷新表。出错的代价是浪费时间,不是收入或声誉。
- 它的每一个决策都被记录,并由人类持续抽检。抽检的意义是把人的注意力重新分配到最关键的决策上。
换句话说,监督层不需要聪明,它需要可预测、可回滚、可审计。
一个完整示例
下面这个场景把上面的所有环节串起来。它来自一家金融机构的货币换算 Agent,负责在国际发票上做币种换算,依赖一个第三方汇率 API 和一个内部数据仓库视图。
故障是怎么发生的
某天,第三方汇率 API 更新了 payload schema,把美元汇率的字段改了名。换算 Agent 没有识别出这个变化。它没有报错——它的兜底逻辑把缺失的汇率默认成静态的 1.00,继续处理发票,返回 200 状态码,换算后的金额表面上完全正常,实际上在数学上是错的。
此时 Agent 自报的 span 指标一切正常。如果只看这份遥测,人类运维要等到问题在下游某处暴露、已经影响到业务用户或客户之后才会发现。
监督层做了什么
第一步,审计目标仓库表,而不是 Agent 的自报遥测。监督层计算「兜底汇率比例」——即以精确 1.00 写入的换算交易占比。这个指标从预期的基线 0.2% 跳到了 18.4%,而与此同时 Agent 报告它的工具调用全部成功。
第二步,查策略。「暂停批次」被标记为低风险、自主执行。监督层立即向队列管理器发出 hold 请求,把出站发票缓冲在企业边界之内,不让它们流出去。
第三步,做修复准备。监督层检查代理侧的 payload 差异,定位到被重命名的 API 字段,为 Agent 的映射配置起草一份补丁,然后把事件路由到值班工程师的队列。
第四步,人类接手。工程师收到的告警里包含:根因、受影响的发票 ID、被暂停批次的状态、以及一份待审的 schema 补丁。工程师批准,事件关闭。
整个过程中,人类只做了一个判断——批准补丁。定位、止损、起草方案都由监督层完成。这就是三层架构和两层架构在规模上的差别:人的时间花在决策上,不花在排查上。
注意事项
人工审核的带宽是有上限的
一名工程师现实中能盯住的活跃 Agent 和数据管道数量很有限,超过之后审核质量就会下降。这不是态度问题,是带宽问题。当 Agent 数量扩展到五十、一百甚至上千,同步的人工审核队列必然变成工程团队的积压。
静默漂移是最难发现的失败模式
Agent 很少以抛出明显异常的方式失败。更常见的是:基于有缺陷的中间工具调用或过期的上游数据,产出一个自信、看起来合法的结果,然后让它继续在系统里传播。这类问题靠人扫告警、读仪表盘很难抓到,靠 Agent 自报指标更抓不到。
不要用内联护栏代替独立监督层
把监督逻辑做成内联护栏,看似省事,但它会继承被检查系统的运行时漏洞、超时限制和故障模式。检查者与被检查者共享同一套运行时,就失去了独立性。
自治边界要按动作划分,不要按 Agent 划分
给整个 Agent 打上「可信」标签,等于允许它执行任何动作。正确的粒度是单次动作的破坏半径:可逆的放行,不可逆的升级。这条规则写进策略文件,才能被审计和调整。
监督层自身的故障要有兜底
监督层是软件,会失败。所以它自主执行的动作必须限定在易撤销的范围内,并且每条需要审批的规则都要配一个超时兜底动作——没人响应时系统进入安全状态,而不是继续放行。
策略阈值需要按业务基线校准
示例中的 0.2% 基线、18.4% 异常值都是特定场景下的数字,不能直接套用。上线前先用历史数据跑一遍规则,确认误报率可接受,再逐步放开自主执行的范围。涉及具体产品能力、配额与计费方式的部分,以各服务商官网当前信息为准。