
为 AI 审批流程设计有效的人类监督回路
为 AI 审批流程设计有效的人类监督回路
人类在回路中常常退化成橡皮图章:输出太长读不完、摘要由被审查的 AI 自己写、审批人一天点十次通过。本教程从注意力与双系统认知的机制出发,给出可落地的做法——先建结构、后放直觉,用固定评分表、具体提问、契约与更小的回路,把审批点从形式变成真正会思考的关卡。
几乎每个上生产的 AI 系统都会安排若干「人类在回路中」的检查点:模型给出建议,人看一眼,点通过。我们习惯把这些检查点当作整套系统安全的最后一道护栏,法规层面也常以「人类监督」的名义要求它存在。但护栏本身经常失效——审批人一天点十几次通过,输出长到没人读完,或者更隐蔽的一种:审批人先让 AI 把结果总结一遍,然后去批准这份由被审查对象自己写的摘要。形式上有人在回路里,实质上没有任何判断发生。
这篇教程要解决的就是这个问题:如何把「人类在回路中」从一个签字动作,改造成一条真正会运转的监督回路。它适合负责 AI 工作流设计的产品经理、平台工程师、风控与合规人员,也适合那些每天要在审批队列里做几十次判断的一线使用者。文中不会给出某个具体产品的配置步骤,而是给出一套可以套用到代码评审、Agent 动作审批、数据结论复核、内容发布审核等场景的结构化方法,并配一个贯穿始终的完整示例。
准备工作
这套方法不依赖特定工具,但在动手改造之前,需要先把几件事想清楚、准备好。缺少其中任何一项,后面的结构都会退化成新的橡皮图章。
明确这个检查点到底在承担什么责任
先回答一个容易被跳过的问题:这个审批点上的人,是否真的对结果负责?有一句流传很广、据说出自 1979 年 IBM 培训幻灯片的说法:计算机永远无法被追责,因此计算机永远不应做出管理决策。责任无法委托给机器,所以我们加一个人。这句话到今天依然成立,但它同时意味着:如果审批人既没有权限否决、也没有能力判断、还不承担后果,那么这个人只是把责任形式化地转移了一遍,并没有真正接住它。
在准备阶段,请为每个检查点写下三件事:谁签字、他能否说不、说不之后会发生什么。如果第三个问题的答案是「什么也不会发生」,这个检查点需要重新设计。
盘点当前回路的真实形态
把现有的审批流程画出来,重点看两件事:审批人实际看到的是什么,以及反馈以什么形式流回系统。常见的有两种失败形态。
- 读不完型:输出太长,审批人扫一眼开头,说「看起来没问题」,通过。
- 摘要型:审批人感觉更负责一些,先让 AI 总结一遍,再批准这份摘要。问题在于,摘要由被审查的系统自己生成,审批人实际上是在批准被审查者的自我陈述。
两种形态的共同点是:回路末端没有任何有意义的输入流回去。摘要型甚至更糟,因为它让盖章变得更舒服、更理直气壮。
准备可量化的评分维度
结构化审批需要一张评分表。准备阶段要为每个审批场景挑出少量关键维度(经验上五到七个足够),并为每个维度设计可以用事实回答的问题,而不是「你觉得好不好」。评分表要在审批开始前就定好,不能边看边改。
准备不被打断的时间块
深度判断需要连续、无干扰的时间。如果审批被安排成会议间隙的碎片时间,那么无论结构设计得多好,人都只能用最省力的方式处理。准备阶段要和团队约定:高风险审批必须落在完整的时间块里,而不是随手点开就处理。
操作步骤
第一步:判断人是否还「在得了」回路里
在讨论怎么让人判断得更好之前,先确认人还有没有能力判断。这里有两个方向相反的趋势正在同时发生。
一方面,人的持续注意力在变短。加州大学欧文分校的 Gloria Mark 长期测量人们在切换屏幕之前会在同一个界面上停留多久,测出的时长相当短——这不是说人的注意力上限只有这么长,而是说这已经是我们今天实际的工作方式。康奈尔大学的 James Cutting 统计了 150 部流行影片中的每一个剪辑点,发现镜头长度在持续缩短。短视频平台把单条内容的上限从最初的十几秒逐步放宽到十分钟,但它的起点本身就说明了我们日常在训练自己适应什么样的上下文长度。
另一方面,需要被审阅的内容在爆炸式增长。AI 不只多产出一点点,它批量生成会议纪要、拉取请求、Agent 动作、报告、邮件和代码,规模远超任何既有评审流程的设计容量。有研究团队在软件团队中观察到:重度使用 AI 的团队合并的拉取请求数量明显更多,单个请求的体量也更大,于是评审耗时上升,同时漏过的缺陷并没有减少。结论是瓶颈已经转移到人工审批这一环,而交付指标并没有因此改善。
把两条曲线放在一起看,结论很清楚:人处理长上下文的能力在下降,需要审阅的量在上升,人类在回路中就活在这两条线之间的缝隙里。所以第一步不是问「怎么让人更认真」,而是问「这个检查点是否还具备让人认真起来的条件」。如果不具备,先削减审批量、缩小每次审批的范围,再谈判断质量。
第二步:理解审批人脑子里发生了什么
要设计有效的回路,得先知道人的判断是怎么运作的。试着在脑子里算几道题:2 加 2 等于几?一个邮箱地址算不算个人数据?答案会自己冒出来,不费力。再试 17 乘以 24:你会安静下来,眼睛停止移动,需要真的去想。
这两种体验对应心理学家丹尼尔·卡尼曼在《思考,快与慢》中描述的两套系统(他称之为虚构角色,而非大脑中的具体部位)。系统一快速、自动、几乎不耗力;系统二缓慢、需要专注、耗力。前面那道 2 加 2 是系统一,17 乘 24 是系统二。
再看一个经典例子:球拍和球一共 1.10 元,球拍比球贵 1 元,球多少钱?直觉会立刻给出 10 分,感觉很对。正确答案是 5 分。只要稍微花一点力气,就能算对——但大多数人不花。这个例子说明系统一给出的答案往往带着不容置疑的自信。
系统一还会悄悄替你做决定。同一个中间形状,被字母包围时你读成 B,被数字包围时你读成 13,上下文替你消解了歧义,而你根本没意识到存在一个选择。卡尼曼把这称为对歧义的忽视和对怀疑的压制:系统一把模糊之处悄悄处理掉,然后交给系统二一个干净、确定的答案。
由此得到三个不太舒服的事实:
- 系统二大多数时候直接接受系统一的建议,它遵循「最省力法则」。
- 当系统二忙于别的事情时,系统一会直接相信读到的东西。Daniel Gilbert 的研究显示,忙碌的读者会把错误陈述当成真的。
- 手头压着十件事的审批人,正是这种忙碌的读者。
所以当风险较高时,必须刻意把系统二叫醒。根据卡尼曼的总结,系统二会在几种情况下启动:出现打破系统一世界模型的意外;遇到一个无法跳过的具体问题(注意,「看起来没问题吧?」不算具体问题);有一段不被打断的时间;以及看到别人犯的错——错误由别人踩出来时,我们远更容易发现。
对照一下:一个审批人当天已经看过十份流畅的 AI 输出,上面四个条件一个都不满足。这就是为什么「让人更认真」这种号召基本无效。
第三步:先建结构,后放直觉
卡尼曼自己的答案从来不是「更好的人」,而是「更好的程序」。这一点他在职业生涯早期就学到了。
1955 年,卡尼曼还是以色列军队心理学部门的一名年轻中尉,被要求改进新兵分配部队的方式。此前的做法是面试官和新兵聊一会儿,形成一个「这个人当兵会怎么样」的整体印象。卡尼曼把这些印象与新兵后来的实际表现做对比,发现预测力几乎为零。
于是他用固定程序取代了自由交谈:挑出六项对士兵重要的特质,比如责任感和社交性;针对每项特质,面试官要问关于新兵生活的事实性问题,例如换过几份工作、是否守时;每项特质单独打分,打完再进入下一项,避免第一印象污染后续判断。面试官抱怨这把他们变成了机器人,于是他加了一个折中步骤作为收尾:等所有分数都写下来之后,才可以闭上眼睛,想象这个新兵当兵的样子,给出整体判断。
结果结构化评分的预测效果远好于旧式面谈。让卡尼曼意外的是,最后那个闭眼判断的效果同样好——它之所以有价值,恰恰是因为它发生在结构之后,而不是取代结构。
医疗领域有一个类似的故事。1952 年,麻醉科医生 Virginia Apgar 给产房引入了一个简单评分:婴儿出生后,医生对几项生命体征各自按一个固定的小量表打分。它取代了每位医生各自的整体印象,而全世界产房至今仍在使用。
结论是:不要试图用意志力把人推进系统二,而要在人周围搭好结构,让多年经验积累出的直觉在边界之内发挥作用。落到操作上,就是三件事:
- 先评分,后直觉:所有结构化评分必须在整体印象之前完成并落笔。
- 一次只评一个维度:评完一项再进入下一项,防止光环效应。
- 问题要具体:问事实,不问感受。
第四步:设计「刻意回路」
有了结构,还需要回路本身是刻意设计出来的。所谓刻意回路,指的是围绕这个人有意设置的规范、契约和更小的回路。具体包括:
- 规范:审批依据的标准要事先写清楚,而不是每次临场发挥。
- 契约:被审批的产出要附带明确的用途说明、责任人和边界条件,审批人知道自己在批准什么。
- 更小的回路:把一次大审批拆成若干次小审批,每次只处理一个可判断的单元。这同时解决了「读不完」和「注意力碎片化」两个问题。
在数据领域,已经有若干开放标准在做类似的事:把数据当作产品来管理,每个业务域拥有若干有明确用途和具名责任人的数据产品,数据产品本身带有描述其意图的规范。这类标准的共同思路值得借鉴:让被审批的对象自带契约,而不是让审批人去猜它的意图。
第五步:把系统二的四个唤醒条件嵌进流程
回到卡尼曼列出的四个唤醒条件,把它们逐条变成流程设计:
| 唤醒条件 | 流程中的落地方式 |
|---|---|
| 打破预期的意外 | 在审批界面主动标出与历史模式不一致的地方,例如异常大的改动、异常高的置信度、与上次结论相反的结果 |
| 无法跳过的具体问题 | 用「这个字段的来源表是哪一张?」替代「看起来没问题吧?」;问题必须能用一个事实回答 |
| 不被打断的时间 | 高风险审批安排在完整时间块内,审批期间关闭通知 |
| 别人犯的错 | 在审批材料中附上同类历史案例中的错误样本,让审批人先看别人踩过的坑 |
这四条不需要全部同时满足,但至少要满足两条,否则系统二基本不会被唤醒。
一个完整示例
下面用一个虚构的欧洲在线玩具商店 PlayNest 走一遍完整流程。它像同规模的大多数公司一样,运行着许多系统和许多团队,数据「差不多」对得上。PlayNest 把数据当作产品管理,每个业务域拥有一组用途明确、责任人有名有姓的数据产品。贯穿全例的问题是:哪些营销活动转化最好?
在数据产品之上,是 PlayNest 的一条业务路径:一次营销活动把匿名访客带到网站,访客被识别为线索,线索下单后成为客户。路径的每一步都落在不同的业务域里。
反面做法:原始审阅
假设一位高管从多个来源下载了数据,丢进自己的 AI 账户,问「上个季度哪个活动转化最好」。AI 拿到的是一堆没有责任人、没有契约的原始数据资产,它把能找到的东西随手连起来,给出一个自信的答案。高管接受了,因为答案很长、很流畅,正是系统一喜欢的样子。
这个流程的问题不在于 AI 答错了,而在于回路里没有任何东西能让人发现问题:没有契约说明数据该怎么用,没有责任人可以追问,没有具体问题需要回答,也没有时间让人真的去想。
改造后的做法
第一步,缩小回路。把「哪个活动转化最好」拆成三个可独立判断的小问题:活动到访客的归因是否完整?访客到线索的识别规则是否一致?线索到订单的转化口径是否统一?每次审批只处理一个。
第二步,附上契约。每个数据产品在提交审批时附带用途说明、责任人、更新频率和已知边界。审批人看到的不再是一张裸表,而是一份带说明的交付物。
第三步,先评分。审批人按预先定好的维度逐项打分,每项用事实性问题回答。例如:
- 归因窗口与业务定义是否一致?(是 / 否 / 需确认)
- 匿名访客到线索的匹配率是否在预期区间内?(给出实际数值)
- 订单口径是否包含取消与退款?(是 / 否)
- 责任人是否已确认本次用途?(是 / 否)
每项打完分再进入下一项,不允许先形成整体印象再补分数。
第四步,后放直觉。所有分数落笔之后,审批人才可以给出整体判断。此时直觉是在结构之上发挥作用的,而不是替代结构。
第五步,让反馈流回去。审批结论必须包含具体的、可执行的反馈,例如「归因窗口需从 7 天改为 30 天并重跑」「订单口径需排除退款单」。如果结论只有「通过」两个字,说明这个回路没有闭合。
第六步,记录并复盘。把每次审批的评分、结论和后续实际结果放在一起,定期回看:哪些维度真正预测了问题,哪些维度从来没人打过分。评分表本身也需要迭代。
注意事项
- 不要把摘要当成审阅。让被审查的系统自己生成摘要再批准,比直接批准原文更危险,因为它给了审批人一种「我已经认真看过了」的错觉。摘要可以由独立于被审查对象的流程生成,或者干脆不用。
- 「看起来没问题吧」不是问题。系统二不会被这种提问唤醒。审批问题必须具体到可以用事实回答。
- 结构不能省,直觉不能前置。闭眼判断之所以有效,是因为它发生在结构化评分之后。如果先给整体印象再补分数,分数会被印象污染,整套结构就白搭了。
- 审批量本身就是风险因素。当一个人当天已经处理了十份流畅的 AI 输出,他的系统二基本处于关闭状态。控制单位时间内的审批数量,是设计的一部分,不是管理层的额外要求。
- 责任必须真实存在。如果审批人没有否决权、否决后也没有后果,那么无论流程设计得多精细,这个检查点都只是形式。设计回路之前先确认这一点。
- 法规要求不等于实现。不少司法辖区的 AI 监管框架把「人类监督」写进了法律条文,同时也警告自动化偏误的风险。合规文本要求的是有效监督,而不是一个签字框。具体条款与适用范围请以各辖区监管机构的当前官方信息为准。
- 评分维度不宜过多。维度太多会让审批人重新回到「快速扫一遍」的模式。经验上五到七个维度、每个维度一个事实性问题,是比较容易坚持的规模。
- 工具与平台的功能、配额、价格会变化。如果你打算用某个具体平台来实现上述流程,相关能力与限制请以该平台官网的当前信息为准。