
用 Z3 构建神经符号智能体:把英文需求翻译成可验证约束
用 Z3 构建神经符号智能体:把英文需求翻译成可验证约束
神经符号智能体把语言模型的翻译能力与符号求解器的可验证推理结合起来,让每一步决策都能被检查。本文解释它的工作原理、检查器在智能体循环中的四种放置位置,并用 Python 与 Z3 从零构建一个排程智能体,演示求解器如何定位错误约束,以及形式化鸿沟为何仍是这类系统的主要短板。
语言模型智能体最危险的地方不是它答不出来,而是它答得又快又自信,却是错的。一个真实案例是加拿大航空的网站聊天机器人:一位乘客询问丧亲票价,机器人告诉他可以先买普通票、90 天内申请折扣,而航空公司实际政策根本不允许退款——机器人甚至还在回复里附上了写明政策的页面链接。航空公司拒绝退款,并在仲裁中辩称自己不对聊天机器人的说法负责,仲裁机构在 2024 年 2 月驳回了这一主张,判令其赔付差价。
神经符号智能体(neurosymbolic agent)正是针对这类问题的一种回应:把智能体推理的一部分交给符号工具,例如约束求解器或证明检查器,由它指出模型在哪里说错了。本文先说明这类系统的定义与工作原理,再解释检查器放在智能体循环的不同位置会带来什么差别,最后用 Python 和 Z3 从零构建一个排程智能体,并演示它为什么仍然会在「翻译」这一步翻车。
准备工作
动手之前,先把概念和工具链理清楚。这一节不涉及账号或密钥,全部是本地可完成的环境准备。
理解「神经符号」的边界
「神经符号」这个词今天覆盖的系统非常杂,所以需要一个更窄、可操作的定义:神经符号智能体,是指其中至少有一个决策由某个作用于显式符号的组件做出或检查,这些符号有形式化含义,因此该决策的正确性可以在不信任神经网络的前提下被验证。
这个定义的关键在于「不信任神经网络也能验证」。如果只是让模型输出一段 JSON 再解析,那不算;如果让模型写一段代码然后执行,也不算——除非执行结果本身能被独立检查。
从历史看,这条路走了很久。17 世纪 80 年代,莱布尼茨设想一种形式语言,任何论证都能被精确写下来,意见相左的两个人不必再辩论,只需坐下来说「让我们算一算」(Calculemus)。这个计划失败的原因很实际:必须有人手工把日常问题翻译成形式语言,而这几乎不可能。AI 领域撞上了同一堵墙:专家系统、规划器这类符号系统推理可靠,但每条规则都要人写;神经网络能从数据里学习,却不保证输出正确,至今仍是黑箱。大语言模型改变了局面——它能把自然语言翻译成 SQL、PDDL 这类形式语言,而 PDDL 正是 AI 规划器的输入语言。
安装 Python 与 Z3
示例使用微软开源的 SMT 求解器 Z3,通过 Python 绑定调用。只需要一条安装命令:
pip install z3-solver
示例代码只用到 z3 包中的 Int、Solver、Distinct、And、sat 这几个名字,Python 3 环境即可运行。Z3 的版本迭代较快,具体版本号与 API 细节请以官网当前信息为准。
准备一个「翻译格式」而不是让模型写代码
这是整个方案里最重要的工程约束:不要让语言模型直接写 Z3 代码。模型只负责把每一句英文需求填进一个小的、带类型的格式里,每句对应一个具名约束;再由固定代码把这个格式编译成 Z3 表达式。这样任何模型生成的代码都不会被执行,攻击面和调试难度都大幅下降。
操作步骤
第一步:明确求解器到底检查了什么
设英文任务为 x,参数为 θ 的语言模型把 x 翻译成形式化规格 φ,符号引擎 Σ 返回答案 y 与一份证书 c(例如一个证明,或一个满足赋值的解):
φ = f_θ(x)
(y, c) = Σ(φ)
证书证明的是「y 满足 φ」。但它不保证 φ 就是用户想要的东西:
c 证明 y ⊨ φ,但不证明 y ⊨ x
没有人能形式化地检查 y 是否等于用户的本意,因为「用户的本意」本身没有形式化定义。x 与 φ 之间的距离,就是本文所说的形式化鸿沟(formalization gap)。记住这个概念,后面所有的坑都从这里长出来。
第二步:理解为什么值得加一个检查器
既然鸿沟消不掉,为什么还要加检查器?因为错误会累积。若任务每一步正确的概率是 p,且错误不被发现,n 步任务的成功率是 p 的 n 次方。若一个可靠的检查器能抓住每一步的错误,且智能体每步最多重试 k 次,成功率会显著提高:
P_unchecked(n) = p^n
P_checked(n) = (1 - (1 - p)^k)^n
代入 p = 0.95、n = 20:没有检查器时,任务只有约 36% 的概率全程正确;有检查器且每步可试三次时,约 99.8%。这就是符号组件在长链条任务上的价值来源。
亚利桑那州立大学 Subbarao Kambhampati 团队进一步指出,语言模型无法可靠地验证自己的计划——模型检查自己时,盲区和写计划时是同一套。他们提出的 LLM-Modulo 框架让模型提出计划、由外部验证器裁决,正是这一思路。
第三步:决定检查器放在循环的哪个位置
效果好不好,很大程度上取决于检查器插在智能体循环的哪一环。近期工作大致有四种放法。
放法一:让求解器直接产出答案。Logic-LM 让语言模型把问题写成符号形式,由求解器完成推理;求解器报错时,错误信息回传给模型,让它修正翻译。在五个逻辑推理数据集上,Logic-LM 平均比标准提示高 39.2%,比思维链提示高 18.4%,且问题需要的推理步数越多,领先幅度越大——这与上面的错误累积分析一致。
放法二:在动作执行前逐条检查。Agent-C 用一个小规则语言写下「访问用户数据前必须先认证」这类规则,转成逻辑后交给 SMT 求解器,拦截违反规则的工具调用。在零售与航空客服基准上,配合 Claude Sonnet 4.5 与 GPT-5 都达到了 100% 的策略符合率,任务效用分数还上升了——这与「安全规则会让智能体变笨」的常见假设相反。
放法三:检查最终答案。Amazon Bedrock Guardrails 中的 Automated Reasoning checks 把书面策略转成逻辑,逐条检查模型回复;每条回复会被翻译多次,只有多个版本一致时才采信结果。作者报告其可靠性超过 99%,且几乎没有误报。
放法四:把检查器当作训练时的奖励信号。当前最强的定理证明器就是这样训练出来的。
在语言任务之外,符号组件同样有优势。一项覆盖 178 篇论文的综述报告:机器人任务完成率提升 23%,自主导航成功率 95.4%(神经基线为 18.6%),且训练数据需求小得多。需要注意,这些研究比较的是差异很大的系统,数字不能直接横向套用。
第四步:写一个排程任务
下面构建一个小智能体。用户用英文提出需求,智能体要把它转成 Z3 约束。需求原文是:
在我们的单 GPU 节点上安排四个作业:数据摄取、训练、评估、部署。摄取在训练和评估之前运行。评估在训练之后、12:00 维护窗口之前运行。12:00 不运行任何作业。部署在下午进行,且至少在评估之后两小时。
先定义基础约束:每个作业用一个整数变量表示开始小时,作业占一小时,时间窗为 09:00 到 17:00,且同一时刻只能跑一个作业。
from z3 import Int, Solver, Distinct, And, sat
jobs = ["ingest", "train", "evaluate", "deploy"]
t = {j: Int(j) for j in jobs} # 每个作业的开始小时
def base():
"""09:00 到 17:00 的一小时槽位,每个槽位只放一个作业。"""
return [And(t[j] >= 9, t[j] <= 17) for j in jobs] + [Distinct(*t.values())]
第五步:把具名约束交给求解器
模型填出的格式是「一句英文对应一个具名约束」。求解时用 assert_and_track 把名字挂到约束上,这样一旦不可满足,就能拿到 unsat_core——具体是哪几条约束互相冲突。
def schedule(spec):
s = Solver()
s.add(base())
for name, c in spec.items(): # 每句英文对应一个具名约束
s.assert_and_track(c, name)
if s.check() == sat:
m = s.model()
return {j: m[t[j]].as_long() for j in jobs}
return sorted(str(c) for c in s.unsat_core())
第六步:观察一次失败的翻译
下面是模型给出的翻译。注意 deploy_gap 这一条:需求说的是「部署至少在评估之后两小时」,模型却写成了评估在部署之后两小时,方向反了。
llm_spec = {
"ingest_first": And(t["ingest"] < t["train"], t["ingest"] < t["evaluate"]),
"eval_after_train": t["train"] < t["evaluate"],
"eval_before_noon": t["evaluate"] < 12,
"nothing_at_noon": And([t[j] != 12 for j in jobs]),
"deploy_afternoon": t["deploy"] >= 13,
"deploy_gap": t["evaluate"] >= t["deploy"] + 2, # 方向写反了
}
print(schedule(llm_spec))
输出是:
['deploy_afternoon', 'deploy_gap', 'eval_before_noon']
求解器做的不只是拒绝这份规格,它点名了六条约束中无法同时成立的那三条。每个名字都对应一句英文,智能体因此可以精确告诉模型「回去看这几句」。这种反馈比另一个语言模型写的自由文本评论有用得多。
第七步:修正后重新求解
模型按反馈改正方向,再次求解:
llm_spec["deploy_gap"] = t["deploy"] >= t["evaluate"] + 2 # 按反馈修正
print(schedule(llm_spec))
得到一份排程:
{'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 13}
这份排程是「已验证」的——它满足每一条约束。但正如前面所说,求解器无法保证这些约束就是用户的本意。
一个完整示例
把上面的片段串起来,就是一个可运行的最小神经符号智能体。完整流程如下:
from z3 import Int, Solver, Distinct, And, sat
jobs = ["ingest", "train", "evaluate", "deploy"]
t = {j: Int(j) for j in jobs}
def base():
return [And(t[j] >= 9, t[j] <= 17) for j in jobs] + [Distinct(*t.values())]
def schedule(spec):
s = Solver()
s.add(base())
for name, c in spec.items():
s.assert_and_track(c, name)
if s.check() == sat:
m = s.model()
return {j: m[t[j]].as_long() for j in jobs}
return sorted(str(c) for c in s.unsat_core())
llm_spec = {
"ingest_first": And(t["ingest"] < t["train"], t["ingest"] < t["evaluate"]),
"eval_after_train": t["train"] < t["evaluate"],
"eval_before_noon": t["evaluate"] < 12,
"nothing_at_noon": And([t[j] != 12 for j in jobs]),
"deploy_afternoon": t["deploy"] >= 13,
"deploy_gap": t["evaluate"] >= t["deploy"] + 2,
}
print(schedule(llm_spec)) # 冲突:三条约束无法同时成立
llm_spec["deploy_gap"] = t["deploy"] >= t["evaluate"] + 2
print(schedule(llm_spec)) # 修正后得到排程
第一次输出是冲突约束的名字列表,第二次输出是 {'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 13}。整个过程中,模型没有写一行会被执行的代码,求解器给出的每个判断都能被独立复核。
用求解器探测翻译歧义
但这份「已验证」的排程藏着一个问题。「下午」可以指 13:00 之后,也可以指 14:00 之后,模型默默选了一种读法,没有说明。与其信任单一翻译,不如把两种读法都写下来,问求解器它们在什么情况下会给出不同结论:
others = [c for name, c in llm_spec.items() if name != "deploy_afternoon"]
reading_a = t["deploy"] >= 13 # 「下午」从 13:00 开始
reading_b = t["deploy"] >= 14 # 「下午」从 14:00 开始
def find(*extra):
s = Solver()
s.add(base() + others + list(extra))
if s.check() == sat:
m = s.model()
return {j: m[t[j]].as_long() for j in jobs}
print(find(reading_a != reading_b)) # 两种读法结论不同的排程
print(find(reading_a, reading_b)) # 两种读法都接受的排程
输出:
{'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 13}
{'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 14}
第一种读法下结论不同的排程,正是求解器先前「验证」过的那一份,部署在 13:00。修法可以很简单:智能体向用户问一个具体问题——「13:00 算下午吗?」;或者直接选两种读法都接受的排程,把部署挪到 14:00。如果这样的排程存在,说明歧义并不真正影响决策,智能体可以不必打断用户就继续推进。
注意事项
形式化鸿沟是主要失效点,而不是求解器
Planetarium 的研究直接测试了这一点:研究者让 GPT-4o 把英文规划问题翻译成 PDDL,几乎所有输出都是合法 PDDL、都能被规划器求解,但只有约四分之一真正描述了被问的那个问题。对其余的,规划器会返回一个正确、带证书、却针对错误问题的计划。
更糟的案例来自一项关于神经—形式化验证的研究:研究者让一个编码智能体判断 Python 程序是否正确,它把每个问题转成 Dafny(一个程序验证器)的证明任务。当智能体与验证器简单直连时,它对 98% 的正确程序和 98% 的有缺陷程序都「证明」成功。验证器从未接受过错误证明——问题在于智能体证明的命题已经不再描述那个程序了。只有当翻译被拆成彼此隔离、看不到期望结论的多个阶段时,精确率才升到 92%,即便如此,系统也只能判定 57% 的案例。
证书的边界要说清楚
求解器返回的证书只覆盖「答案满足规格」这一段,不覆盖「规格等于需求」这一段。把前者当成后者,就是上面所有翻车案例的共同根源。在向用户或下游系统交付结果时,这个区别应当明确表达,而不是含糊地宣称「已形式化验证」。
不要让模型直接生成可执行代码
示例刻意采用「一句英文一个具名约束」的中间格式,再由固定代码编译成 Z3 表达式。这样做换来两个好处:模型写的代码永远不会被执行;冲突时 unsat_core 返回的约束名能直接映射回原句,反馈精确到句。若让模型直接写 Z3 代码,这两点都会失去。
歧义要显式处理
自然语言里的「下午」「尽快」「之后」都带歧义。可行的做法是把多种读法同时编码,用求解器判断它们是否会导致不同决策:若存在同时满足所有读法的解,就选它,不必打扰用户;若不存在,就带着具体问题去问用户,而不是自己替用户拍板。
研究数字不能直接外推
前面引用的提升幅度(39.2%、18.4%、100% 策略符合率、95.4% 导航成功率等)来自彼此差异很大的系统与基准,不能当作你所在场景的预期收益。Z3 及相关工具的具体版本、API 与行为,以及各云服务的形式化检查功能的可用范围与计费方式,请以官网当前信息为准。