AB
AiBoss站
教程

为 LLM 智能体设计权限与数据护栏:防止智能体被当作攻击工具

教程

为 LLM 智能体设计权限与数据护栏:防止智能体被当作攻击工具

LLM 智能体接入内部数据与系统后,本身就可能被内部人员、外部攻击者或提示注入操纵,变成收集数据、越权操作的工具。本教程从数据分级、文档级权限、上游预过滤、工具开关、人工审批、输入扫描与红队测试几个环节,给出可落地的设计与实现步骤,并附一个可运行的最小示例。

把 LLM 智能体接进业务系统之后,风险模型会发生变化:它不再只是一个问答接口,而是一个能检索内部文档、调用 API、执行脚本、改动配置的执行体。一旦它的权限边界没设计好,一个本来「良性」的智能体就可能被内部人员、被盗凭证、被投毒的文档,甚至被一段藏在文件里的提示词,改造成收集数据或越权操作的工具。这篇教程讲的是工程侧的做法:怎样用数据分级、文档级权限、上游预过滤、工具级开关、人工审批和输入扫描,把智能体能造成的破坏压到最小。适合正在或即将把智能体接入内部知识库、IT 运维、客服、合规等场景的开发者与架构负责人阅读。

准备工作

开始之前,先把下面几件事准备好。它们不是可选项,缺一项后面的护栏就落不了地。

  • 数据资产清单:列出智能体将要访问的每一个数据源——共享盘、wiki、工单系统、合同库、通话录音、发票、内部聊天记录、邮件归档等。每个源要能回答:谁在生产、谁在消费、更新频率如何。
  • 文档级元数据方案:每份文档除了正文,还要有可机读的敏感级别、所属部门、允许访问的角色或用户组、数据类别等字段。这些字段是后面所有权限判断的依据。
  • 身份与权限体系:智能体必须以「当前发起请求的用户」的身份去取数,而不是以一个超级服务账号去取数。需要确认你的身份提供方能把用户身份透传到检索层。
  • 工具清单与风险分级:把智能体可调用的能力逐条列出,例如读文件、写文件、改权限、执行脚本、调用内部 API、触发部署流水线、发消息。给每条能力标注「只读 / 可写 / 高危」。
  • 审批通道:高危动作需要人工确认时,确认请求发到哪里、由谁审批、超时如何处理。
  • 测试环境:一套与生产隔离、但数据结构与权限配置一致的环境,用于红队测试和回归。

如果这些前置条件里有任何一项暂时无法满足,建议先缩小智能体的数据范围与工具范围,而不是先上线再补护栏。权限设计属于架构层决策,事后补做的成本远高于一开始就做对。

操作步骤

第一步:给数据定敏感级别,并处理「组合敏感」

在能防御数据之前,必须先知道哪些数据该给谁看。做法是给每个数据源定义一套敏感级别,例如公开、内部、受限、机密,并为每份文档打上标签。标签要跟着文档走,而不是跟着目录走——同一份共享盘里,合同和内部讨论记录的敏感度往往完全不同。

还要特别注意组合敏感:单个字段看起来无害,拼起来就泄露了不该泄露的信息。典型例子是智能体同时能访问项目的人员排班和项目预算,用户只要让它把两者放在一起算一算,就能反推出每位成员的大致薪资。这类风险不会在单份文档的标签上暴露出来,必须在设计阶段就把「哪些数据组合起来会变敏感」列成清单,并对这些组合设置额外的访问限制或直接禁止联合检索。

结论很直接:不要把整个 wiki 或整个共享盘一股脑倒进知识库让模型自己分辨。入库前必须做筛选与标注。

第二步:把权限做成文档级,并在检索前过滤

用户权限是逐文档不同的,因此权限判断必须发生在文档级,而且必须发生在模型看到内容之前。常见错误是把权限判断交给模型,在提示词里写「只返回该用户有权查看的内容」——这种做法不可靠,模型很可能在汇总多份材料时把不该给的内容带出来。

正确的结构是:检索请求先带上当前用户身份,检索层按文档元数据做预过滤,只把通过权限检查的片段交给模型。如果一次回答需要用到五份材料,这五份必须各自通过检查,而不是整体通过一次检查。

下面是一个检索前过滤的伪代码示例,展示判断应该放在哪一层:

def retrieve(user, query, top_k=8):
    # 1. 先按用户可见范围做硬过滤,再走向量检索
    allowed = build_acl_filter(user)   # 由身份与文档元数据生成
    candidates = vector_store.search(
        query=query,
        filter=allowed,                # 关键:过滤在检索层完成
        top_k=top_k,
    )

    # 2. 二次校验:防止索引元数据过期
    safe = []
    for doc in candidates:
        if not acl_check(user, doc.metadata):
            continue
        if doc.metadata.sensitivity == "confidential" and not user.is_cleared:
            continue
        safe.append(doc)

    # 3. 只把通过校验的片段交给模型
    return [d.chunk for d in safe]

要点有三个:过滤条件由服务端根据用户身份生成,不接受客户端传入;检索层过滤与返回前二次校验都要做;模型拿到的上下文里不出现任何被拒绝的片段,连标题和摘要都不要出现。

第三步:给智能体的动作加权限检查,而不只是给数据加

数据泄露只是风险的一半,另一半是动作越权。设想一个只读权限的用户去找具备系统操作能力的 IT 智能体,要求修改某个文件的权限。如果智能体照做,这个用户就借智能体之手扩大了自己的权限。现实中改权限是常规运维工作,但应当只允许极少数管理员执行。

做法是让智能体的每一次工具调用都经过与用户身份绑定的权限检查:用户自己做不到的事,智能体也不能替他做。智能体可能拥有执行脚本、调用 API、管理部署流水线的能力,这些能力会间接打开用户本来够不到的系统,因此检查必须覆盖到间接路径。

更稳妥的一层是按用户权限动态裁剪工具集:只读用户发起会话时,所有涉及写操作的工具直接不注册、不暴露,而不是靠提示词要求模型「不要调用」。把能力拿走,比要求模型自律可靠得多。

TOOLS_BY_ROLE = {
    "viewer":   ["search_docs", "read_file"],
    "editor":   ["search_docs", "read_file", "write_file", "create_ticket"],
    "admin":    ["search_docs", "read_file", "write_file", "create_ticket",
                 "change_permission", "run_script"],
}

HIGH_RISK = {"change_permission", "run_script", "deploy_pipeline"}

def build_tools(user):
    tools = TOOLS_BY_ROLE.get(user.role, [])
    # 高危动作即使角色允许,也强制走人工审批
    return [wrap_with_approval(t) if t in HIGH_RISK else t for t in tools]

哪些动作必须人工审批,取决于业务和风险承受度,但这条线必须明确画出来并写进实现,不能留给运行时临场判断。

第四步:把上传与外部数据当作不可信输入

提示注入是这类系统绕不开的问题。攻击者可以把指令藏在文档、网页、邮件、工单正文里,用人类不易察觉、模型却很容易理解的方式传递。即使攻击者接触不到智能体,一个不小心的用户也可能把被篡改的文件喂给它,而文件里就带着模型会执行的指令。

因此,智能体摄入文档和数据的流程要设计得非常谨慎:新文件在证明安全之前一律视为不安全。具体可以这样做:

  • 上传内容先过扫描与格式校验,剥离脚本、宏、隐藏文本、异常编码字符。
  • 把外部内容与系统指令在结构上隔离,外部内容只作为「资料」进入上下文,不作为「指令」。
  • 对检索回来的片段做指令特征检测,命中可疑模式时降级处理或直接丢弃。
  • 限制单次会话可摄入的外部内容体量,避免长对话把系统提示淹没。

这些措施不能保证百分之百拦住注入,所以它们必须与第二步、第三步的权限护栏叠加使用:即使模型被误导,它能拿到的数据、能执行的动作也已经被限制住了。

第五步:对自己的智能体做红队测试

护栏写完不等于有效,需要主动去找它的失效边界。测试重点包括:

  • 用低权限账号反复尝试诱导智能体返回高敏感文档的内容,观察是否有片段泄漏。
  • 构造超长对话,观察系统指令是否被后续内容稀释,行为是否漂移。
  • 上传带有隐藏指令的文档,观察智能体是否改变工具选择或执行计划。
  • 尝试让智能体执行用户本人无权执行的动作,确认工具层是否拦截。
  • 检查组合敏感场景,例如同时索取排班与预算,看是否被拒绝或脱敏。

测试结果要沉淀成回归用例,每次调整提示词、检索策略或工具集后重跑一遍。

第六步:管住 AI 生成的代码

还有一类风险与恶意利用无关,但同样会造成漏洞:开发团队日常用 AI 辅助写代码,如果流程松散,可能在不经意间把安全缺陷带进代码库。表现形式包括生成的代码本身带有意料之外的安全问题、配置或基础设施搭建出错、开发速度过快导致测试不足。应对方式是把 AI 产出的代码纳入与人工代码相同的评审与测试流程,配置变更同样要走校验,不能因为「是 AI 写的」就跳过检查。

一个完整示例

下面用一个最小可运行的例子,把前面几步串起来:一个内部文档问答智能体,带文档级权限、工具裁剪和高危动作审批。示例只保留结构,具体存储与模型调用按你的技术栈替换。

# 1. 文档元数据:敏感级别与可见角色
DOCS = [
    {"id": "d1", "text": "项目排班表……", "sensitivity": "internal",
     "roles": ["viewer", "editor", "admin"]},
    {"id": "d2", "text": "项目预算明细……", "sensitivity": "restricted",
     "roles": ["editor", "admin"]},
    {"id": "d3", "text": "高管薪酬讨论记录……", "sensitivity": "confidential",
     "roles": ["admin"]},
]

# 2. 检索前过滤:只返回当前用户可见的文档
 def retrieve(user, query):
    hits = [d for d in DOCS if user.role in d["roles"]]
    # 组合敏感:排班与预算不允许在同一次回答中同时出现
    kinds = {d["id"] for d in hits}
    if "d1" in kinds and "d2" in kinds:
        hits = [d for d in hits if d["id"] != "d2"]
    return hits

# 3. 工具裁剪 + 高危审批
 def build_tools(user):
    base = {
        "viewer": ["search_docs"],
        "editor": ["search_docs", "write_file"],
        "admin":  ["search_docs", "write_file", "change_permission"],
    }[user.role]
    return [t for t in base if t != "change_permission"] + \
           (["change_permission(需人工审批)"] if user.role == "admin" else [])

# 4. 一次请求的完整流程
 def handle(user, query):
    docs = retrieve(user, query)
    context = "\n".join(d["text"] for d in docs)
    tools = build_tools(user)
    # 此处调用模型,把 context 作为资料、tools 作为可用能力
    return {"context_docs": [d["id"] for d in docs], "tools": tools}

# 5. 验证
 print(handle({"role": "viewer"}, "这个项目的排班和预算"))
 print(handle({"role": "admin"},  "这个项目的排班和预算"))

运行后可以观察到:只读用户拿不到预算文档,也拿不到改权限工具;管理员能看到更多文档,但改权限工具被标记为需要人工审批。把 retrieve 换成真实的向量检索时,过滤条件要下推到检索层,而不是在拿到结果之后再删——后者会让被拒绝的内容短暂进入内存与日志,扩大暴露面。

注意事项

  • 不要依赖提示词做权限。指令层面的约束在长对话、复杂汇总、被注入内容干扰时都可能失效。权限必须是上游的、代码层的、默认拒绝的。
  • 权限判断要逐文档。一次回答涉及多份材料时,每份都要单独校验,不能因为其中一份通过就整体放行。
  • 组合敏感容易被忽略。排班加预算、客户名单加合同金额这类组合,单看都不敏感,合起来就敏感。设计阶段就要列出这类组合并设限。
  • 工具集按角色裁剪,而不是按提示词禁用。用户没有的能力,就不要注册给这次会话。
  • 高危动作必须有人工审批。改权限、执行脚本、触发部署这类操作,即使角色允许,也建议加确认环节;这条线由业务与风险承受度决定,但必须明确实现。
  • 外部内容默认不可信。上传文件、网页、邮件正文都可能携带指令,摄入前要扫描,摄入后要与系统指令隔离。
  • 长对话是薄弱点。对话越长,系统指令越容易被稀释,行为越容易漂移,测试时要专门覆盖。
  • AI 生成的代码同样要评审与测试。配置与基础设施变更也不例外。
  • 索引元数据会过期。文档权限变更后,向量库里的旧元数据可能仍指向旧权限,因此返回前要做二次校验,并建立权限变更后的重建机制。
  • 涉及具体产品的能力范围、配额、价格与可用地区时,以各产品官网当前信息为准。