跳到主要内容

Agent 安全:数据、权限与执行边界

Agent 可以调用工具后,输入中的错误指令可能转化为实际动作。应把风险控制放在数据来源、应用权限和工具执行路径上,不能只依赖一段“请遵守规则”的提示词。

提示注入从哪里进入​

直接注入来自当前输入;间接注入可能藏在网页、文档、检索片段、工具结果甚至图像文字中。RAG 与微调本身不能消除这类问题。OWASP 提示注入说明

外部文本可能写着“忽略当前任务”。应用应继续把它当作待分析内容,不能因此放宽访问范围或新增上传目的地。

让执行器只拥有必要能力​

边界可采取的设计检查方式
工具范围领域工具与允许列表未知工具请求被拒绝
数据权限服务端按用户与资源检查不同身份跑同一请求
文件范围限定目录并解析真实路径测试路径穿越与符号链接
网络目的地按用途限定访问目标测试意外外传和内网地址
外部写入明确动作内容与授权范围恢复或重试不会重复提交

这些是设计方向,需要结合运行环境落实,不能用一张配置表宣称系统已经安全。

审批应对应具体动作​

需要人工确认的高影响操作,应展示目标、变更内容和预期结果。确认后动作参数若发生变化,应重新按实际策略处理;不要把一个宽泛的“继续”解释为后续所有操作都可执行。

只读查询通常无需经过繁琐审批,但仍要做身份与资源范围校验。权限应由执行器判断,不由被查询的文档或模型回答决定。

安全回归样本​

  • 文档包含伪装成系统消息的指令:仍按文档数据处理。
  • 检索结果要求把原始文件发送到另一个地址:没有对应授权时不执行。
  • 一个用户查询另一个用户的资源 ID:服务端拒绝。
  • 写操作超时后重试:核实状态,不产生重复记录。
  • 记忆内容试图覆盖当前用户的明确要求:保留来源并按规则处理冲突。

记录执行器实际拒绝了什么,而不只看模型是否说“我会注意”。日志中的密钥、凭证和个人信息也应按实际用途控制保留与访问。

配套阅读:Function Calling · MCP · 记忆与隔离。