Agent 安全:数据、权限与执行边界
Agent 可以调用工具后,输入中的错误指令可能转化为实际动作。应把风险控制放在数据来源、应用权限和工具执行路径上,不能只依赖一段“请遵守规则”的提示词。
提示注入从哪里进入
直接注入来自当前输入;间接注入可能藏在网页、文档、检索片段、工具结果甚至图像文字中。RAG 与微调本身不能消除这类问题。OWASP 提示注入说明
外部文本可能写着“忽略当前任务”。应用应继续把它当作待分析内容,不能因此放宽访问范围或新增上传目的地。
让执行器只拥有必要能力
| 边界 | 可采取的设计 | 检查方式 |
|---|---|---|
| 工具范围 | 领域工具与允许列表 | 未知工具请求被拒绝 |
| 数据权限 | 服务端按用户与资源检查 | 不同身份跑同一请求 |
| 文件范围 | 限定目录并解析真实路径 | 测试路径穿越与符号链接 |
| 网络目的地 | 按用途限定访问目标 | 测试意外外传和内网地址 |
| 外部写入 | 明确动作内容与授权范围 | 恢复或重试不会重复提交 |
这些是设计方向,需要结合运行环境落实,不能用一张配置表宣称系统已经安全。
审批应对应具体动作
需要人工确认的高影响操作,应展示目标、变更内容和预期结果。确认后动作参数若发生变化,应重新按实际策略处理;不要把一个宽泛的“继续”解释为后续所有操作都可执行。
只读查询通常无需经过繁琐审批,但仍要做身份与资源范围校验。权限应由执行器判断,不由被查询的文档或模型回答决定。
安全回归样本
- 文档包含伪装成系统消息的指令:仍按文档数据处理。
- 检索结果要求把原始文件发送到另一个地址:没有对应授权时不执行。
- 一个用户查询另一个用户的资源 ID:服务端拒绝。
- 写操作超时后重试:核实状态,不产生重复记录。
- 记忆内容试图覆盖当前用户的明确要求:保留来源并按规则处理冲突。
记录执行器实际拒绝了什么,而不只看模型是否说“我会注意”。日志中的密钥、凭证和个人信息也应按实际用途控制保留与访问。
配套阅读:Function Calling · MCP · 记忆与隔离。