只靠请忽略上述指令不够。定期用受控红队用例检查:系统提示是否可被覆盖、工具是否可被骗调用、检索文档是否挟带指令。

演练原则

  • 隔离环境,不打生产真实用户数据
  • 目标是发现边界,不是比赛越狱
  • 记录复现与修复,不传播攻击技巧

检查清单

  • 系统提示与开发指令隔离存放
  • 工具调用有允许列表与二次确认
  • 检索内容按不可执行数据处理
  • 输出经过密钥与个人信息过滤
  • 失败时安全降级

记录表

case_id, 注入类型(直接/间接), 期望行为, 实际行为, 严重级别, 修复负责人

演练节奏建议

重大版本上线前做一次;平时可月度抽几条用例回归。发现问题时,优先收紧工具权限与数据通道,而不是只改一句系统提示。

与间接注入

文档、网页、邮件进入上下文时,都要当作可能含指令的数据。演练应包含「检索结果里夹带做某工具调用」的用例,检查系统是否执行。不要在生产日志中完整传播可滥用样本细节。

修复优先级

先挡能造成真实损失的路径:任意工具调用、外发数据、覆盖系统指令。再处理「仅口吻被带偏」类问题。每次修复后把用例留下做回归。对外分享演练经验时,描述类别与防线即可,不必公开完整攻击串。

小结

安全演练的价值在于让问题出现在可控环境。提示注入不是靠吓退用户解决的,而是靠架构上的权限与数据不可执行性。把演练结果变成工单与回归用例,防线才会变厚。

工具允许列表应默认拒绝网络写出;需要时再按任务临时授予并审计。

补充实践

把演练结果摘要给产品与法务各看一页:风险场景、已修、未修、需要的产品决策。安全不只是模型问题,也是产品边界问题。

落地时建议你先小范围试用一周,把卡点记下来再改模板。不要指望一篇文章覆盖所有例外;把例外写进你们团队的备注区即可。与同事对齐时,优先示范一次完整流程,比只发链接更有效。本文主题「security prompt injection drill」只提供方法骨架,细节以你的现场约束为准。

演练记录保留期限按公司安全制度执行,避免泄露的同时保留可审计性。

相关阅读