提示注入防护检查清单:产品接入前先过一遍
提示注入的本质是:不可信文本试图改写模型指令或诱使工具越权。 防护要靠产品架构,而不是靠一句「你是安全的助手」。本文只列防御检查项,不提供利用步骤。
检查清单(节选)
- 系统提示与用户内容、检索文档在日志与拼装上可区分。
- 工具调用有白名单、鉴权与幂等;高风险操作要二次确认。
- 检索进上下文的文档视为不可信,需防间接注入。
- 对外展示做编码/转义,避免把模型输出当可执行内容。
- 有拒答与升级人工策略;有最小审计日志。
- 上线前用自有红队题库回归(内部维护,不公开攻击细节)。
设计评审提示词
请根据【架构说明】对照提示注入防护清单打分:已做到/部分/缺失。
只给控制点与缺口,不提供攻击写法。优先指出工具层越权风险。
【架构说明】<<<>>>
工程提醒
本地开发也别把生产密钥塞进提示。与编程安全实践一起看,形成「模型层 + 工具层 + 数据层」三道门。
执行时请保持单一事实源:输入没有的数字、负责人与截止日期,输出就不要出现。把不确定写清楚,比生成听起来完整却无法核对的句子更有用。若连续两次结果漂移很大,先检查是否混入未脱敏或互相矛盾的材料,再考虑换模型。
也可以把本页提示词改成团队共享片段:只开放「材料区」给同事粘贴,固定规则区由维护人更新。这样能减少每人私改导致的格式分裂,也方便在复盘会上对照同一版本讨论。
也可以把本页提示词改成团队共享片段:只开放「材料区」给同事粘贴,固定规则区由维护人更新。这样能减少每人私改导致的格式分裂,也方便在复盘会上对照同一版本讨论。
相关:AI 编程安全、Agent 幂等工具调用、报错排查。
把本次用过的提示词与输入输出一并存档,方便对照下次同类任务的差异。凡标注虚构或示意的人名、金额、订单与指标,一律不得进入正式提交或对外承诺。若材料涉及客户或员工个人信息,先按公司数据分级选择允许的工具,再开始粘贴。做完一次闭环,用三句话记录:最有效的约束、仍需人工的步骤、下版提示词要改哪里。
把本次用过的提示词与输入输出一并存档,方便对照下次同类任务的差异。凡标注虚构或示意的人名、金额、订单与指标,一律不得进入正式提交或对外承诺。若材料涉及客户或员工个人信息,先按公司数据分级选择允许的工具,再开始粘贴。做完一次闭环,用三句话记录:最有效的约束、仍需人工的步骤、下版提示词要改哪里。