「提示注入测试」是安全工程师与开发团队的高频任务。它的输入通常是应用说明,期望得到的是测试用例与结果。这类有固定流程、又需要一点判断力的工作,很适合封装成智能体 Skill。

本文介绍如何在 GitHub Copilot 指令与提示文件 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目说明
技能提示注入测试(prompt-injection-test)
作用为大模型应用设计提示注入测试用例
输入应用说明
输出测试用例与结果
形态纯提示词
风险中
适用人群安全工程师与开发团队

处理流程分四步:

  1. 识别外部输入点
  2. 构造注入样例
  3. 运行并记录
  4. 给出防护建议

这个技能纯指令型,不需要额外脚本或外部连接,复制到大多数平台都能用;属于中等风险:结果会影响业务判断,建议在输出前设置人工审核点。

在 GitHub Copilot 指令与提示文件 中是什么形态

GitHub Copilot 支持仓库级自定义指令文件 .github/copilot-instructions.md,以及放在 .github/prompts/ 下、以 .prompt.md 结尾的可复用提示文件,适合把固定流程交给 Copilot Chat 或智能体模式执行。

仓库级指令对该仓库的对话默认生效;提示文件需要在支持的编辑器中手动调用,具体支持情况以 Copilot 文档为准。

示例配置

.github/prompts/prompt-injection-test.prompt.md 示例(示意):

---
description: 提示注入测试
---

请对我提供的应用说明执行「提示注入测试」:

1. 识别外部输入点
2. 构造注入样例
3. 运行并记录
4. 给出防护建议

输出格式:测试用例与结果。
- 扫描结论需人工复核,涉及生产的动作走变更流程。
- 结论中不确定的部分单独列出,标注「需人工确认」。

示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在安全工程师与开发团队提出相关请求时能对上号;二是约束部分要写进「扫描结论需人工复核,涉及生产的动作走变更流程」这类领域规矩,避免智能体自作主张。

安装与启用步骤

  1. 在 .github/copilot-instructions.md 中写入团队通用约定
  2. 新建 .github/prompts/prompt-injection-test.prompt.md 写入本技能流程
  3. 在编辑器的 Copilot Chat 中调用该提示文件
  4. 检查输出是否遵循步骤与格式
  5. 提交到仓库并在 PR 中说明用途

实操:一次完整的运行

假设你在代码、配置与云环境中发出这样的请求(虚构示例):

帮我做一下提示注入测试,材料是附上的应用说明。

智能体识别到任务与「提示注入测试」相关后,会依次识别外部输入点、构造注入样例、运行并记录、给出防护建议。最终交付测试用例与结果,并在末尾列出需要人工确认的内容。你的工作是对照原始应用说明抽查两三处关键信息,确认无误后再使用。

测试与验收

在 Copilot Chat 中分别以有、无提示文件的方式处理同一任务,对比差异是否符合预期。

针对这个技能,还建议额外准备:

  • 一份信息齐全的标准应用说明,检查输出是否完整
  • 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
  • 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效

常见坑

  • 仓库级指令写得过细,与提示文件互相矛盾。
  • 以为提示文件会自动生效,实际需要手动调用。
  • 只写了步骤,没写交付格式,导致每次输出的测试用例与结果结构不同。
  • 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。