把「安全测试用例」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(功能说明),按什么顺序处理,交付什么(安全测试用例),哪些事不能做。Skill 就是把这些写下来的载体。

本文介绍如何在 Function Calling 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目说明
技能安全测试用例(security-test-cases)
作用为登录、权限、输入校验设计安全测试用例
输入功能说明
输出安全测试用例
形态纯提示词
风险中
适用人群开发与测试工程师

处理流程分四步:

  1. 识别信任边界
  2. 列出越权与注入场景
  3. 设计用例
  4. 标注需授权环境执行

这个技能纯指令型,不需要额外脚本或外部连接,复制到大多数平台都能用;属于中等风险:结果会影响业务判断,建议在输出前设置人工审核点。

在 Function Calling 中是什么形态

Function Calling(工具调用)是主流大模型 API 的通用能力:你用 JSON Schema 描述函数,模型在需要时返回结构化的调用参数,由你的程序执行后再把结果交回模型。

函数定义随每次 API 请求传入;真正的执行逻辑在你的服务端,模型只负责决定是否调用以及填写参数。

示例配置

函数定义示例(示意,字段结构以所用 API 文档为准):

{
  "type": "function",
  "function": {
    "name": "security_test_cases",
    "description": "为登录、权限、输入校验设计安全测试用例",
    "parameters": {
      "type": "object",
      "properties": {
        "content": { "type": "string", "description": "功能说明" },
        "mode": { "type": "string", "enum": ["draft", "review"], "description": "draft 只出草稿,review 需附检查清单" }
      },
      "required": ["content"]
    }
  }
}

示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在开发与测试工程师提出相关请求时能对上号;二是约束部分要写进「生成的测试要先在本地跑通,别只盯覆盖率数字」这类领域规矩,避免智能体自作主张。

安装与启用步骤

  1. 确定技能中哪一步需要程序执行(读取、计算、查询)
  2. 用 JSON Schema 写函数名、描述与参数
  3. 在服务端实现函数,并校验模型给出的参数
  4. 把执行结果作为工具消息交回模型生成最终回答
  5. 记录调用日志,便于排查

实操:一次完整的运行

假设你在测试框架与 CI 流水线中发出这样的请求(虚构示例):

用安全测试用例技能处理这份功能说明,输出安全测试用例。

智能体识别到任务与「安全测试用例」相关后,会依次识别信任边界、列出越权与注入场景、设计用例、标注需授权环境执行。最终交付安全测试用例,并在末尾列出需要人工确认的内容。你的工作是对照原始功能说明抽查两三处关键信息,确认无误后再使用。

测试与验收

构造参数缺失、参数类型错误和恶意参数三种情况,确认服务端都能拒绝或报错。

针对这个技能,还建议额外准备:

  • 一份信息齐全的标准功能说明,检查输出是否完整
  • 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
  • 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效

常见坑

  • 直接信任模型返回的参数去执行写操作。
  • 函数描述与实际行为不一致,模型反复调用失败。
  • 只写了步骤,没写交付格式,导致每次输出的安全测试用例结构不同。
  • 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。