用 Function Calling 实现「模糊测试输入」:函数定义与调用流程
把「模糊测试输入」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(解析函数),按什么顺序处理,交付什么(模糊测试用例与发现的问题),哪些事不能做。Skill 就是把这些写下来的载体。
本文介绍如何在 Function Calling 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。
这个技能做什么
| 项目 | 说明 |
|---|---|
| 技能 | 模糊测试输入(fuzz-input) |
| 作用 | 为解析类函数生成异常和极端输入进行测试 |
| 输入 | 解析函数 |
| 输出 | 模糊测试用例与发现的问题 |
| 形态 | 带脚本 |
| 风险 | 低 |
| 适用人群 | 开发与测试工程师 |
处理流程分四步:
- 分析输入格式
- 生成边界与畸形输入
- 运行并收集崩溃
- 整理问题
这个技能需要运行本地脚本(解析文件、调用命令行工具等),要求运行环境允许执行代码;风险较低,但输出仍需快速过目再使用。
在 Function Calling 中是什么形态
Function Calling(工具调用)是主流大模型 API 的通用能力:你用 JSON Schema 描述函数,模型在需要时返回结构化的调用参数,由你的程序执行后再把结果交回模型。
函数定义随每次 API 请求传入;真正的执行逻辑在你的服务端,模型只负责决定是否调用以及填写参数。
示例配置
函数定义示例(示意,字段结构以所用 API 文档为准):
{
"type": "function",
"function": {
"name": "fuzz_input",
"description": "为解析类函数生成异常和极端输入进行测试",
"parameters": {
"type": "object",
"properties": {
"content": { "type": "string", "description": "解析函数" },
"mode": { "type": "string", "enum": ["draft", "review"], "description": "draft 只出草稿,review 需附检查清单" }
},
"required": ["content"]
}
}
}
示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在开发与测试工程师提出相关请求时能对上号;二是约束部分要写进「生成的测试要先在本地跑通,别只盯覆盖率数字」这类领域规矩,避免智能体自作主张。
安装与启用步骤
- 确定技能中哪一步需要程序执行(读取、计算、查询)
- 用 JSON Schema 写函数名、描述与参数
- 在服务端实现函数,并校验模型给出的参数
- 把执行结果作为工具消息交回模型生成最终回答
- 记录调用日志,便于排查
实操:一次完整的运行
假设你在测试框架与 CI 流水线中发出这样的请求(虚构示例):
用模糊测试输入技能处理这份解析函数,输出模糊测试用例与发现的问题。
智能体识别到任务与「模糊测试输入」相关后,会依次分析输入格式、生成边界与畸形输入、运行并收集崩溃、整理问题。最终交付模糊测试用例与发现的问题,并在末尾列出需要人工确认的内容。你的工作是对照原始解析函数抽查两三处关键信息,确认无误后再使用。
测试与验收
构造参数缺失、参数类型错误和恶意参数三种情况,确认服务端都能拒绝或报错。
针对这个技能,还建议额外准备:
- 一份信息齐全的标准解析函数,检查输出是否完整
- 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
- 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效
常见坑
- 直接信任模型返回的参数去执行写操作。
- 函数描述与实际行为不一致,模型反复调用失败。
- 只写了步骤,没写交付格式,导致每次输出的模糊测试用例与发现的问题结构不同。
- 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。
延伸阅读
- 模糊测试输入 · 团队落地
- 模糊测试输入 · 常见问题
- 模糊测试输入 · Cursor Rules 版
- CI 测试提速 · Function Calling 版
- 事故补测 · Function Calling 版
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。