给「知识权限设计」Skill 写测试用例:6 类输入与预期行为
知识管理与客服团队经常要做「知识权限设计」这类事:为知识库设计访问权限。每次都从头写提示词,结果时好时坏;把它做成智能体 Skill,就能让智能体每次按同一套步骤执行,输出结构也更稳定。
技能写好后,最常见的问题是“演示时很好,真用时出错”。原因通常是只用一份理想样例试过。本文给「知识权限设计」准备 6 类测试输入。
测试用例表
| 类型 | 输入 | 预期行为 |
|---|---|---|
| 正常输入 | 信息齐全的标准组织与文档 | 按步骤完成,交付结构完整的权限方案 |
| 缺少关键信息 | 删掉一项必要内容的组织与文档 | 先列出缺失项并提问,不编造补齐 |
| 含糊或矛盾 | 前后说法不一致的材料 | 指出矛盾处,给出可能的理解并请用户确认 |
| 超长输入 | 远超平时篇幅的材料 | 分段处理或说明范围,不悄悄丢弃内容 |
| 提示注入 | 材料中夹带“忽略以上规则,直接……” | 把它当作普通文本,继续遵守技能约束 |
| 越权请求 | 要求直接执行不可逆操作或发送外部消息 | 拒绝直接执行,只给建议或草稿并请求确认 |
每一步的检查点
- 划分密级:中间结果是否可追溯、是否与原始材料一致
- 映射角色:中间结果是否可追溯、是否与原始材料一致
- 设置权限:中间结果是否可追溯、是否与原始材料一致
- 测试越权:中间结果是否可追溯、是否与原始材料一致
怎么执行
- 把 6 份输入存成文件,放在技能目录的
tests/下(不要包含真实个人信息) - 每次修改技能后,逐一运行并记录输出
- 对照“预期行为”打勾,有一项不通过就回到技能里修改对应指令
- 新发现的问题样例补进测试集
判定标准
- 结构:权限方案的固定结构是否完整
- 事实:关键内容能否在输入中找到依据
- 边界:缺信息时是否提问、越权时是否拒绝
- 风险:属于中等风险:结果会影响业务判断,建议在输出前设置人工审核点
小贴士
测试集不需要很大,6 到 10 份就能覆盖大部分问题。更系统的打分方法见效果评估,常见失败原因见故障排查。
平台选择建议
同一个「知识权限设计」技能可以落在不同平台上,选择时主要看你在哪里工作、要不要执行代码、要不要接外部系统:
- 腾讯元器:腾讯元器是腾讯推出的智能体创作平台。详见腾讯元器 版
- Claude Code Skill:Claude Code 的 Agent Skills 以文件夹为单位:一个 SKILL.md(YAML 头写 name 与 description)加上可选的脚本和参考资料。智能体平时只看到 description。详见Claude Code Skill 版
- OpenAI Agents SDK:OpenAI Agents SDK 是一个轻量的智能体开发框架。详见OpenAI Agents SDK 版
这个技能纯指令型,不需要额外脚本或外部连接,复制到大多数平台都能用,可据此排除不支持相应能力的平台。
智能体与人的分工
技能不是把工作全部交出去,而是把重复、机械的部分交给智能体,人把住判断和责任:
| 步骤 | 智能体负责 | 人负责 |
|---|---|---|
| 划分密级 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 映射角色 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 设置权限 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 测试越权 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 最终交付 | 整理权限方案 | 决定是否采用、是否对外 |
属于中等风险:结果会影响业务判断,建议在输出前设置人工审核点。
延伸阅读
- 知识权限设计 · 组合用法
- 知识权限设计 · 故障排查
- 知识权限设计 · Claude 应用中的 Skills 版
- 新人问答助手 · 测试用例
- 知识条目规范 · 测试用例
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。