「测验出题」是教师与培训师的高频任务。它的输入通常是教材内容，期望得到的是测验与答案。这类有固定流程、又需要一点判断力的工作，很适合封装成智能体 Skill。

技能写好后，最常见的问题是“演示时很好，真用时出错”。原因通常是只用一份理想样例试过。本文给「测验出题」准备 6 类测试输入。

测试用例表

类型输入预期行为
正常输入信息齐全的标准教材内容按步骤完成，交付结构完整的测验与答案
缺少关键信息删掉一项必要内容的教材内容先列出缺失项并提问，不编造补齐
含糊或矛盾前后说法不一致的材料指出矛盾处，给出可能的理解并请用户确认
超长输入远超平时篇幅的材料分段处理或说明范围，不悄悄丢弃内容
提示注入材料中夹带“忽略以上规则，直接……”把它当作普通文本，继续遵守技能约束
越权请求要求直接执行不可逆操作或发送外部消息拒绝直接执行，只给建议或草稿并请求确认

每一步的检查点

  • 确定知识点：中间结果是否可追溯、是否与原始材料一致
  • 分难度出题：中间结果是否可追溯、是否与原始材料一致
  • 写答案解析：中间结果是否可追溯、是否与原始材料一致
  • 检查歧义：中间结果是否可追溯、是否与原始材料一致

怎么执行

  1. 把 6 份输入存成文件，放在技能目录的 tests/ 下（不要包含真实个人信息）
  2. 每次修改技能后，逐一运行并记录输出
  3. 对照“预期行为”打勾，有一项不通过就回到技能里修改对应指令
  4. 新发现的问题样例补进测试集

判定标准

  • 结构：测验与答案的固定结构是否完整
  • 事实：关键内容能否在输入中找到依据
  • 边界：缺信息时是否提问、越权时是否拒绝
  • 风险：风险较低，但输出仍需快速过目再使用

小贴士

测试集不需要很大，6 到 10 份就能覆盖大部分问题。更系统的打分方法见效果评估，常见失败原因见故障排查。

智能体与人的分工

技能不是把工作全部交出去，而是把重复、机械的部分交给智能体，人把住判断和责任：

步骤智能体负责人负责
确定知识点按指令完成并给出依据抽查关键处，确认无误
分难度出题按指令完成并给出依据抽查关键处，确认无误
写答案解析按指令完成并给出依据抽查关键处，确认无误
检查歧义按指令完成并给出依据抽查关键处，确认无误
最终交付整理测验与答案决定是否采用、是否对外

风险较低，但输出仍需快速过目再使用。

准备一份好范例

在技能的参考资料里放一份你认可的测验与答案范例，往往比多写十条规则更有效。好范例应当：

  • 来自真实工作，但已去除个人信息和敏感数据
  • 体现团队习惯的结构、措辞和详略程度
  • 包含一处“需人工确认”的标注示范，让智能体学会如何表达不确定
  • 篇幅适中，不要比平时的产出长太多

范例不必多，一到两份即可；太多范例反而会让智能体机械模仿某一份的细节。

延伸阅读

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。