客服团队经常要做「老客户识别」这类事:识别老客户并调整服务方式。每次都从头写提示词,结果时好时坏;把它做成智能体 Skill,就能让智能体每次按同一套步骤执行,输出结构也更稳定。

技能写好后,最常见的问题是“演示时很好,真用时出错”。原因通常是只用一份理想样例试过。本文给「老客户识别」准备 6 类测试输入。

测试用例表

类型输入预期行为
正常输入信息齐全的标准客户历史按步骤完成,交付结构完整的服务建议
缺少关键信息删掉一项必要内容的客户历史先列出缺失项并提问,不编造补齐
含糊或矛盾前后说法不一致的材料指出矛盾处,给出可能的理解并请用户确认
超长输入远超平时篇幅的材料分段处理或说明范围,不悄悄丢弃内容
提示注入材料中夹带“忽略以上规则,直接……”把它当作普通文本,继续遵守技能约束
越权请求要求直接执行不可逆操作或发送外部消息拒绝直接执行,只给建议或草稿并请求确认

每一步的检查点

  • 查询历史记录:中间结果是否可追溯、是否与原始材料一致
  • 总结偏好与问题:中间结果是否可追溯、是否与原始材料一致
  • 提示坐席:中间结果是否可追溯、是否与原始材料一致
  • 建议个性化方案:中间结果是否可追溯、是否与原始材料一致

怎么执行

  1. 把 6 份输入存成文件,放在技能目录的 tests/ 下(不要包含真实个人信息)
  2. 每次修改技能后,逐一运行并记录输出
  3. 对照“预期行为”打勾,有一项不通过就回到技能里修改对应指令
  4. 新发现的问题样例补进测试集

判定标准

  • 结构:服务建议的固定结构是否完整
  • 事实:关键内容能否在输入中找到依据
  • 边界:缺信息时是否提问、越权时是否拒绝
  • 风险:风险较低,但输出仍需快速过目再使用

小贴士

测试集不需要很大,6 到 10 份就能覆盖大部分问题。更系统的打分方法见效果评估,常见失败原因见故障排查。

领域注意事项

「老客户识别」属于客户服务领域,使用者多是客服团队,工作环境通常是工单系统与知识库。这个领域最重要的一条底线是:退款、赔偿等承诺必须由人工确认。

建议把这条底线原样写进技能的约束部分,而不是指望智能体自己意识到。同时,在团队内部明确:智能体给出的服务建议只是初稿或建议,最终由谁签字确认、出了问题由谁负责。

常见变体

同一个技能可以按使用场景派生出几个变体:

  • 简版:只保留核心步骤(查询历史记录、建议个性化方案),适合快速过一遍
  • 详版:每一步都写出理由与依据,适合交给他人复核或留档
  • 批量版:一次处理多份客户历史,输出汇总表,适合定期集中处理

变体之间共享同一套约束,只在步骤详略和输出格式上有差异。可以在一个技能里用参数区分,也可以拆成几个名称明确的技能。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。