跟进邮件 Skill 效果评估方法:样例集、评分维度与迭代
如果你在CRM 与邮箱里反复做跟进邮件,可以考虑把经验沉淀为一个 Skill:写清触发条件、步骤、输出格式和边界,让智能体代劳重复部分,人只负责把关。
“感觉好用”不足以说明技能有效。下面给出一套轻量的评估方法,用来判断「跟进邮件」是否达标,以及每次修改后是变好还是变坏。
1. 建一个样例集
收集 10~20 份有代表性的会议记录(已脱敏),覆盖常见情况、困难情况和边界情况。为每份样例写下“合格输出应该包含什么”。
2. 定义评分维度
| 维度 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|
| 完整性 | 缺少主要部分 | 缺少次要部分 | 跟进邮件结构完整 |
| 准确性 | 有编造或明显错误 | 有小瑕疵 | 内容都能在输入中找到依据 |
| 流程遵循 | 跳过多个步骤 | 跳过一步 | 按步骤执行 |
| 边界处理 | 缺信息时编造 | 部分提问 | 先提问或明确标注 |
| 可用性 | 需要大改 | 需要小改 | 基本可直接使用 |
3. 打分方式
- 人工打分最可靠,两人独立打分取平均
- 可以让另一个模型按评分表初评,但要人工抽查,不要完全依赖
- 记录每个样例的得分和问题描述
4. 回归测试
每次修改技能后,跑一遍完整样例集,比较总分与各维度变化。某个维度下降时,回看是哪条修改导致的。
5. 关注真实使用
离线样例之外,留意真实使用中被人工大幅修改的输出,把它们补进样例集。
每一步可以单独检查
- 感谢与回顾:是否完成、是否有依据
- 确认共识:是否完成、是否有依据
- 列出下一步:是否完成、是否有依据
- 约定时间:是否完成、是否有依据
提醒
评分表是工具,不是目标。风险较低,但输出仍需快速过目再使用。不要为了分数好看而让技能输出冗长内容。相关:测试用例、故障排查。
交付物结构示例
建议把跟进邮件固定成下面的结构(示意),方便复核与归档:
## 结论
一句话说明最重要的发现或结果
## 主要内容
- 感谢与回顾:……
- 确认共识:……
- 列出下一步:……
- 约定时间:……
## 依据
- 引用输入中的具体位置或数据
## 需人工确认
- ……(没有则写“无”)
结构固定之后,复核的人只要先看“结论”和“需人工确认”两部分,就能快速判断结果能否使用。
平台选择建议
同一个「跟进邮件」技能可以落在不同平台上,选择时主要看你在哪里工作、要不要执行代码、要不要接外部系统:
- 钉钉 AI 助理:钉钉 AI 助理支持在钉钉中创建面向团队的 AI 助理。详见钉钉 AI 助理 版
- Function Calling:Function Calling(工具调用)是主流大模型 API 的通用能力:你用 JSON Schema 描述函数。详见Function Calling 版
- 扣子(Coze)智能体与工作流:扣子(Coze)是字节跳动推出的智能体开发平台。详见扣子(Coze)智能体与工作流 版
这个技能纯指令型,不需要额外脚本或外部连接,复制到大多数平台都能用,可据此排除不支持相应能力的平台。
延伸阅读
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。