投诉处理 Skill 效果评估方法：样例集、评分维度与迭代

「投诉处理」是客服团队的高频任务。它的输入通常是投诉内容，期望得到的是处理方案与回复。这类有固定流程、又需要一点判断力的工作，很适合封装成智能体 Skill。

“感觉好用”不足以说明技能有效。下面给出一套轻量的评估方法，用来判断「投诉处理」是否达标，以及每次修改后是变好还是变坏。

1. 建一个样例集

收集 10～20 份有代表性的投诉内容（已脱敏），覆盖常见情况、困难情况和边界情况。为每份样例写下“合格输出应该包含什么”。

2. 定义评分维度

3. 打分方式

• 人工打分最可靠，两人独立打分取平均
• 可以让另一个模型按评分表初评，但要人工抽查，不要完全依赖
• 记录每个样例的得分和问题描述

4. 回归测试

每次修改技能后，跑一遍完整样例集，比较总分与各维度变化。某个维度下降时，回看是哪条修改导致的。

5. 关注真实使用

离线样例之外，留意真实使用中被人工大幅修改的输出，把它们补进样例集。

每一步可以单独检查

• 核实事实：是否完成、是否有依据
• 评估责任：是否完成、是否有依据
• 提出补偿建议：是否完成、是否有依据
• 起草回复并请主管确认：是否完成、是否有依据

提醒

评分表是工具，不是目标。属于中等风险：结果会影响业务判断，建议在输出前设置人工审核点。不要为了分数好看而让技能输出冗长内容。相关：测试用例、故障排查。

智能体与人的分工

技能不是把工作全部交出去，而是把重复、机械的部分交给智能体，人把住判断和责任：

属于中等风险：结果会影响业务判断，建议在输出前设置人工审核点。

准备一份好范例

在技能的参考资料里放一份你认可的处理方案与回复范例，往往比多写十条规则更有效。好范例应当：

• 来自真实工作，但已去除个人信息和敏感数据
• 体现团队习惯的结构、措辞和详略程度
• 包含一处“需人工确认”的标注示范，让智能体学会如何表达不确定
• 篇幅适中，不要比平时的产出长太多

范例不必多，一到两份即可；太多范例反而会让智能体机械模仿某一份的细节。

延伸阅读

• 投诉处理 · 团队落地
• 投诉处理 · 定制指南
• 投诉处理 · Function Calling 版
• 客服指标周报 · 效果评估
• 客服回复草稿 · 效果评估
• 智能体Skills 分类：625 个技能 × 32 个角度

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。