怎么评估「薪资核对」Skill 好不好用:评分表与回归测试
「薪资核对」是财务人员的高频任务。它的输入通常是薪资数据,期望得到的是差异清单。这类有固定流程、又需要一点判断力的工作,很适合封装成智能体 Skill。
“感觉好用”不足以说明技能有效。下面给出一套轻量的评估方法,用来判断「薪资核对」是否达标,以及每次修改后是变好还是变坏。
1. 建一个样例集
收集 10~20 份有代表性的薪资数据(已脱敏),覆盖常见情况、困难情况和边界情况。为每份样例写下“合格输出应该包含什么”。
2. 定义评分维度
| 维度 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|
| 完整性 | 缺少主要部分 | 缺少次要部分 | 差异清单结构完整 |
| 准确性 | 有编造或明显错误 | 有小瑕疵 | 内容都能在输入中找到依据 |
| 流程遵循 | 跳过多个步骤 | 跳过一步 | 按步骤执行 |
| 边界处理 | 缺信息时编造 | 部分提问 | 先提问或明确标注 |
| 可用性 | 需要大改 | 需要小改 | 基本可直接使用 |
3. 打分方式
- 人工打分最可靠,两人独立打分取平均
- 可以让另一个模型按评分表初评,但要人工抽查,不要完全依赖
- 记录每个样例的得分和问题描述
4. 回归测试
每次修改技能后,跑一遍完整样例集,比较总分与各维度变化。某个维度下降时,回看是哪条修改导致的。
5. 关注真实使用
离线样例之外,留意真实使用中被人工大幅修改的输出,把它们补进样例集。
每一步可以单独检查
- 对比上期:是否完成、是否有依据
- 标出异常变动:是否完成、是否有依据
- 核对计算:是否完成、是否有依据
- 交由负责人确认:是否完成、是否有依据
提醒
评分表是工具,不是目标。属于高风险:涉及权限、个人信息或不可逆操作,Skill 只产出建议或草稿,执行前必须人工确认。不要为了分数好看而让技能输出冗长内容。相关:测试用例、故障排查。
智能体与人的分工
技能不是把工作全部交出去,而是把重复、机械的部分交给智能体,人把住判断和责任:
| 步骤 | 智能体负责 | 人负责 |
|---|---|---|
| 对比上期 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 标出异常变动 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 核对计算 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 交由负责人确认 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 最终交付 | 整理差异清单 | 决定是否采用、是否对外 |
属于高风险:涉及权限、个人信息或不可逆操作,Skill 只产出建议或草稿,执行前必须人工确认。
准备一份好范例
在技能的参考资料里放一份你认可的差异清单范例,往往比多写十条规则更有效。好范例应当:
- 来自真实工作,但已去除个人信息和敏感数据
- 体现团队习惯的结构、措辞和详略程度
- 包含一处“需人工确认”的标注示范,让智能体学会如何表达不确定
- 篇幅适中,不要比平时的产出长太多
范例不必多,一到两份即可;太多范例反而会让智能体机械模仿某一份的细节。
延伸阅读
- 薪资核对 · MCP 服务 版
- 薪资核对 · 阿里云百炼智能体应用 版
- 薪资核对 · 钉钉 AI 助理 版
- 财务指标看板 · 效果评估
- 现金流预测 · 效果评估
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。