知识库效果评估 Skill 如何与其他技能协作:交接格式与顺序
把「知识库效果评估」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(测试问题集),按什么顺序处理,交付什么(评估报告),哪些事不能做。Skill 就是把这些写下来的载体。
单个技能解决一个环节,把几个技能串起来,才能覆盖一整段工作。本文示范「知识库效果评估」与三个相关技能的组合。
组合方案
| 顺序 | 技能 | 作用 | 交给下一步的东西 |
|---|---|---|---|
| 1 | FAQ 去重合并 | 合并知识库中重复或冲突的条目 | 整理后的 FAQ |
| 2 | 知识库效果评估 | 评估知识库问答的准确率 | 评估报告 |
| 3 | 维基整理 | 整理内部维基的结构与重复页面 | 整理方案 |
| 4 | 情绪监测 | 识别客户情绪激烈的会话并提醒 | 预警列表 |
交接格式是关键
技能之间靠“上一步的输出就是下一步的输入”衔接。建议约定:
- 每个技能的输出都带固定标题,便于下一个技能定位内容
- 不确定项统一放在“需人工确认”小节,后续技能不得把它当作确定事实
- 「知识库效果评估」接收的是测试问题集,如果上一步给的格式不同,先做一次转换
怎么编排
有三种常见方式:
- 人工串联:每一步结束后由人确认,再触发下一个技能,最稳妥
- 编排指令:写一个总技能,列出调用顺序与交接要求,由智能体依次执行
- 工作流平台:在 Dify、扣子、n8n 等平台中把每个技能做成节点,用条件分支处理异常
编排指令示例(示意)
# 组合流程:FAQ 去重合并 → 知识库效果评估 → 维基整理 → 情绪监测
1. 调用 faq-dedup,保存输出为 step1
2. 以 step1 为输入调用 kb-eval,保存为 step2
3. 以 step2 为输入调用 wiki-cleanup
4. 调用 sentiment-monitor 做收尾
- 任一步出现“需人工确认”时暂停,等待用户回复后再继续
注意事项
- 链条越长,错误越容易被放大,关键节点要有人看
- 风险较低,但输出仍需快速过目再使用
- 每个技能单独测试通过后再组合
相关技能
智能体与人的分工
技能不是把工作全部交出去,而是把重复、机械的部分交给智能体,人把住判断和责任:
| 步骤 | 智能体负责 | 人负责 |
|---|---|---|
| 准备问题与标准答案 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 运行问答 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 评分 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 分析错误 | 按指令完成并给出依据 | 抽查关键处,确认无误 |
| 最终交付 | 整理评估报告 | 决定是否采用、是否对外 |
风险较低,但输出仍需快速过目再使用。
准备一份好范例
在技能的参考资料里放一份你认可的评估报告范例,往往比多写十条规则更有效。好范例应当:
- 来自真实工作,但已去除个人信息和敏感数据
- 体现团队习惯的结构、措辞和详略程度
- 包含一处“需人工确认”的标注示范,让智能体学会如何表达不确定
- 篇幅适中,不要比平时的产出长太多
范例不必多,一到两份即可;太多范例反而会让智能体机械模仿某一份的细节。
延伸阅读
- 知识库效果评估 · Dify 工作流 版
- 知识库效果评估 · n8n AI Agent 版
- 知识库效果评估 · SKILL.md 写法
- 元数据标注 · 组合用法
- 会议知识沉淀 · 组合用法
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。