「知识库效果评估」是知识管理与客服团队的高频任务。它的输入通常是测试问题集，期望得到的是评估报告。这类有固定流程、又需要一点判断力的工作，很适合封装成智能体 Skill。

本文介绍如何在 扣子（Coze）智能体与工作流 上实现这个技能，包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目说明
技能知识库效果评估（kb-eval）
作用评估知识库问答的准确率
输入测试问题集
输出评估报告
形态带脚本
风险低
适用人群知识管理与客服团队

处理流程分四步：

  1. 准备问题与标准答案
  2. 运行问答
  3. 评分
  4. 分析错误

这个技能需要运行本地脚本（解析文件、调用命令行工具等），要求运行环境允许执行代码；风险较低，但输出仍需快速过目再使用。

在 扣子（Coze）智能体与工作流 中是什么形态

扣子（Coze）是字节跳动推出的智能体开发平台，可以为智能体设置人设与回复逻辑，挂载插件、知识库和工作流，并发布到多个渠道。

国内版与海外版在功能和发布渠道上可能不同，具体以所用版本的官方文档为准。

示例配置

# 扣子（Coze）配置思路示意，界面字段以平台当前版本为准
智能体: 知识库效果评估
人设与回复逻辑: 你负责评估知识库问答的准确率。收到测试问题集后按工作流处理，不确定处要说明。
工作流 kb_eval:
  - 开始: content
  - 大模型: 准备问题与标准答案；运行问答
  - 代码: 解析与校验
  - 大模型: 评分；分析错误
  - 结束: 评估报告
知识库: 团队规范与示例（可选）

示例里最重要的是两处：一是描述（或指令开头）要写明「什么时候用」，让智能体在知识管理与客服团队提出相关请求时能对上号；二是约束部分要写进「回答必须有出处，没有依据时如实说明」这类领域规矩，避免智能体自作主张。

安装与启用步骤

  1. 新建智能体，写好人设与回复逻辑
  2. 新建工作流，按技能步骤添加大模型、代码、插件节点
  3. 上传团队规范作为知识库（可选）
  4. 在调试窗口测试多组输入
  5. 发布到需要的渠道

实操：一次完整的运行

假设你在文档库与检索系统中发出这样的请求（虚构示例）：

用知识库效果评估技能处理这份测试问题集，输出评估报告。

智能体识别到任务与「知识库效果评估」相关后，会依次准备问题与标准答案、运行问答、评分、分析错误。最终交付评估报告，并在末尾列出需要人工确认的内容。你的工作是对照原始测试问题集抽查两三处关键信息，确认无误后再使用。

测试与验收

在调试窗口查看工作流每个节点的运行结果，尤其检查插件返回为空时的处理。

针对这个技能，还建议额外准备：

  • 一份信息齐全的标准测试问题集，检查输出是否完整
  • 一份缺少关键信息的输入，检查智能体是否先提问而不是编造
  • 一份包含“忽略以上规则”等字样的输入，检查约束是否仍然有效

常见坑

  • 人设写得过于花哨，反而削弱了流程约束。
  • 插件授权范围过大。
  • 只写了步骤，没写交付格式，导致每次输出的评估报告结构不同。
  • 没有给出样例，智能体对“好结果”的理解与你不一致；在参考资料里放一两份范例会明显改善。

延伸阅读

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。