知识管理与客服团队经常要做「知识库效果评估」这类事：评估知识库问答的准确率。每次都从头写提示词，结果时好时坏；把它做成智能体 Skill，就能让智能体每次按同一套步骤执行，输出结构也更稳定。

本文介绍如何在 GPTs 上实现这个技能，包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目说明
技能知识库效果评估（kb-eval）
作用评估知识库问答的准确率
输入测试问题集
输出评估报告
形态带脚本
风险低
适用人群知识管理与客服团队

处理流程分四步：

  1. 准备问题与标准答案
  2. 运行问答
  3. 评分
  4. 分析错误

这个技能需要运行本地脚本（解析文件、调用命令行工具等），要求运行环境允许执行代码；风险较低，但输出仍需快速过目再使用。

在 GPTs 中是什么形态

GPTs 是在 ChatGPT 中创建的定制版助手，可以设置指令（Instructions）、上传知识文件、开启所需能力，并通过 Actions 调用外部 API。

创建与分享的权限取决于账户类型与工作区设置，以 OpenAI 官方说明为准。

示例配置

# Instructions（指令）示意
你是「知识库效果评估」助手。用户会提供测试问题集。
1. 准备问题与标准答案
2. 运行问答
3. 评分
4. 分析错误
输出：评估报告。
- 回答必须有出处，没有依据时如实说明。
- 信息不足时先提问，不要自行编造数据或事实。
- 脚本只在当前项目目录内运行，运行失败时报告错误原文，不要猜测结果。
知识文件中的规范优先于你的通用习惯；找不到依据时直说。

示例里最重要的是两处：一是描述（或指令开头）要写明「什么时候用」，让智能体在知识管理与客服团队提出相关请求时能对上号；二是约束部分要写进「回答必须有出处，没有依据时如实说明」这类领域规矩，避免智能体自作主张。

安装与启用步骤

  1. 在 GPT 编辑器中新建 GPT，填写名称与描述
  2. 在 Instructions 中写入技能步骤、输出格式与约束
  3. 上传团队规范、模板等知识文件
  4. 需要外部数据时配置 Actions（OpenAPI 描述）
  5. 在预览中测试后保存，并设置分享范围

实操：一次完整的运行

假设你在文档库与检索系统中发出这样的请求（虚构示例）：

用知识库效果评估技能处理这份测试问题集，输出评估报告。

智能体识别到任务与「知识库效果评估」相关后，会依次准备问题与标准答案、运行问答、评分、分析错误。最终交付评估报告，并在末尾列出需要人工确认的内容。你的工作是对照原始测试问题集抽查两三处关键信息，确认无误后再使用。

测试与验收

在预览窗口用正常、缺信息和越界三类请求测试，确认指令中的边界有效。

针对这个技能，还建议额外准备：

  • 一份信息齐全的标准测试问题集，检查输出是否完整
  • 一份缺少关键信息的输入，检查智能体是否先提问而不是编造
  • 一份包含“忽略以上规则”等字样的输入，检查约束是否仍然有效

常见坑

  • 知识文件包含不应外泄的信息却设置了公开分享。
  • Instructions 过长且结构混乱，关键规则被忽略。
  • 只写了步骤，没写交付格式，导致每次输出的评估报告结构不同。
  • 没有给出样例，智能体对“好结果”的理解与你不一致；在参考资料里放一两份范例会明显改善。

延伸阅读

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。