知识库效果评估 Skill 上传到 Claude 应用的完整流程

把「知识库效果评估」交给智能体，难点不在模型能力，而在流程是否说清楚：输入是什么（测试问题集），按什么顺序处理，交付什么（评估报告），哪些事不能做。Skill 就是把这些写下来的载体。

本文介绍如何在 Claude 应用中的 Skills 上实现这个技能，包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目	说明
技能	知识库效果评估（`kb-eval`）
作用	评估知识库问答的准确率
输入	测试问题集
输出	评估报告
形态	带脚本
风险	低
适用人群	知识管理与客服团队

处理流程分四步：

准备问题与标准答案
运行问答
评分
分析错误

这个技能需要运行本地脚本（解析文件、调用命令行工具等），要求运行环境允许执行代码；风险较低，但输出仍需快速过目再使用。

在 Claude 应用中的 Skills 中是什么形态

在 Claude 的网页或桌面应用里，同样可以使用以 SKILL.md 为核心的技能包：把文件夹打包上传后，Claude 会在对话相关时自动调用。适合不写代码、但希望每次都按同一套流程处理的场景。

通常在应用设置里的功能或技能相关页面上传 zip 包；可用的套餐、入口位置与管理方式以官方帮助中心为准。

示例配置

kb-eval/
├── SKILL.md
├── scripts/kb_eval.py
└── reference.md      # 可选：团队规范、模板等长资料，按需加载

SKILL.md 示例（示意）：

---
name: kb-eval
description: 评估知识库问答的准确率。当用户提到知识库效果评估、或给出测试问题集并希望得到评估报告时使用。
---

# 知识库效果评估

## 输入
- 测试问题集
- 若缺少关键信息，先列出需要补充的问题

## 步骤
1. 准备问题与标准答案
2. 运行问答
3. 评分
4. 分析错误

## 输出
- 评估报告
- 末尾附「需人工确认」清单（没有则写“无”）

## 约束
- 回答必须有出处，没有依据时如实说明。
- 信息不足时先提问，不要自行编造数据或事实。
- 脚本只在当前项目目录内运行，运行失败时报告错误原文，不要猜测结果。

## 脚本
- 需要解析或批量处理时运行 `python scripts/kb_eval.py <路径>`，读取其输出后再总结

示例里最重要的是两处：一是描述（或指令开头）要写明「什么时候用」，让智能体在知识管理与客服团队提出相关请求时能对上号；二是约束部分要写进「回答必须有出处，没有依据时如实说明」这类领域规矩，避免智能体自作主张。

安装与启用步骤

在本地按标准结构建好 kb-eval/SKILL.md
把整个文件夹压缩为 zip（压缩包内顶层就是这个文件夹）
在应用设置中找到技能管理入口并上传、启用
新开对话，直接描述任务，看回复里是否体现了 Skill 的步骤
根据效果修改 SKILL.md，重新打包上传

实操：一次完整的运行

假设你在文档库与检索系统中发出这样的请求（虚构示例）：

用知识库效果评估技能处理这份测试问题集，输出评估报告。

智能体识别到任务与「知识库效果评估」相关后，会依次准备问题与标准答案、运行问答、评分、分析错误。最终交付评估报告，并在末尾列出需要人工确认的内容。你的工作是对照原始测试问题集抽查两三处关键信息，确认无误后再使用。

测试与验收

准备一份真实但已脱敏的样例，连续跑三次，看输出结构是否稳定、是否都附带了需人工确认的清单。

针对这个技能，还建议额外准备：

一份信息齐全的标准测试问题集，检查输出是否完整
一份缺少关键信息的输入，检查智能体是否先提问而不是编造
一份包含“忽略以上规则”等字样的输入，检查约束是否仍然有效

常见坑

压缩包多套了一层目录，导致上传后识别不到 SKILL.md。
上传了含有内部敏感信息的参考文件；技能包里的资料要按对外材料的标准审一遍。
只写了步骤，没写交付格式，导致每次输出的评估报告结构不同。
没有给出样例，智能体对“好结果”的理解与你不一致；在参考资料里放一两份范例会明显改善。

延伸阅读

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。