把「知识库效果评估」交给智能体，难点不在模型能力，而在流程是否说清楚：输入是什么（测试问题集），按什么顺序处理，交付什么（评估报告），哪些事不能做。Skill 就是把这些写下来的载体。

本文以「知识库效果评估」为例，逐段讲解 SKILL.md 的写法。SKILL.md 是 Claude Agent Skills 采用的格式：YAML 头 + Markdown 正文，其结构思路也适用于其他平台的规则文件与指令。

完整示例

---
name: kb-eval
description: 评估知识库问答的准确率。当用户提到知识库效果评估、或给出测试问题集并希望得到评估报告时使用。
---

# 知识库效果评估

## 输入
- 测试问题集
- 若缺少关键信息，先列出需要补充的问题

## 步骤
1. 准备问题与标准答案
2. 运行问答
3. 评分
4. 分析错误

## 输出
- 评估报告
- 末尾附「需人工确认」清单（没有则写“无”）

## 约束
- 回答必须有出处，没有依据时如实说明。
- 信息不足时先提问，不要自行编造数据或事实。
- 脚本只在当前项目目录内运行，运行失败时报告错误原文，不要猜测结果。

## 脚本
- 需要解析或批量处理时运行 `python scripts/kb_eval.py <路径>`，读取其输出后再总结

第一段：name

name 用小写字母和连字符，例如 kb-eval，与文件夹名保持一致，方便检索和引用。不要用空格、中文或版本号。

第二段：description（最关键）

智能体平时只看得到 description，靠它判断要不要加载技能。好的 description 同时回答两件事：做什么（评估知识库问答的准确率），什么时候用（用户提到知识库效果评估或给出测试问题集时）。

反例：“一个很有用的知识库效果评估工具”——没有触发条件，智能体很难对上号。

第三段：输入与步骤

输入写清楚需要什么材料，并要求缺信息时先提问。步骤用编号列表，每步一个动作：

  1. 准备问题与标准答案
  2. 运行问答
  3. 评分
  4. 分析错误

步骤是给智能体的执行顺序，不是给人看的说明书，越具体越好。

第四段：输出

写明交付物（评估报告）以及固定结构。建议统一附上“需人工确认”清单，让复核的人知道看哪里。

第五段：约束

约束写的是不能做什么、遇到什么情况要停下：

  • 回答必须有出处，没有依据时如实说明。
  • 信息不足时先提问，不要自行编造数据或事实。
  • 脚本只在当前项目目录内运行，运行失败时报告错误原文，不要猜测结果。

渐进式加载：把长资料拆出去

团队规范、长模板、术语表不要塞进 SKILL.md 正文，放到同目录的 reference.md 等文件中，在正文里写“需要时阅读 reference.md”。这样平时加载很轻，需要时再读取细节。需要确定性处理的部分（解析、统计、校验）写成脚本放在 scripts/ 下，正文中说明调用方式。

目录结构

.claude/skills/kb-eval/
├── SKILL.md
├── scripts/kb_eval.py
└── reference.md      # 可选：团队规范、模板等长资料，按需加载

写完之后

用三种不同说法描述任务，看技能是否都能被触发；再用一个无关请求确认不会误触发。之后参考测试用例与效果评估持续改进。

交付物结构示例

建议把评估报告固定成下面的结构（示意），方便复核与归档：

## 结论
一句话说明最重要的发现或结果

## 主要内容
- 准备问题与标准答案：……
- 运行问答：……
- 评分：……
- 分析错误：……

## 依据
- 引用输入中的具体位置或数据

## 需人工确认
- ……（没有则写“无”）

结构固定之后，复核的人只要先看“结论”和“需人工确认”两部分，就能快速判断结果能否使用。

延伸阅读

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。