知识库文档整理与切分使用清单:用前、用中、用后检查什么
下面这份清单把知识库文档整理与切分拆成可勾选的动作,按阶段检查即可。文档切分是在搭建知识库时,把长文档按合理的单位拆成较小的片段,例如按章节、段落或问答对,并为每个片段保留标题、来源和日期等信息。本地模型和知识库类技能更偏技术,但入门门槛正在降低。关键是先想清楚数据放在哪里、谁能访问。
什么时候拿出这份清单
- 知识库检索经常找不到或找错内容。
- 需要让回答能准确引用出处。
清单的意义在于:一个片段如果只有“按上述标准执行”,检索出来也毫无意义,因为“上述标准”在另一个片段里。
使用前
- 先整理文档:统一格式,删除页眉页脚、目录等噪音。
- 按文档结构切分:优先按标题和章节,其次按段落。
- 控制片段长度,保证每个片段能独立表达一个完整意思。
- 确认材料中不包含服务器 IP、账号口令、证书私钥和内部拓扑,必要时先脱敏。
使用中
- 为每个片段添加元信息:文档名、章节标题、日期、页码。
- 对表格、问答等特殊内容单独处理,保持结构完整。
- 为每个片段添加标题路径、文档名和日期。
- 表格整体保留,或按行转换为带表头的文字。
使用后
- 用测试问题检查检索效果,根据结果调整切分方式。
- 用测试问题检查检索效果,根据结果调整。
- 关键事实、数字和日期已对照原始资料核实。
- 运维工程师特别注意:让 AI 写的命令先在测试环境执行,并要求它说明每个参数的作用。
避免这些做法
- 直接按固定字数切分所有文档。
- 片段不保留标题和来源。
- 表格被切得支离破碎。
- 保留大量页眉页脚等噪音。
配套模板
清单配合下面的模板使用效果更好:
请帮我把下面这份变更方案整理成适合知识库检索的片段:
规则:
1. 按原文的标题层级切分,每个片段对应一个最小的完整小节;
2. 每个片段输出格式:
【标题路径】一级标题 > 二级标题
【内容】正文
【关键词】3-5 个
3. 片段过长时(超过约 500 字)按段落再拆分,并在标题路径后加“(续)”;
4. 删除与内容无关的页眉、页脚和目录。
原文:[粘贴]
按清单完成后,结果大致会是这样(虚构示例):
示例(虚构):一份员工手册原本被按固定字数切分,提问“年假怎么计算”时,检索到的片段一半是年假规定,一半是病假规定。改为按标题切分并保留“第三章 假期 > 年假”的标题路径后,检索结果准确多了。
让清单更好用的两个习惯
- 把标题路径写进片段内容中,能明显提升检索准确率。
- 记录每次调整切分策略后的测试结果,便于比较。
清单之外
片段多长合适? 没有统一标准,通常以能完整表达一个意思为准,常见做法是几百字左右,并通过测试调整。
多语言文档怎么处理? 可以按语言分别切分,并在元信息中标注语言。
清单的使用建议
清单的意义在于把容易忘的动作固定下来。刚开始每一项都勾一遍,几次之后你会发现真正容易漏的只有两三项,把它们标红即可。如果你是运维工程师,处理“处理 2 起磁盘告警和 1 起证书过期隐患”这类工作前过一遍清单,最能体现价值。