知识库文档整理与切分的 5 个常见错误及修正方法
知识库文档整理与切分看起来简单,但写法上的小偏差会明显影响结果。先回顾一下:文档切分是在搭建知识库时,把长文档按合理的单位拆成较小的片段,例如按章节、段落或问答对,并为每个片段保留标题、来源和日期等信息。下面逐个拆解 5 个最常见的错误。
错误 1:直接按固定字数切分所有文档
表现:直接按固定字数切分所有文档。很多人第一次使用时都会这样写。
修正:优先按文档结构切分,保持语义完整。
错误 2:片段不保留标题和来源
表现:片段不保留标题和来源。这样做的结果通常是输出偏离预期,还得花时间返工。
修正:为每个片段添加标题路径、文档名和日期。
错误 3:表格被切得支离破碎
表现:表格被切得支离破碎。看似省事,实际会让后续修改更费劲。
修正:表格整体保留,或按行转换为带表头的文字。
错误 4:保留大量页眉页脚等噪音
表现:保留大量页眉页脚等噪音。这是最常见也最容易忽略的情况。
修正:切分前清理与内容无关的文字。
错误 5:切分后不测试
表现:切分后不测试。这样做的结果通常是输出偏离预期,还得花时间返工。
修正:用测试问题检查检索效果,根据结果调整。
这些错误的共同根源
切分的目标是让每个片段“自己能说清楚自己是什么”。一个片段如果只有“按上述标准执行”,检索出来也毫无意义,因为“上述标准”在另一个片段里。保留标题路径、合并过短的片段、拆分过长的片段,都是为了让每个片段在脱离原文后仍然可以被理解。
顺带回答一个常见疑问——扫描版文档怎么办?先进行文字识别并校对,再按结构整理和切分。
修正后的标准写法
把上面的修正综合起来,以游戏开发者的场景为例,一个更可靠的写法是:
请帮我把下面这份策划文档整理成适合知识库检索的片段:
规则:
1. 按原文的标题层级切分,每个片段对应一个最小的完整小节;
2. 每个片段输出格式:
【标题路径】一级标题 > 二级标题
【内容】正文
【关键词】3-5 个
3. 片段过长时(超过约 500 字)按段落再拆分,并在标题路径后加“(续)”;
4. 删除与内容无关的页眉、页脚和目录。
原文:[粘贴]
如果你是游戏开发者,还要额外注意一点:用 AI 批量生成道具、角色和任务文案初稿,再统一世界观和语气。
最后一个建议
为不同类型的文档制定不同的切分规则。记住文档切分整理的原理——检索系统按片段查找相关内容,片段太大会混入无关信息,太小会丢失上下文;按内容结构合理切分,并保留元信息,能让检索更准、回答更完整——遇到新情况时就能自己判断怎么写。
怎么自查
写完提示词后,用三十秒问自己:AI 知道我的读者是谁吗?知道成功的标准吗?知道哪些事不能做吗?三个问题有一个答不上来,就先补充再发送。游戏开发者在处理策划文档这类正式材料时尤其要过这一关。