文档切分是在搭建知识库时,把长文档按合理的单位拆成较小的片段,例如按章节、段落或问答对,并为每个片段保留标题、来源和日期等信息。切分质量直接影响检索是否能找到正确的内容。下面从概念、场景、步骤到模板,一步步带你上手。

文档切分整理是什么,为什么有效

简单说,检索系统按片段查找相关内容,片段太大会混入无关信息,太小会丢失上下文;按内容结构合理切分,并保留元信息,能让检索更准、回答更完整。与不切分直接上传整份文档相比,整份上传简单,适合少量短文档;合理切分能显著提升长文档和大量资料的检索准确率,但需要前期整理。

切分的目标是让每个片段“自己能说清楚自己是什么”。一个片段如果只有“按上述标准执行”,检索出来也毫无意义,因为“上述标准”在另一个片段里。保留标题路径、合并过短的片段、拆分过长的片段,都是为了让每个片段在脱离原文后仍然可以被理解。

哪些情况值得用

  • 搭建或优化知识库、文档问答系统。
  • 知识库检索经常找不到或找错内容。
  • 资料包含大量长文档、表格和多层级标题。
  • 需要让回答能准确引用出处。

怎么用:6 步上手

  1. 先整理文档:统一格式,删除页眉页脚、目录等噪音。
  2. 按文档结构切分:优先按标题和章节,其次按段落。
  3. 控制片段长度,保证每个片段能独立表达一个完整意思。
  4. 为每个片段添加元信息:文档名、章节标题、日期、页码。
  5. 对表格、问答等特殊内容单独处理,保持结构完整。
  6. 用测试问题检查检索效果,根据结果调整切分方式。

可直接复制的提示词

下面以运维工程师的工作场景为例,方括号里的内容换成你自己的信息即可:

请帮我把下面这份变更方案整理成适合知识库检索的片段:
规则:
1. 按原文的标题层级切分,每个片段对应一个最小的完整小节;
2. 每个片段输出格式:
   【标题路径】一级标题 > 二级标题
   【内容】正文
   【关键词】3-5 个
3. 片段过长时(超过约 500 字)按段落再拆分,并在标题路径后加“(续)”;
4. 删除与内容无关的页眉、页脚和目录。
原文:[粘贴]

效果示例

以下内容为虚构示例,仅用于说明效果:

示例(虚构):一份员工手册原本被按固定字数切分,提问“年假怎么计算”时,检索到的片段一半是年假规定,一半是病假规定。改为按标题切分并保留“第三章 假期 > 年假”的标题路径后,检索结果准确多了。

新手最常犯的两个错误

  • 容易犯的错:直接按固定字数切分所有文档。更好的做法:优先按文档结构切分,保持语义完整。
  • 容易犯的错:片段不保留标题和来源。更好的做法:为每个片段添加标题路径、文档名和日期。

上手后的小技巧

  • 把标题路径写进片段内容中,能明显提升检索准确率。
  • 对 FAQ 类文档使用问答对切分,效果通常最好。

一个常见疑问

片段多长合适? 没有统一标准,通常以能完整表达一个意思为准,常见做法是几百字左右,并通过测试调整。

处理私有资料时,数据安全和效果同样重要。先确认资料的敏感程度,再决定用云端工具还是本地方案。

下一步

入门之后,可以看看文档切分整理的进阶技巧和常见错误,再结合个人知识库 RAG 一起使用。

相关阅读