本文用问答的形式，把知识库文档整理与切分从概念到实操讲一遍。

Q1：文档切分整理到底是什么？

文档切分是在搭建知识库时，把长文档按合理的单位拆成较小的片段，例如按章节、段落或问答对，并为每个片段保留标题、来源和日期等信息。切分质量直接影响检索是否能找到正确的内容。

Q2：为什么它有效？和不切分直接上传整份文档有什么不同？

检索系统按片段查找相关内容，片段太大会混入无关信息，太小会丢失上下文；按内容结构合理切分，并保留元信息，能让检索更准、回答更完整。整份上传简单，适合少量短文档；合理切分能显著提升长文档和大量资料的检索准确率，但需要前期整理。

Q3：哪些场景最值得用？

最典型的是两类：一是知识库检索经常找不到或找错内容；二是需要让回答能准确引用出处。以财务为例，处理“审核报销单约 120 张”这类工作时就很适合尝试。

Q4：具体怎么开始？

建议按这三步起步：

  1. 先整理文档：统一格式，删除页眉页脚、目录等噪音。
  2. 按文档结构切分：优先按标题和章节，其次按段落。
  3. 控制片段长度，保证每个片段能独立表达一个完整意思。

熟练之后再养成一个习惯：用测试问题检查检索效果，根据结果调整切分方式。

Q5：有没有现成的模板？

有，下面这个可以直接复制，按需替换方括号内容：

切分策略对比测试：
| 策略 | 说明 | 适合的文档 |
| 固定长度 | 按字数切分，有重叠 | 结构不清晰的长文本 |
| 按标题 | 按章节层级切分 | 手册、制度、规范 |
| 按段落 | 每段一个片段 | 文章、报告 |
| 问答对 | 每个问题和答案一个片段 | FAQ |
测试方法：用同一组测试问题，比较各策略下“检索到正确片段”的比例，选择最优策略；不同类型文档可以使用不同策略。

Q6：片段多长合适？

没有统一标准，通常以能完整表达一个意思为准，常见做法是几百字左右，并通过测试调整。

Q7：使用现成的 AI 工具需要自己切分吗？

很多工具会自动处理，但如果效果不好，手动整理文档结构往往能明显改善。

Q8：扫描版文档怎么办？

先进行文字识别并校对，再按结构整理和切分。

举个例子

举个虚构的例子：一家公司的产品手册知识库经常答非所问。技术负责人检查后发现，手册被按固定长度切分，很多片段从一个功能说明的中间开始。他改为按功能章节切分，并在每个片段前加上“产品名 > 功能名”的标题路径，用 30 个测试问题复测，回答准确的比例明显提高。

补充：最容易踩的坑和用好的诀窍

  • 表格被切得支离破碎。改进：表格整体保留，或按行转换为带表头的文字。
  • 保留大量页眉页脚等噪音。改进：切分前清理与内容无关的文字。
  • 片段之间可以保留少量重叠，避免关键信息被切断。
  • 为不同类型的文档制定不同的切分规则。

下一步学什么

掌握文档切分整理之后，可以继续了解个人知识库 RAG 和语义搜索，它们经常和文档切分整理一起使用，组合起来能处理更复杂的任务。

相关阅读