知识库文档整理与切分单独使用已经很有用,但在复杂任务里,和个人 AI 知识库 RAG 组合起来效果更好。这种组合尤其适合需要反复打磨的任务。

两个技能各自负责什么

  • 文档切分整理:文档切分是在搭建知识库时,把长文档按合理的单位拆成较小的片段,例如按章节、段落或问答对,并为每个片段保留标题、来源和日期等信息。
  • 个人知识库 RAG:个人知识库 RAG(检索增强生成)是把你的笔记、文档、资料整理成知识库,提问时 AI 先从中检索相关内容,再基于检索结果回答。

文档切分整理有效是因为检索系统按片段查找相关内容,片段太大会混入无关信息,太小会丢失上下文;按内容结构合理切分,并保留元信息,能让检索更准、回答更完整;个人知识库 RAG 有效则是因为通用模型不了解你的私有资料,直接提问容易得到泛泛的回答或编造;检索增强让 AI 先找到相关原文,再基于原文作答,答案更准确,也能追溯出处。两者叠加,正好互补。

组合流程

  1. (文档切分整理)先整理文档:统一格式,删除页眉页脚、目录等噪音。
  2. (文档切分整理)控制片段长度,保证每个片段能独立表达一个完整意思。
  3. (个人知识库 RAG)整理资料:删除过时和重复的内容,统一格式,注明日期。
  4. (个人知识库 RAG)用一组已知答案的问题测试检索和回答的准确性。
  5. (收尾)用测试问题检查检索效果,根据结果调整切分方式。

组合模板

以财务的场景为例,先用下面的模板完成文档切分整理部分:

切分策略对比测试:
| 策略 | 说明 | 适合的文档 |
| 固定长度 | 按字数切分,有重叠 | 结构不清晰的长文本 |
| 按标题 | 按章节层级切分 | 手册、制度、规范 |
| 按段落 | 每段一个片段 | 文章、报告 |
| 问答对 | 每个问题和答案一个片段 | FAQ |
测试方法:用同一组测试问题,比较各策略下“检索到正确片段”的比例,选择最优策略;不同类型文档可以使用不同策略。

然后再按个人知识库 RAG 的思路补一轮,例如:资料文件名和标题写清楚,检索和引用会更准确。

示例

以下为虚构示例:

示例(虚构):一份员工手册原本被按固定字数切分,提问“年假怎么计算”时,检索到的片段一半是年假规定,一半是病假规定。改为按标题切分并保留“第三章 假期 > 年假”的标题路径后,检索结果准确多了。

组合之后,个人知识库 RAG 这一环的价值在于:知识库的效果有一个朴素的规律:垃圾进,垃圾出。

组合使用时的注意事项

  • 记录每次调整切分策略后的测试结果,便于比较。
  • 把所有资料不加整理就导入。应对方法:删除过时、重复和无关的资料,知识库质量决定回答质量。
  • 两个技能叠加会让提示词变长,先确认单独使用时各自有效,再组合。

本地模型和知识库类技能更偏技术,但入门门槛正在降低。关键是先想清楚数据放在哪里、谁能访问。

组合的顺序为什么重要

一般先用能确定方向的技能,再用负责打磨的技能。顺序反过来,就可能在一个方向错误的初稿上花大量时间润色。对财务来说,先把费用分析报告的方向定下来,再精修细节,是最省时间的顺序。

相关阅读