“让员工像问同事一样问公司制度、产品资料和技术文档”,是几乎每家企业都想做的大模型应用。技术演示往往几天就能做出来,但真正上线后,问题接踵而至:答案引用了过期的制度、不同部门的文档互相矛盾、实习生问出了高管薪酬方案。企业知识库问答的难点,七成不在模型,而在文档治理和权限控制。

第一步:文档治理先于技术选型

盘点知识来源

知识通常散落在共享盘、内部 Wiki、办公协作平台、工单系统和个人邮箱中。先梳理清楚有哪些来源、谁负责维护、更新频率如何。

确定权威版本

同一份制度可能有多个版本流传。必须明确每类知识的权威来源,过期文档要下线或标注,否则模型会“忠实地”引用错误信息。这正是 RAG 评测正在变难一文中讨论的“忠实于错误证据”问题。

指定内容负责人

每个知识领域都应有明确的负责人,负责审核内容、处理反馈和定期更新。没有人负责的知识库,几个月后必然失效。

第二步:检索设计

  • 按文档类型选择切分方式:制度文件按条款,产品手册按章节,FAQ 按问答对,细节见 RAG 文档切分策略;
  • 混合检索加重排序:员工经常直接搜索产品型号、系统名称和内部缩写,关键词检索不可或缺;
  • 丰富元数据:记录部门、文档类型、生效日期、密级,用于过滤和排序;
  • 处理复杂格式:扫描件、表格和图片中的信息需要专门的解析流程。

第三步:权限控制是生命线

知识库问答最大的风险是越权:用户通过提问获取了本无权查看的文档内容。必须做到:

  1. 检索前按用户权限过滤:只在用户有权访问的文档范围内检索,而不是检索后再让模型“不要说”;
  2. 权限与源系统同步:员工调岗、离职后权限要及时更新,最好直接继承源系统的访问控制;
  3. 敏感内容单独处理:薪酬、人事、未公开财务数据等,建议在试点阶段直接排除;
  4. 审计日志:记录谁在什么时间问了什么、系统引用了哪些文档。

数据安全的更多注意事项可参考企业使用大模型的数据隐私指南。

第四步:让答案可追溯

员工需要知道答案从哪来,才敢依据它做决定:

  • 每个回答附上引用的文档名称、章节和链接;
  • 资料中找不到答案时,明确告知并引导到人工渠道,而不是让模型自行发挥;
  • 文档之间存在冲突时,展示冲突内容并提示以哪份为准;
  • 标注引用文档的更新时间,便于判断时效性。

第五步:运营与持续迭代

上线只是开始,持续运营决定了知识库能否长期发挥价值:

  • 收集反馈:在每个回答下提供“有用/无用”按钮和纠错入口;
  • 分析未命中问题:高频但答不上来的问题,说明存在知识缺口,应推动内容负责人补充文档;
  • 定期评测:维护一份覆盖各部门典型问题的测试集,每次调整检索或模型后回归测试,方法见如何构建评测集;
  • 追踪使用数据:活跃用户数、问题解决率、人工转接率等指标,用于评估投入产出。

试点建议

从一个知识相对集中、文档质量较好、权限边界清晰的部门开始,例如 IT 支持或人力资源的常见政策问答。跑通流程、积累经验后再扩展到更多部门,比一开始就接入全公司所有文档成功率高得多。

小结

企业知识库问答是一个“三分技术、七分治理”的项目。理清文档来源和权威版本,在检索层严格执行权限过滤,让每个答案可追溯,再建立反馈驱动的运营机制,才能让知识库真正成为员工信赖的工具。想从技术层面快速搭建一个原型,可以参考搭建知识库问答机器人的架构思路。