从会用到用好:向量嵌入语义搜索的 5 个进阶技巧
掌握了向量嵌入语义搜索的基础用法之后,下一步是让效果稳定可复现。理解原理是关键:嵌入模型把语义相近的文本映射到相近的向量位置,计算向量之间的相似度就能找到意思相关的内容,这是很多知识库和推荐功能的基础。
语义搜索并不是关键词搜索的替代品,而是补充。语义搜索擅长理解“意思”,但对产品型号、人名、编号这类精确信息反而可能不如关键词搜索。实际应用中,混合搜索往往是更稳妥的选择:语义负责找到相关的范围,关键词负责保证精确的命中。
技巧 1:把文档标题和片段内容一起向量化
把文档标题和片段内容一起向量化,通常能提升检索效果。这能帮你更快定位问题出在哪个环节。
技巧 2:对检索结果增加重新排序步骤
对检索结果增加重新排序步骤,可以进一步提高准确率。这能帮你更快定位问题出在哪个环节。
技巧 3:保存每次检索的日志
保存每次检索的日志,分析找不到答案的问题。做到这一点,结果的稳定性会明显提高。
技巧 4:对中文资料选择中文能力较好的嵌入模型
对中文资料选择中文能力较好的嵌入模型。适合在任务较复杂或要反复使用时采用。
技巧 5:从小规模资料开始验证效果
从小规模资料开始验证效果,再扩展到全部资料。这能帮你更快定位问题出在哪个环节。
一个进阶场景
举个虚构的例子:一位客服主管发现,客服在知识库里搜索“退不了款”时总是找不到“退款失败处理流程”。技术同事为知识库加上了语义搜索,并保留关键词搜索作为补充。之后客服用各种口语化的说法搜索,都能找到对应的流程文档。
语义搜索会找错吗? 会,有时会找到意思相关但不是答案的内容,所以要评估效果并结合其他方法。
进阶模板
下面的模板综合了以上技巧,可以按科研人员等不同场景替换内容:
检索效果评估:
测试集:[N] 个问题,每个问题标注应该检索到的片段
指标:
- 前 K 命中率:正确片段出现在前 K 个结果中的比例
- 首位命中率:正确片段排在第一的比例
对比实验:
1. 仅语义搜索
2. 仅关键词搜索
3. 混合搜索(两者结合)
4. 混合搜索 + 重新排序
记录每种方案的指标,选择效果最好且成本可接受的方案。
进阶使用时仍要避免
- ✗ 忽视数据安全。 ✓ 向量和原文同样包含信息,要做好访问控制。
- ✗ 更换嵌入模型后不重建向量。 ✓ 不同模型的向量不能混用,更换模型需要重新生成。
可以组合的技能
- 个人知识库 RAG:个人知识库 RAG(检索增强生成)是把你的笔记、文档、资料整理成知识库,提问时 AI 先从中检索相关内容,再基于检索结果回答。
- 文档切分整理:文档切分是在搭建知识库时,把长文档按合理的单位拆成较小的片段,例如按章节、段落或问答对,并为每个片段保留标题、来源和日期等信息。
衡量是否真的进步
一个简单的标准:同类任务需要的修改轮次是否减少,结果是否更稳定。如果答案是肯定的,说明你的语义搜索已经进阶;如果没有,回到基础步骤检查哪里写得不够具体。