本页把向量嵌入语义搜索的关键内容压缩成速查格式,写提示词前扫一眼即可。语义搜索是用向量嵌入(Embedding)把文本转换成能表示含义的数值向量,再按含义的相似程度查找内容。

一句话理解

语义搜索 = 与关键词搜索不同,它能找到表达方式不同但意思相近的内容,比如用“请假”找到“休假申请”。原理:嵌入模型把语义相近的文本映射到相近的向量位置,计算向量之间的相似度就能找到意思相关的内容,这是很多知识库和推荐功能的基础。

场景速查

场景推荐做法
搭建知识库问答,需要按意思检索资料把文档标题和片段内容一起向量化,通常能提升检索效果
用户用各种不同说法提问,关键词搜索找不到对检索结果增加重新排序步骤,可以进一步提高准确率
需要找出相似的文档、问题或工单保存每次检索的日志,分析找不到答案的问题
对大量文本做聚类或去重对中文资料选择中文能力较好的嵌入模型

操作要点

  • 第 1 步:选择嵌入模型和向量存储方案,了解其语言支持和使用条款。
  • 第 3 步:把向量和原文、元信息一起存储。
  • 第 4 步:用户提问时,把问题也转换为向量,检索最相似的片段。
  • 第 6 步:用测试集评估检索效果,持续调整切分和检索参数。

常用模板

示例场景:运维工程师准备变更方案。

请帮我设计一个语义搜索方案,用于运维工程师团队检索内部的变更方案资料:
- 资料规模:约 [数量] 份文档,以中文为主
- 用户:团队成员,提问方式多样
- 要求:返回最相关的 3 个片段,并附上文档名称和位置
请说明:
1. 整体流程(切分、向量化、存储、检索、展示);
2. 选择嵌入模型时需要考虑的因素(语言、成本、是否可本地部署);
3. 为什么建议同时使用关键词搜索;
4. 如何用测试问题评估检索效果。
不确定的具体产品和参数请不要编造。

错误写法对照

错误写法正确做法
只用语义搜索结合关键词搜索,对专有名词、编号类查询更准确
文档切分不合理先做好切分,向量化质量取决于片段质量
不评估检索效果准备测试集,用命中率等指标衡量
更换嵌入模型后不重建向量不同模型的向量不能混用,更换模型需要重新生成
忽视数据安全向量和原文同样包含信息,要做好访问控制

速答

  • 需要很大的服务器吗? 小规模资料在普通服务器甚至个人电脑上就可以运行,大规模数据需要专门的向量存储方案。
  • 什么是向量嵌入? 是把文本转换成一串数字的方法,意思相近的文本对应的数字向量也比较接近。

速记:语义搜索的第一步是“选择嵌入模型和向量存储方案”,结果一定要对照原始材料检查。本地模型和知识库类技能更偏技术,但入门门槛正在降低。关键是先想清楚数据放在哪里、谁能访问。

使用提示

速查表只是起点。每个人的任务不同,建议在表格里补一行你自己最常用的场景,比如运维工程师可以加上“把发布流水线的构建时间缩短约三分之一”。

相关阅读