与其记住所有要点,不如把向量嵌入语义搜索整理成一张清单。语义搜索是用向量嵌入(Embedding)把文本转换成能表示含义的数值向量,再按含义的相似程度查找内容。本地模型和知识库类技能更偏技术,但入门门槛正在降低。关键是先想清楚数据放在哪里、谁能访问。

适合对照清单的时刻

  • 用户用各种不同说法提问,关键词搜索找不到。
  • 对大量文本做聚类或去重。

为什么要用清单?语义搜索擅长理解“意思”,但对产品型号、人名、编号这类精确信息反而可能不如关键词搜索。

使用前

  • 选择嵌入模型和向量存储方案,了解其语言支持和使用条款。
  • 整理并切分文档,为每个片段生成向量。
  • 把向量和原文、元信息一起存储。
  • 确认材料中不包含未公开的游戏设定和源代码,必要时先脱敏。

使用中

  • 用户提问时,把问题也转换为向量,检索最相似的片段。
  • 结合关键词搜索或重新排序,提升检索准确性。
  • 先做好切分,向量化质量取决于片段质量。
  • 准备测试集,用命中率等指标衡量。

使用后

  • 用测试集评估检索效果,持续调整切分和检索参数。
  • 向量和原文同样包含信息,要做好访问控制。
  • 已记录本次有效的写法,便于下次复用。
  • 游戏开发者特别注意:写游戏逻辑时让 AI 给出伪代码和边界情况,再落实到具体引擎。

避免这些做法

  • 只用语义搜索。
  • 文档切分不合理。
  • 不评估检索效果。
  • 更换嵌入模型后不重建向量。

配套模板

清单配合下面的模板使用效果更好:

请帮我设计一个语义搜索方案,用于游戏开发者团队检索内部的策划文档资料:
- 资料规模:约 [数量] 份文档,以中文为主
- 用户:团队成员,提问方式多样
- 要求:返回最相关的 3 个片段,并附上文档名称和位置
请说明:
1. 整体流程(切分、向量化、存储、检索、展示);
2. 选择嵌入模型时需要考虑的因素(语言、成本、是否可本地部署);
3. 为什么建议同时使用关键词搜索;
4. 如何用测试问题评估检索效果。
不确定的具体产品和参数请不要编造。

按清单完成后,结果大致会是这样(虚构示例):

示例(虚构):一个内部问答系统中,用户问“出差住宿能报多少”,关键词搜索没有找到结果,因为制度中写的是“差旅费用标准”。改用语义搜索后,系统找到了正确的条款,并结合关键词搜索确保“住宿”相关的段落排在前面。

让清单更好用的两个习惯

  • 把文档标题和片段内容一起向量化,通常能提升检索效果。
  • 从小规模资料开始验证效果,再扩展到全部资料。

清单之外

什么是向量嵌入? 是把文本转换成一串数字的方法,意思相近的文本对应的数字向量也比较接近。

语义搜索会找错吗? 会,有时会找到意思相关但不是答案的内容,所以要评估效果并结合其他方法。

把清单变成习惯

不必追求每次都完美勾满。更实际的做法是:重要任务全量检查,日常小任务只看标星的几项。游戏开发者在准备策划文档或参加版本评审会前用一次,就能感受到差别。

相关阅读