BGE 产出验收:5 个维度打分法
智源研究院开源的文本嵌入与重排序模型系列——这是 BGE 嵌入模型最主要的用途,也是本文讨论的前提。
用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。
评分表(每项 1 到 5 分)
| 维度 | 看什么 | 1 分 | 5 分 |
|---|---|---|---|
| 命中率 | 正确资料是否出现在前几条结果中 | 明显不合格 | 无需修改即可使用 |
| 引用准确 | 回答引用的段落是否真的支持结论 | 明显不合格 | 无需修改即可使用 |
| 时效性 | 信息是否足够新,是否标明日期 | 明显不合格 | 无需修改即可使用 |
| 覆盖度 | 多来源问题是否兼顾了不同观点 | 明显不合格 | 无需修改即可使用 |
| 拒答能力 | 没有依据时是否承认不知道 | 明显不合格 | 无需修改即可使用 |
建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。
用一个任务试打分
内部文档入库
适用情况:手头有一批 PDF、Word 和网页时。
把这些文档解析为干净的文本:保留标题层级和表格,去掉页眉页脚,按章节切分,每段附上原文件名和页码。
交付前确认:切分后的段落能回溯到页码。
怎么让评分更可靠
- 同一批材料至少测 5 次,不只看最好的一次。
- 两人分别打分,分歧大的维度再讨论标准。
- 把 BGE 嵌入模型的结果与人工完成或 OpenAI Embeddings 的结果放在一起盲评。
- 每次改提示词后用同一批材料复测。
延伸练习
网页内容抓取
准备材料:一组需要定期关注的网页。
把这些网页转成 Markdown,去掉导航和广告,只保留正文、发布日期和作者;发布日期缺失时标注「未知」。
验收标准:没有臆造发布日期。
资料卡片整理
适用情况:手头有搜索得到的十几篇资料时。
把这些资料整理成卡片:每张卡片包括一句话结论、关键数据、来源和可信度评价,最后按主题分组。
验收标准:每张卡片都有来源。
构建问答测试集
适用情况:手头有一份产品手册时。
根据手册编写 20 个用户可能问的问题及标准答案,标注答案所在章节,用来评估知识库检索效果。
交付前确认:每个答案都能在手册中找到。
常见问题:表格内容检索不到
换用能保留表格结构的解析工具,或单独把表格转成文本描述。
常见问题:回答过于笼统
要求逐条引用原文,并限定只回答文档中有依据的内容。
常见问题:中文检索效果差
选择对中文支持好的嵌入模型,并为专有名词建立同义词。
概念补充:RAG(检索增强生成)
先检索相关资料再让模型作答,降低胡编概率。
概念补充:重排序(Rerank)
对初步检索结果再次打分排序,提升相关性。
适合人群:客服人员
客服人员可以用 BGE 处理回复草稿、工单分类等工作。需要注意:不得以 AI 名义做出政策外承诺,涉及隐私的问题按流程处理。
注意事项
本文基于 BGE 嵌入模型公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。
涉及个人信息、商业机密或受监管数据时,先确认 BGE 嵌入模型的数据处理条款,再决定能否使用。