小团队搭建 AI 评测金标准集，不需要一开始就做到上千条。更务实的做法是：从真实用户请求中挑出几十条有代表性的样本，为每条写好参考答案和评分标准，用它来比较每一次提示词或模型的改动，然后随着问题出现逐步扩充。

什么是金标准集

金标准集是一组输入和对应的「好答案应该是什么样」的标准。它的作用不是给模型打一个绝对分数，而是让你在修改提示词、换模型、调整检索策略时，能快速判断变好还是变坏。公开基准测试衡量的是通用能力，而金标准集衡量的是你的应用在你的场景中表现如何。

第 1 步：从真实请求中抽样

  • 从日志或客服记录中收集真实问题，去掉个人信息
  • 按用途分类（例如查询类、操作指导类、投诉类），每类都要有样本
  • 刻意加入少量难题：含糊的提问、超出范围的请求、需要拒绝的请求

起步阶段每类 10 条左右就能发现很多问题。

第 2 步：为每条样本写评分标准

参考答案不一定要逐字匹配，更重要的是写清评分要点：

字段示例
输入用户的原始问题
必须包含关键事实或步骤
不得出现错误信息、越权承诺、编造的链接
格式要求是否需要分步骤、字数范围
参考答案一个合格答案的示例

「不得出现」这一列往往比「必须包含」更能发现严重问题。

第 3 步：确定评分方式

  • 人工评分：最可靠，适合起步阶段和关键样本
  • 规则检查：格式、长度、是否包含特定关键词，可以自动化
  • 模型辅助评分：让另一个模型按评分标准打分，适合样本变多之后，但要定期抽查它的判断是否与人工一致

第 4 步：每次改动都跑一遍

把金标准集接入你的工作流：改提示词、换模型版本、调整检索参数后，都跑一遍并对比结果。重点关注原本通过、现在失败的样本，这类回退往往比平均分变化更值得关注。

第 5 步：持续更新

  • 线上出现的每个严重问题，修复后都加入金标准集，防止再次出现
  • 业务规则变化时，同步更新相关参考答案
  • 定期删除已经过时的样本，避免评测结果被旧规则干扰

常见坑

  • 样本全部由开发者自己编写，和真实用户的提问方式差距很大
  • 只看平均分，忽略了个别严重错误
  • 评分标准含糊，例如「回答要好」，不同评分者结论不一致
  • 金标准集建好后不再更新，逐渐失去参考价值

相关阅读