成对盲评怎么做？比较两个模型或两版提示词的实用方法

想知道新提示词或新模型是否真的更好，成对盲评通常比逐条打分更可靠：同一个问题给出 A、B 两个回答，隐藏来源、随机左右顺序，让评审只判断哪个更好或平局。 人对「哪个更好」的判断，通常比给出一个绝对分数更一致。

什么时候用成对比较

• 改了提示词，想知道新版是否更好
• 在两个模型之间选一个
• 调整了检索策略，比较回答质量
• 没有标准答案的开放任务（写作、总结、客服回复）

有标准答案的任务（数学、分类），直接计算准确率更简单。

步骤

1. 准备测试集：从真实使用中挑 30–100 个问题，覆盖常见情况和容易出错的情况。
2. 生成两组回答：A 方案和 B 方案在相同条件下各回答一遍。
3. 隐藏来源：评审看不到哪个回答来自哪个方案。
4. 随机左右顺序：每题随机决定 A 放左边还是右边，避免位置偏好。
5. 写明判定标准：比如「先看是否准确，再看是否完整，最后看是否简洁」。
6. 允许平局：两个都好或都差时选平局，不要强迫二选一。
7. 汇总结果：统计 A 胜、B 胜、平局的数量，并看输掉的题目具体是什么。

判定标准示例

请比较同一个问题的两个回答，判断哪个更好。
判定顺序：
1. 准确性：是否有事实错误或与资料矛盾（有错误的一方直接判负，除非双方都有）
2. 是否回答了问题本身
3. 完整性：是否遗漏关键步骤或注意事项
4. 简洁与清晰
输出：更好的一方（左/右/平局）＋一句理由，理由必须指出具体差异。
问题：<问题>
左侧回答：<回答>
右侧回答：<回答>

用 AI 做评审时减少偏差

用模型当评审能省很多人力，但已知存在一些偏差，需要主动应对：

• 位置偏好：同一对回答交换左右再评一次，两次结论不一致的记为平局或交给人工。
• 长度偏好：评审模型可能偏爱更长的回答。可以在标准里明确「长度本身不是优点」，并抽查长回答获胜的样本。
• 自我偏好：评审模型和被评模型是同一个时，可能更偏向自己的风格。条件允许时换一个评审模型，或加入人工抽检。
• 人工校准：先拿 20 题让人工和 AI 评审都评一遍，看一致程度，再决定 AI 评审能否独立使用。

读结果时注意

• 样本少时别下结论：30 题里多赢两三题，很可能只是波动。
• 看输掉的题：新方案整体更好，但在某类问题上明显变差，这比总胜率更值得关注。
• 固定测试集：每次迭代都用同一套题，才能前后比较；同时定期补充新的真实问题。

简单的记录表

最后再把左右映射回 A、B 汇总。

相关阅读：LLM-as-Judge 评审方法、小团队的黄金测试集，也可以看看 LLM 应用的 A/B 测试。