https://ai.wujiong.cc/tags/%E6%8F%90%E7%A4%BA%E8%AF%8D%E8%BF%AD%E4%BB%A3/Recent content in 提示词迭代 on AI 观察Hugozh-CNMon, 19 Oct 2026 08:47:00 +0800https://ai.wujiong.cc/posts/2026-10-19-eval-pairwise-blind-comparison/Mon, 19 Oct 2026 08:47:00 +0800https://ai.wujiong.cc/posts/2026-10-19-eval-pairwise-blind-comparison/<p><strong>想知道新提示词或新模型是否真的更好，成对盲评通常比逐条打分更可靠：同一个问题给出 A、B 两个回答，隐藏来源、随机左右顺序，让评审只判断哪个更好或平局。</strong> 人对「哪个更好」的判断，通常比给出一个绝对分数更一致。</p> <h2 id="什么时候用成对比较">什么时候用成对比较</h2> <ul> <li>改了提示词，想知道新版是否更好</li> <li>在两个模型之间选一个</li> <li>调整了检索策略，比较回答质量</li> <li>没有标准答案的开放任务（写作、总结、客服回复）</li> </ul> <p>有标准答案的任务（数学、分类），直接计算准确率更简单。</p>