AB测试 on AI 观察https://ai.wujiong.cc/tags/ab%E6%B5%8B%E8%AF%95/Recent content in AB测试 on AI 观察Hugozh-CNThu, 03 Sep 2026 19:11:49 +0800大模型应用的 A/B 测试：更换模型和提示词时如何科学验证效果https://ai.wujiong.cc/posts/2026-09-03-ab-testing-llm/Thu, 03 Sep 2026 19:11:49 +0800https://ai.wujiong.cc/posts/2026-09-03-ab-testing-llm/<p>更换模型、修改提示词、调整检索策略之后，离线评测分数提升了，是否就可以放心上线？不一定。<strong>离线评测集再完善，也只是真实用户行为的近似；只有在真实流量上进行对照实验，才能确认修改是否真正改善了用户体验和业务结果。</strong> A/B 测试是互联网产品成熟的方法论，应用到大模型产品时，需要考虑一些特殊之处。</p>