模型评测 on AI 观察

大模型应用的 A/B 测试：更换模型和提示词时如何科学验证效果

Thu, 03 Sep 2026 19:11:49 +0800

更换模型、修改提示词、调整检索策略之后，离线评测分数提升了，是否就可以放心上线？不一定。离线评测集再完善，也只是真实用户行为的近似；只有在真实流量上进行对照实验，才能确认修改是否真正改善了用户体验和业务结果。 A/B 测试是互联网产品成熟的方法论，应用到大模型产品时，需要考虑一些特殊之处。

大模型榜单该怎么看？基准测试的局限、数据污染与正确用法

Tue, 18 Aug 2026 16:16:24 +0800

几乎每一个新模型发布时，都会附上一张表格：在知识问答、数学、编程、推理等若干基准测试上的分数，并宣称在其中多项“达到领先水平”。各种排行榜也频繁更新排名。然而很多团队都有这样的经历：选了榜单上排名靠前的模型，用在自己的业务中却表现平平。 理解基准测试衡量什么、不能衡量什么，是理性看待榜单的前提。

如何为大模型应用构建评测集：从 50 条样本开始的实用方法

Thu, 06 Aug 2026 18:54:51 +0800

“这个新提示词感觉好多了”“换了模型之后好像更准了”，如果你的团队经常这样讨论，说明还缺少一个关键工具：评测集。没有评测集，每一次修改提示词、更换模型、调整检索策略，都只能依靠看几个例子的主观印象来判断，很容易顾此失彼。 构建评测集听起来像是大工程，但实际上从几十条样本开始就能发挥作用。

大模型红队测试入门：如何系统地找出 AI 应用的安全问题

Sat, 01 Aug 2026 21:21:45 +0800

AI 应用上线后，总会有用户尝试让它说出不该说的话、做出不该做的事。与其等问题在生产环境中暴露，不如在上线前主动出击。红队测试（Red Teaming）就是让一组人扮演攻击者，用各种方法系统性地寻找 AI 系统的弱点。 它已经成为负责任的 AI 开发流程中的重要环节，对于面向公众或具备工具调用能力的应用尤其必要。

LLM-as-a-Judge：用大模型评测大模型的方法、偏差与校准

Mon, 06 Jul 2026 14:02:43 +0800

评估大模型应用的输出质量，最可靠的方式是人工评审，但人工评审成本高、速度慢、难以规模化，而且不同评审者之间的标准也不一致。对于摘要、对话、写作这类开放式任务，又很难用简单的规则自动打分。于是，用一个大模型来评判另一个模型的输出，即“LLM-as-a-Judge”，成为业界广泛使用的方法。 它高效、可扩展，但并不完美，需要了解其中的偏差并进行校准。