模型评测 on AI 观察

大模型应用上线后的监控：质量、成本、延迟与安全指标体系

Mon, 05 Oct 2026 19:01:04 +0800

传统软件上线后，监控的重点是服务是否可用、接口是否报错、响应是否够快。大模型应用除了这些，还面临一类特殊的问题：服务一切正常、没有任何报错，但输出的质量却在下降。 可能是服务商更新了模型版本，可能是知识库中的文档过时了，也可能是用户开始问一类之前没见过的问题。没有专门的质量监控，这些问题往往要等到用户投诉才会被发现。

大模型应用的 A/B 测试：更换模型和提示词时如何科学验证效果

Thu, 03 Sep 2026 19:11:49 +0800

更换模型、修改提示词、调整检索策略之后，离线评测分数提升了，是否就可以放心上线？不一定。离线评测集再完善，也只是真实用户行为的近似；只有在真实流量上进行对照实验，才能确认修改是否真正改善了用户体验和业务结果。 A/B 测试是互联网产品成熟的方法论，应用到大模型产品时，需要考虑一些特殊之处。

大模型榜单该怎么看？基准测试的局限、数据污染与正确用法

Tue, 18 Aug 2026 16:16:24 +0800

几乎每一个新模型发布时，都会附上一张表格：在知识问答、数学、编程、推理等若干基准测试上的分数，并宣称在其中多项“达到领先水平”。各种排行榜也频繁更新排名。然而很多团队都有这样的经历：选了榜单上排名靠前的模型，用在自己的业务中却表现平平。 理解基准测试衡量什么、不能衡量什么，是理性看待榜单的前提。

如何为大模型应用构建评测集：从 50 条样本开始的实用方法

Thu, 06 Aug 2026 18:54:51 +0800

“这个新提示词感觉好多了”“换了模型之后好像更准了”，如果你的团队经常这样讨论，说明还缺少一个关键工具：评测集。没有评测集，每一次修改提示词、更换模型、调整检索策略，都只能依靠看几个例子的主观印象来判断，很容易顾此失彼。 构建评测集听起来像是大工程，但实际上从几十条样本开始就能发挥作用。

LLM-as-a-Judge：用大模型评测大模型的方法、偏差与校准

Mon, 06 Jul 2026 14:02:43 +0800

评估大模型应用的输出质量，最可靠的方式是人工评审，但人工评审成本高、速度慢、难以规模化，而且不同评审者之间的标准也不一致。对于摘要、对话、写作这类开放式任务，又很难用简单的规则自动打分。于是，用一个大模型来评判另一个模型的输出，即“LLM-as-a-Judge”，成为业界广泛使用的方法。 它高效、可扩展，但并不完美，需要了解其中的偏差并进行校准。