LLMOps on AI 观察

大模型应用上线后的监控：质量、成本、延迟与安全指标体系

Mon, 05 Oct 2026 19:01:04 +0800

传统软件上线后，监控的重点是服务是否可用、接口是否报错、响应是否够快。大模型应用除了这些，还面临一类特殊的问题：服务一切正常、没有任何报错，但输出的质量却在下降。 可能是服务商更新了模型版本，可能是知识库中的文档过时了，也可能是用户开始问一类之前没见过的问题。没有专门的质量监控，这些问题往往要等到用户投诉才会被发现。

提示词工程化：版本管理、自动化测试与团队协作

Sat, 05 Sep 2026 19:40:32 +0800

在大模型应用的原型阶段，提示词往往直接写在代码里，谁觉得效果不好就改几句，改完看几个例子觉得不错就上线了。但当应用进入生产环境、服务真实用户时，这种做法会带来严重的问题：一次看似无害的修改，可能让某类请求的效果大幅下降；出了问题不知道是哪次修改导致的；多人同时修改相互覆盖。提示词需要像代码一样被工程化管理。

如何为大模型应用构建评测集：从 50 条样本开始的实用方法

Thu, 06 Aug 2026 18:54:51 +0800

“这个新提示词感觉好多了”“换了模型之后好像更准了”，如果你的团队经常这样讨论，说明还缺少一个关键工具：评测集。没有评测集，每一次修改提示词、更换模型、调整检索策略，都只能依靠看几个例子的主观印象来判断，很容易顾此失彼。 构建评测集听起来像是大工程，但实际上从几十条样本开始就能发挥作用。