标签：LLMOps

共 3 篇关于「LLMOps」的文章。

2026年10月5日 · 模型评测

大模型应用上线后的监控：质量、成本、延迟与安全指标体系

大模型应用上线不是终点：模型更新、数据变化和用户行为都可能让效果悄然下降。本文介绍大模型应用的可观测性建设，包括调用链追踪、质量信号采集、成本与延迟监控、安全事件检测和告警设计，以及如何把线上问题反馈到评测和迭代中。

2026年9月5日 · 提示工程

当大模型应用从原型走向生产，提示词就不再是随手修改的一段文字，而是影响产品质量的核心资产。本文介绍提示词工程化的实践方法：版本管理、与代码解耦、评测驱动的修改流程、灰度发布与回滚，以及团队协作中的分工与规范。

2026年8月6日 · 模型评测

没有评测集，大模型应用的每次修改都只能凭感觉判断好坏。本文介绍如何从少量真实样本起步构建评测集：样本来源与覆盖、标注参考答案与评分标准、选择评估方式、持续扩充回归案例，以及让评测真正融入开发流程的方法。