分类：模型评测

模型评测分类讨论如何为大模型应用设计评测集、选择指标、使用 LLM 评审以及上线后的持续监控，帮助团队用数据而非感觉来判断模型与提示词的优劣，避免盲目迭代。

2026年10月5日 · 模型评测

大模型应用上线后的监控：质量、成本、延迟与安全指标体系

大模型应用上线不是终点：模型更新、数据变化和用户行为都可能让效果悄然下降。本文介绍大模型应用的可观测性建设，包括调用链追踪、质量信号采集、成本与延迟监控、安全事件检测和告警设计，以及如何把线上问题反馈到评测和迭代中。

2026年9月3日 · 模型评测

离线评测说新提示词更好，上线后用户却不买账，这种情况并不少见。本文介绍如何为大模型应用设计线上 A/B 测试：选择合适的指标、处理输出随机性和个体差异、确定样本量与实验时长、避免常见陷阱，以及与离线评测配合的完整验证流程。

2026年8月18日 · 模型评测

每个新模型发布都会宣称在多项基准测试中领先，但榜单分数与实际业务表现之间常有落差。本文解释主流基准测试衡量什么、存在哪些局限，包括数据污染、饱和、指标偏差和刷榜问题，并给出理性解读榜单、结合自有评测做选型的方法。

2026年8月6日 · 模型评测

没有评测集，大模型应用的每次修改都只能凭感觉判断好坏。本文介绍如何从少量真实样本起步构建评测集：样本来源与覆盖、标注参考答案与评分标准、选择评估方式、持续扩充回归案例，以及让评测真正融入开发流程的方法。

2026年7月6日 · 模型评测

人工评估开放式输出成本高、速度慢，用大模型充当“评委”成为常见做法。但大模型评委存在位置偏差、长度偏好、自我偏好等问题。本文介绍 LLM-as-a-Judge 的常见模式、评分提示词的设计方法、主要偏差及缓解手段，以及如何与人工评估校准。