标签：模型评测

共 5 篇关于「模型评测」的文章。

2026年9月3日 · 模型评测

大模型应用的 A/B 测试：更换模型和提示词时如何科学验证效果

离线评测说新提示词更好，上线后用户却不买账，这种情况并不少见。本文介绍如何为大模型应用设计线上 A/B 测试：选择合适的指标、处理输出随机性和个体差异、确定样本量与实验时长、避免常见陷阱，以及与离线评测配合的完整验证流程。

2026年8月18日 · 模型评测

每个新模型发布都会宣称在多项基准测试中领先，但榜单分数与实际业务表现之间常有落差。本文解释主流基准测试衡量什么、存在哪些局限，包括数据污染、饱和、指标偏差和刷榜问题，并给出理性解读榜单、结合自有评测做选型的方法。

2026年8月6日 · 模型评测

没有评测集，大模型应用的每次修改都只能凭感觉判断好坏。本文介绍如何从少量真实样本起步构建评测集：样本来源与覆盖、标注参考答案与评分标准、选择评估方式、持续扩充回归案例，以及让评测真正融入开发流程的方法。

2026年8月1日 · AI安全与治理

红队测试是在上线前主动扮演攻击者、系统性寻找 AI 应用漏洞的方法。本文介绍大模型红队测试的目标与范围、常见攻击类别（越狱、提示注入、数据泄露、越权、有害输出），以及人工与自动化结合的测试流程和结果整改方法。

2026年7月6日 · 模型评测

人工评估开放式输出成本高、速度慢，用大模型充当“评委”成为常见做法。但大模型评委存在位置偏差、长度偏好、自我偏好等问题。本文介绍 LLM-as-a-Judge 的常见模式、评分提示词的设计方法、主要偏差及缓解手段，以及如何与人工评估校准。