标签：产品实验

大模型应用的 A/B 测试：更换模型和提示词时如何科学验证效果

离线评测说新提示词更好，上线后用户却不买账，这种情况并不少见。本文介绍如何为大模型应用设计线上 A/B 测试：选择合适的指标、处理输出随机性和个体差异、确定样本量与实验时长、避免常见陷阱，以及与离线评测配合的完整验证流程。