标签：LLM评测

LLM-as-a-Judge：用大模型评测大模型的方法、偏差与校准

人工评估开放式输出成本高、速度慢，用大模型充当“评委”成为常见做法。但大模型评委存在位置偏差、长度偏好、自我偏好等问题。本文介绍 LLM-as-a-Judge 的常见模式、评分提示词的设计方法、主要偏差及缓解手段，以及如何与人工评估校准。