用大模型打标签后怎么抽检？一致性检查与标注规范迭代方法
大模型打标签的速度很快，但「快」不等于「对」。可靠的做法是：先定清楚标注规范，再按类别分层抽样做人工复核，同时让模型对同一批样本重复标注检查稳定性，最后把错得最多的标签对拿出来修改规范和提示词。 这个循环跑两三轮，标签质量通常就能稳定下来。
第一步：标注规范先行
在让模型打标签之前，先写一份规范：
- 每个标签的定义（一句话）
- 正例和反例各 2–3 个
- 容易混淆的标签之间怎么区分
- 一条文本可以有几个标签；都不符合时用什么标签（如「其他」）
规范同时给人工复核员和模型用，两边才有同一把尺子。
第二步：分层抽样复核
不要只随机抽，因为小类别可能一条都抽不到。
- 每个标签至少抽 20–30 条（不足则全抽）
- 额外抽模型给出「其他」或低置信度的样本
- 复核员不看模型的标签先独立标注，再对比；如果资源有限，至少要求复核员写出不同意的理由
第三步：检查模型自身的稳定性
同一批样本（比如 200 条）让模型重复标注两次（可以打乱顺序），看两次结果一致的比例。不一致的样本，往往就是规范没写清楚的地方。
第四步：找出混淆的标签对
把复核结果整理成「模型标签 → 人工标签」的对照表，找出最常见的错误组合，例如模型常把「物流投诉」标成「售后咨询」。
可以让 AI 帮你分析这些样本：
下面是模型标为“售后咨询”、但人工复核认为是“物流投诉”的 25 条样本，以及两个标签的现有定义。
请总结这些样本的共同特征，指出现有定义中导致混淆的地方，
并提出修改后的定义和 2 个新的区分示例。不要修改其他标签的定义。
第五步：更新规范和提示词，再跑一轮
- 修改有问题的定义，补充区分示例
- 用同样的抽样方法再检查一轮，对比错误组合是否减少
- 记录每一轮的改动和结果，便于回溯
什么时候可以放心用
没有统一的门槛，取决于用途：
- 用于看趋势（比如每周投诉类型分布），可以接受一定误差
- 用于训练模型或自动触发流程（比如自动退款），要求高得多，并保留人工抽检
- 涉及敏感判断（如内容违规、风险评估），建议模型只做初筛，由人做最终判断
常见坑
- 规范只写给模型、不写给人，复核员按自己理解标，结果对比没有意义。
- 只看整体准确率，小类别的问题被大类别掩盖。
- 提示词改了却没有重新抽检，以为变好了。
- 原始数据含有个人信息，打标签前没有脱敏。