数据标注和清洗是机器学习项目中最耗时、最枯燥的环节之一。过去需要组建标注团队，花费数周时间才能完成的工作，现在借助大模型可能几个小时就能完成初稿。大模型标注的速度和成本优势是显著的，但它也会犯错，而且是成批的、有规律的错误。 如何在享受效率的同时保证数据质量，是使用大模型标注时必须解决的问题。

大模型适合的标注与清洗任务

文本分类

情感分析、主题分类、意图识别、内容审核等，只要类别定义清晰，大模型通常能达到不错的准确率。

信息抽取

从文本中抽取人名、机构、日期、金额、产品名称等实体，以及实体之间的关系。

数据清洗

  • 统一格式，如日期、地址、电话号码的标准化；
  • 识别和修正明显的错误，如错别字、乱码；
  • 判断记录是否重复，特别是表述不同但含义相同的记录；
  • 补全缺失的字段，如根据商品描述推断类别。

质量判断

判断文本的质量、相关性、是否包含有害内容，用于数据筛选。

摘要与改写

为长文本生成摘要，或改写为统一的风格。

不适合完全交给模型的任务

  • 需要专业判断的标注：医学影像诊断、法律文书定性等，模型的判断需要专家复核；
  • 标准模糊、高度主观的任务：例如判断内容是否“有趣”，不同人的标准差异很大；
  • 作为评测基准的“黄金数据”：用于评估模型效果的数据集，如果由模型标注，会导致评估结果失真；
  • 涉及敏感个人信息的数据：需要考虑数据能否发送给外部模型，参见企业使用大模型的数据隐私指南。

流程设计

1. 编写清晰的标注指南

和指导人工标注员一样，给模型的标注指南要包括：每个类别的定义、判断标准、正反示例、边界情况的处理规则。指南写得越清楚，标注越准确。提示词写法参见结构化提示词写法。

2. 人工标注一个小样本

先由人工标注一个几十到几百条的样本，作为“黄金标准”，用来评估模型的标注质量。

3. 试标注与对比

用模型标注同一批样本，与人工标注对比，计算一致率，分析不一致的案例。根据分析结果改进标注指南和提示词，反复迭代直到一致率达到要求。

4. 批量标注

在一致率满足要求后进行批量标注。要求模型输出结构化的结果，便于程序处理，参见让大模型稳定输出 JSON。

5. 质量抽检

对批量标注结果进行随机抽检，监控质量是否稳定。

人机协作模式

模型预标注、人工审核

模型先完成标注，人工审核并修正。审核比从头标注快得多，同时能保证质量。

按置信度分流

让模型对每个标注给出置信判断，或者用多次标注的一致性作为置信指标。高置信度的结果直接采用，低置信度的转人工处理。

多模型交叉验证

用两个不同的模型分别标注，结果一致的直接采用，不一致的交给人工裁决。

人工处理难例

把精力集中在模型容易出错的困难样本和边界情况上。

需要警惕的问题

系统性偏差

模型的错误往往是系统性的：它可能在某一类边界情况上持续犯同样的错误。随机抽检可能发现不了这种集中在特定子集上的问题。建议按类别分层抽检。

标签分布偏差

模型可能倾向于某些类别，例如在情感分析中过多地判断为“中性”。需要检查标注结果的分布是否合理。

一致性不等于正确性

模型每次给出相同的答案，不代表答案是正确的。

用模型标注的数据训练模型

如果用模型标注的数据训练另一个模型，后者可能继承前者的错误和偏差，这与合成数据的风险类似，参见合成数据训练大模型。

成本与效率

批量标注时，可以使用服务商的批处理接口降低成本；简单的分类任务可以使用较小的模型；把多条短文本合并在一次请求中处理也能节省开销，但要注意不能影响准确率。

小结

大模型让数据标注和清洗的效率大幅提升，特别适合定义清晰的分类、抽取和清洗任务。通过清晰的标注指南、人工黄金样本对比、迭代优化提示词，以及预标注加人工审核、置信度分流等人机协作模式，可以在效率和质量之间取得良好的平衡。同时要警惕系统性偏差，作为评测基准的数据仍应由人工标注。