标签：数据工程

共 3 篇关于「数据工程」的文章。

2026年10月4日 · 数据工程

用大模型做数据清洗与标注：效率与质量的平衡之道

大模型可以批量完成文本分类、实体标注、情感判断和数据清洗，速度远超人工，成本也更低。但它会犯系统性错误，且难以察觉。本文介绍用大模型辅助标注的流程设计、人机协作模式、质量评估方法，以及哪些任务适合交给模型、哪些必须由人完成。

2026年9月24日 · 数据工程

当高质量真实数据稀缺、昂贵或涉及隐私时，用大模型生成合成数据成为常见选择。本文介绍合成数据在微调、评测和隐私保护中的用途，分析多样性不足、错误放大和模型崩溃等风险，并给出生成、过滤、去重和验证的质量控制流程。

2026年7月24日 · 数据工程

微调效果的好坏，七成取决于数据。本文系统介绍大模型微调数据集的构建方法：明确目标与数据类型、确定数据量、统一对话格式、制定质量标准、数据来源与清洗、划分训练与测试集，以及数据泄露、格式不一致和过拟合等常见错误。