分类：数据工程

数据工程分类覆盖训练与微调数据的收集、清洗、标注、合成数据和数据治理，说明为什么数据质量往往比模型选择更能决定 AI 项目的最终效果与上线后的稳定性。

2026年10月4日 · 数据工程

用大模型做数据清洗与标注：效率与质量的平衡之道

大模型可以批量完成文本分类、实体标注、情感判断和数据清洗，速度远超人工，成本也更低。但它会犯系统性错误，且难以察觉。本文介绍用大模型辅助标注的流程设计、人机协作模式、质量评估方法，以及哪些任务适合交给模型、哪些必须由人完成。

2026年9月24日 · 数据工程

当高质量真实数据稀缺、昂贵或涉及隐私时，用大模型生成合成数据成为常见选择。本文介绍合成数据在微调、评测和隐私保护中的用途，分析多样性不足、错误放大和模型崩溃等风险，并给出生成、过滤、去重和验证的质量控制流程。

2026年8月3日 · 数据工程

很多企业发现，AI 项目最大的障碍不是模型，而是数据：散落各处、质量参差、权限不清、口径不一。本文介绍面向 AI 的数据治理方法，包括数据盘点与分类、质量管理、元数据与血缘、权限与合规，以及非结构化数据的治理要点。

2026年7月24日 · 数据工程

微调效果的好坏，七成取决于数据。本文系统介绍大模型微调数据集的构建方法：明确目标与数据类型、确定数据量、统一对话格式、制定质量标准、数据来源与清洗、划分训练与测试集，以及数据泄露、格式不一致和过拟合等常见错误。

2026年7月5日 · 数据工程

大模型的能力很大程度上来自海量网页数据。本文介绍网页数据从采集、提取、过滤、去重到质量筛选的典型处理流程，讨论 robots 协议、版权、个人信息和网站负载等伦理与法律边界，并为需要采集数据的团队和希望保护内容的网站方提供建议。