数据工程 on AI 观察

用大模型做数据清洗与标注：效率与质量的平衡之道

Sun, 04 Oct 2026 18:15:25 +0800

数据标注和清洗是机器学习项目中最耗时、最枯燥的环节之一。过去需要组建标注团队，花费数周时间才能完成的工作，现在借助大模型可能几个小时就能完成初稿。大模型标注的速度和成本优势是显著的，但它也会犯错，而且是成批的、有规律的错误。 如何在享受效率的同时保证数据质量，是使用大模型标注时必须解决的问题。

合成数据训练大模型：优势、风险与质量控制方法

Thu, 24 Sep 2026 10:48:19 +0800

训练和微调大模型需要大量高质量数据，但真实数据往往面临各种限制：标注成本高、某些场景的样本稀少、涉及用户隐私无法使用、长尾情况难以收集。用大模型生成训练数据，即合成数据，正在成为解决数据瓶颈的重要手段。 很多模型的后训练阶段都大量使用了合成数据。但合成数据并不是免费的午餐，用不好会把模型的错误和偏见放大。

AI 时代的数据治理：让企业数据真正成为可用的 AI 资产

Mon, 03 Aug 2026 16:06:59 +0800

大模型让很多企业看到了利用内部数据创造价值的新机会：基于内部文档构建知识库问答、用自然语言查询业务数据、让 Agent 自动处理业务流程。但当项目真正开始时，团队往往发现：数据散落在几十个系统里，同一个指标在不同部门有不同的口径，大量文档过时却无人清理，谁能访问哪些数据也说不清楚。 数据治理，这个过去被认为是“后台工作”的领域，正在成为 AI 落地的前提条件。

微调数据集构建指南：数据量、格式、质量标准与常见错误

Fri, 24 Jul 2026 18:44:57 +0800

决定微调一个大模型之后，很多团队把精力放在选择基础模型、配置训练参数上，却在数据准备上草草了事。结果往往是：训练过程很顺利，损失曲线很漂亮，但微调后的模型并没有达到预期效果，甚至在某些方面变得更差。微调的本质是让模型从数据中学习，数据的质量直接决定了模型能学到什么。 构建一个高质量的微调数据集，是微调项目中最重要的工作。

训练数据从哪里来？网页数据采集的技术流程与伦理边界

Sun, 05 Jul 2026 09:25:50 +0800

大语言模型之所以拥有广博的知识和流畅的语言能力，很大程度上是因为它们在海量文本数据上进行了预训练，而这些数据的主要来源之一就是公开网页。从原始网页到可用于训练的高质量文本，中间要经过复杂的处理流程；而“公开可访问”是否等于“可以随意用于训练”，则引发了广泛的法律和伦理讨论。了解这些，有助于理解大模型能力的来源和局限，也有助于企业在采集和使用数据时把握边界。