大语言模型之所以拥有广博的知识和流畅的语言能力，很大程度上是因为它们在海量文本数据上进行了预训练，而这些数据的主要来源之一就是公开网页。从原始网页到可用于训练的高质量文本，中间要经过复杂的处理流程；而“公开可访问”是否等于“可以随意用于训练”，则引发了广泛的法律和伦理讨论。 了解这些，有助于理解大模型能力的来源和局限，也有助于企业在采集和使用数据时把握边界。

典型的数据处理流程

1. 采集

通过网络爬虫抓取网页。大规模的公开网页存档项目会定期抓取互联网上的大量页面，并向研究者开放，许多训练数据集都以此为起点。企业也可能针对特定领域进行定向采集。

2. 内容提取

原始网页包含大量与正文无关的内容：导航菜单、广告、页脚、脚本代码。需要从 HTML 中提取出正文内容，这一步的质量对最终数据的影响很大。

3. 语言识别

识别每个页面的语言，按语言分类处理。

4. 质量过滤

网页内容质量参差不齐，需要过滤掉低质量内容：

  • 规则过滤：去除过短的页面、乱码、重复字符过多的内容、大量关键词堆砌的垃圾页面；
  • 模型过滤：训练分类器判断内容质量，例如参照百科、书籍等高质量文本的特征打分；
  • 有害内容过滤：去除色情、暴力、仇恨言论等有害内容。

5. 去重

互联网上存在大量重复和近似重复的内容，如转载文章、模板页面。去重不仅能节省训练成本，还能减少模型对特定内容的“死记硬背”，降低复现训练数据原文的风险。

6. 个人信息处理

识别并移除或替换文本中的个人信息，如电子邮件地址、电话号码、身份证号等。

7. 数据配比

把网页数据与书籍、论文、代码、对话等其他来源的数据按一定比例混合。数据配比对模型能力有显著影响。

数据质量决定模型上限

一个被广泛认同的经验是：数据质量对模型能力的影响，往往不亚于模型规模。 在相同的计算预算下，用经过精心筛选的高质量数据训练，常常能得到更好的模型。这也是为什么各大模型团队都在数据处理流程上投入大量精力。相关的数据工程方法也适用于微调数据，参见微调数据集构建指南。

伦理与法律边界

robots 协议

网站可以通过 robots.txt 文件告诉爬虫哪些内容不希望被抓取。这是互联网长期以来的行业惯例，负责任的数据采集者应该遵守。近年来，许多网站开始在 robots.txt 中专门限制 AI 训练相关的爬虫。

服务条款

很多网站的服务条款明确禁止自动化抓取或将内容用于特定用途。违反服务条款可能带来法律风险。

版权

网页内容大多受版权保护。将其用于训练是否构成合理使用，在全球范围内存在争议，各地的法律规定和司法实践不同，参见 AI 与版权。

个人信息

网页中可能包含大量个人信息。即使是公开发布的信息，收集和处理时也可能受到个人信息保护法律的约束。

网站负载

高频率的抓取会给网站服务器带来压力，甚至影响正常用户访问。负责任的爬虫应控制抓取频率，标明身份，并在被要求时停止抓取。

给数据采集团队的建议

  1. 遵守 robots 协议和网站的服务条款；
  2. 控制抓取频率，避免对目标网站造成负担；
  3. 在请求中标明爬虫身份和联系方式；
  4. 对采集的数据进行个人信息识别和处理；
  5. 记录数据来源，便于后续合规审查和处理权利人的请求；
  6. 优先使用明确授权或开放许可的数据集；
  7. 在涉及版权和个人信息的问题上咨询法律专业人士。

给网站方的建议

如果你希望控制自己的内容是否被用于 AI 训练：

  • 在 robots.txt 中针对已知的 AI 爬虫设置规则；
  • 在服务条款中明确内容的使用限制；
  • 关注行业中关于内容授权和退出机制的进展；
  • 对于有价值的内容，可以考虑通过正式授权的方式与 AI 公司合作。

小结

网页数据是大模型能力的重要来源，从采集到可用的训练数据，需要经过内容提取、质量过滤、去重和个人信息处理等一系列步骤，数据质量对模型能力有决定性影响。与此同时，数据采集涉及 robots 协议、服务条款、版权、个人信息和网站负载等多重边界。负责任地采集和使用数据，是 AI 行业可持续发展的基础。数据治理的更多内容见 AI 时代的数据治理。