标签：数据采集

训练数据从哪里来？网页数据采集的技术流程与伦理边界

大模型的能力很大程度上来自海量网页数据。本文介绍网页数据从采集、提取、过滤、去重到质量筛选的典型处理流程，讨论 robots 协议、版权、个人信息和网站负载等伦理与法律边界，并为需要采集数据的团队和希望保护内容的网站方提供建议。