AI 时代的数据治理:让企业数据真正成为可用的 AI 资产
大模型让很多企业看到了利用内部数据创造价值的新机会:基于内部文档构建知识库问答、用自然语言查询业务数据、让 Agent 自动处理业务流程。但当项目真正开始时,团队往往发现:数据散落在几十个系统里,同一个指标在不同部门有不同的口径,大量文档过时却无人清理,谁能访问哪些数据也说不清楚。 数据治理,这个过去被认为是“后台工作”的领域,正在成为 AI 落地的前提条件。
为什么 AI 让数据治理更加重要
- AI 会放大数据问题:过时的文档、错误的数据会被 AI 直接用于回答和决策,影响范围更大、速度更快,参见 RAG 评测正在变难中讨论的错误证据问题;
- 非结构化数据成为核心:过去数据治理主要关注数据库中的结构化数据,而大模型应用大量使用文档、邮件、聊天记录等非结构化数据;
- 权限问题更加突出:AI 系统可能在用户不知情的情况下汇总和展示多个来源的数据,权限控制不当会导致信息泄露;
- 合规要求增加:个人信息保护、数据出境、AI 相关法规都对数据的使用提出了要求。
一、数据盘点与分类
盘点数据资产
梳理企业有哪些数据、存放在哪里、由谁负责、更新频率如何、质量怎样。重点关注与 AI 应用场景相关的数据。
数据分类分级
按照业务属性和敏感程度对数据进行分类分级,例如公开、内部、敏感、机密,明确每个级别的数据可以在什么范围内、以什么方式被 AI 使用,参见企业使用大模型的数据隐私指南。
明确数据责任人
每类数据都应该有明确的负责人,对数据的质量、更新和访问审批负责。没有责任人的数据很快就会变得不可信。
二、数据质量管理
定义质量标准
针对不同类型的数据定义质量维度:准确性、完整性、一致性、及时性、唯一性。
统一业务口径
建立统一的业务术语表和指标定义,确保“销售额”“活跃用户”等关键指标在全公司范围内含义一致。这对于让 AI 正确回答业务数据问题至关重要,否则 AI 可能按照不同的口径给出相互矛盾的答案。
质量监控
对关键数据建立自动化的质量检查,发现异常及时告警和修复。
三、元数据与数据血缘
元数据管理
记录数据的描述信息:字段含义、数据来源、更新时间、负责人、使用限制。完善的元数据不仅帮助人理解数据,也帮助 AI 理解数据。例如,当用户用自然语言查询数据时,AI 需要依靠字段说明和业务术语来生成正确的查询。
数据血缘
记录数据从哪里来、经过了哪些处理、被哪些应用使用。当发现数据问题时,可以追溯源头并评估影响范围。对于 AI 应用,还需要记录哪些数据被用于构建知识库、训练或微调模型。
四、权限与合规
- 继承源系统权限:AI 应用访问数据时,应遵循源系统的访问控制规则,用户在 AI 中只能看到自己本来就有权访问的数据,参见企业知识库问答落地;
- 最小必要原则:只把完成任务所需的数据提供给 AI;
- 个人信息保护:在数据进入 AI 系统前进行脱敏处理,明确数据处理的法律依据;
- 审计追踪:记录 AI 系统访问了哪些数据、用于什么目的。
五、非结构化数据治理
非结构化数据是大模型应用的主要原料,也是传统数据治理的薄弱环节:
- 版本管理:明确文档的最新有效版本,及时下线或标记过时文档;
- 生命周期管理:设定文档的审核周期和有效期,到期提醒负责人复核;
- 统一存储:逐步把散落在个人电脑、邮件、即时通讯工具中的重要文档集中到受管理的知识平台;
- 格式规范:鼓励使用结构清晰、便于机器解析的文档格式,减少扫描件和复杂排版,参见 PDF 与表格解析的坑;
- 标签与分类:为文档添加部门、主题、密级、适用范围等标签,便于检索过滤和权限控制。
务实的推进方式
数据治理容易变成一个庞大而漫长的项目,难以看到成效。更务实的做法是以 AI 应用场景为牵引:
- 选定一个具体的 AI 应用场景;
- 梳理该场景所需的数据,针对性地进行盘点、清洗、权限梳理和质量提升;
- 在应用上线后,通过用户反馈发现数据问题,持续改进;
- 把在这个场景中建立的规范和工具推广到其他场景。
这样数据治理的投入能直接转化为 AI 应用的效果,更容易获得业务部门的支持。
小结
AI 时代的数据治理,既要延续传统的数据质量、元数据和权限管理,又要特别重视非结构化数据的版本和生命周期管理,以及 AI 系统访问数据时的权限继承和合规要求。以具体的 AI 应用场景为牵引,逐步推进,让数据治理的成果直接体现为 AI 应用的可靠性和价值。治理的组织层面可参考企业 AI 治理框架。