很多企业的 AI 应用是从下往上自发生长的：一个部门开始用 AI 写文案，另一个团队搭了客服机器人，开发者在代码里接入了各种模型 API。等管理层意识到时，公司里已经运行着几十个 AI 应用，却没有人能说清楚它们用了什么数据、风险在哪里、出了问题谁负责。AI 治理不是为了限制使用，而是为了让 AI 在可控的前提下更快、更大规模地落地。

治理要解决哪些问题

  • 数据安全：敏感数据是否被发送到了不合规的服务；
  • 合规风险：是否符合个人信息保护、行业监管和生成内容相关的法规要求；
  • 质量与可靠性：AI 的输出是否经过验证，错误可能造成什么后果；
  • 公平与责任：AI 参与的决策是否可能产生歧视，出问题时责任如何界定；
  • 成本与重复建设：各部门是否在重复采购和开发类似能力。

一、组织与分工

设立 AI 治理小组

由业务、技术、法务合规、信息安全、数据管理等部门的代表组成，负责制定政策、审批高风险用例、协调资源。小组规模不必大，但要有决策权。

明确责任人

每个 AI 应用都要有业务负责人和技术负责人，对应用的效果、风险和合规性负责。

二、用例风险分级

不是所有 AI 应用都需要同样严格的管控。按影响程度分级管理，是平衡效率与安全的关键：

低风险

个人效率工具，如写作辅助、会议纪要、代码补全，使用公开或一般内部数据，结果经过人工审核后才使用。管理方式：在批准的工具清单内自由使用，遵守数据使用规范。

中风险

面向内部员工的业务应用，如内部知识库问答、数据分析助手，或面向客户但有人工兜底的应用。管理方式：上线前登记备案，完成数据和安全评估，定期复查效果。

高风险

直接影响客户权益或重大决策的应用，如信贷审批辅助、招聘筛选、医疗建议、自动对外沟通。管理方式：治理小组审批，完成全面的风险评估、公平性测试和人工复核设计，持续监控。

分级时可以参考的维度：涉及的数据敏感程度、是否面向外部用户、是否自动执行决策、错误的潜在影响、是否受特定监管要求约束。

三、准入与评估

对于中高风险用例，上线前的评估清单通常包括：

  1. 目标与价值：解决什么问题，如何衡量效果；
  2. 数据评估：使用哪些数据，来源是否合法，是否涉及个人信息，参见企业使用大模型的数据隐私指南；
  3. 模型与供应商评估：服务商的数据政策、安全能力、服务稳定性；
  4. 效果评测：在代表性数据上的准确率和失败模式，参见如何构建评测集；
  5. 安全测试：提示注入、越权、有害输出等，参见红队测试入门；
  6. 人工监督设计：哪些环节需要人工审核，异常如何处理；
  7. 用户告知：是否需要告知用户正在与 AI 交互，AI 生成内容是否需要标识。

四、持续监控

AI 应用上线后，模型更新、数据变化和用户行为都可能改变其表现：

  • 监控质量指标、用户反馈和异常输出；
  • 记录关键操作日志以便审计；
  • 定期复审高风险应用；
  • 建立事件响应流程，明确发现问题后如何暂停、修复和通报。

监控指标的设计可参考大模型应用上线后的监控。

五、赋能而非只管控

治理的另一半是赋能：

  • 提供批准的工具：让员工有好用、合规的 AI 工具可用，减少“影子 AI”；
  • 共享平台能力：统一的模型接入网关、知识库平台、评测工具，避免重复建设；
  • 培训与社区：组织培训，分享成功案例和失败教训；
  • 快速通道：低风险用例简化流程，让创新不被审批拖慢。

小结

有效的 AI 治理框架由五部分组成：清晰的组织分工、按风险分级的管理方式、上线前的系统评估、上线后的持续监控，以及让员工用好 AI 的赋能措施。从一份简洁的使用政策和用例登记开始，逐步完善，比一开始就追求大而全的制度更容易落地。