当你把大模型接到业务系统，安全问题会换一副面孔：攻击者不一定破服务器，也可能通过自然语言骗过模型，让它泄露数据或调用不该调用的工具。

五类高发风险

  1. 提示注入（Prompt Injection）：用户或网页内容里藏指令，诱导模型忽略系统规则
  2. 敏感数据泄露：对话日志、检索文档、训练语料中的隐私被带出
  3. 过度代理：Agent 权限过大，一次误调用造成删库、群发、资金操作
  4. 供应链：第三方插件、模型托管、向量库配置不当
  5. 滥用与合规：生成违法内容、未标注 AI 内容、跨境数据问题

基础防护清单

输入与输出

  • 对用户输入做长度与类型限制
  • 对外部网页/文档内容视为不可信数据，不要与系统指令同等权重
  • 输出侧过滤密钥格式、内网地址、个人信息模式

权限与工具

  • 工具默认只读；写操作需二次确认或强鉴权
  • 按用户身份做行级/租户级数据隔离（RAG 尤其重要）
  • 为 Agent 设置步数、费用与时间预算

数据生命周期

  • 明确哪些对话可日志、保留多久、谁能访问
  • 生产密钥不用进提示词；用服务端代填
  • 评估是否需要「零数据保留」的 API 选项

运营与审计

  • 记录模型版本、检索来源、工具调用参数（注意脱敏）
  • 建立不良输出的反馈与封禁流程
  • 定期用红队话术做回归测试

给产品经理的一句话

安全不是上线前的检查表，而是产品能力的一部分：你越让 AI「能办事」，就越要同步设计「不能办哪些事」。

小结

AI 安全的目标不是零风险，而是把风险降到可接受、可监控、可回滚。从最小权限、不可信输入、可审计日志三条线入手，大多数应用已经能避开最惨痛的坑。后续文章我们会拆解 RAG 数据隔离与 Agent 权限设计等专题。