https://ai.wujiong.cc/categories/ai-safety/Recent content in AI安全与治理 on AI 观察Hugozh-CNSat, 10 Oct 2026 16:00:00 +0800https://ai.wujiong.cc/posts/2026-10-10-ai-safety-basics/Sat, 10 Oct 2026 16:00:00 +0800https://ai.wujiong.cc/posts/2026-10-10-ai-safety-basics/<p>当你把大模型接到业务系统，安全问题会换一副面孔：攻击者不一定破服务器，也可能<strong>通过自然语言骗过模型</strong>，让它泄露数据或调用不该调用的工具。</p> <h2 id="五类高发风险">五类高发风险</h2> <ol> <li><strong>提示注入（Prompt Injection）</strong>：用户或网页内容里藏指令，诱导模型忽略系统规则</li> <li><strong>敏感数据泄露</strong>：对话日志、检索文档、训练语料中的隐私被带出</li> <li><strong>过度代理</strong>：Agent 权限过大，一次误调用造成删库、群发、资金操作</li> <li><strong>供应链</strong>：第三方插件、模型托管、向量库配置不当</li> <li><strong>滥用与合规</strong>：生成违法内容、未标注 AI 内容、跨境数据问题</li> </ol> <h2 id="基础防护清单">基础防护清单</h2> <h3 id="输入与输出">输入与输出</h3> <ul> <li>对用户输入做长度与类型限制</li> <li>对外部网页/文档内容视为<strong>不可信数据</strong>，不要与系统指令同等权重</li> <li>输出侧过滤密钥格式、内网地址、个人信息模式</li> </ul> <h3 id="权限与工具">权限与工具</h3> <ul> <li>工具默认只读；写操作需二次确认或强鉴权</li> <li>按用户身份做行级/租户级数据隔离（RAG 尤其重要）</li> <li>为 Agent 设置步数、费用与时间预算</li> </ul> <h3 id="数据生命周期">数据生命周期</h3> <ul> <li>明确哪些对话可日志、保留多久、谁能访问</li> <li>生产密钥不用进提示词；用服务端代填</li> <li>评估是否需要「零数据保留」的 API 选项</li> </ul> <h3 id="运营与审计">运营与审计</h3> <ul> <li>记录模型版本、检索来源、工具调用参数（注意脱敏）</li> <li>建立不良输出的反馈与封禁流程</li> <li>定期用红队话术做回归测试</li> </ul> <h2 id="给产品经理的一句话">给产品经理的一句话</h2> <p>安全不是上线前的检查表，而是<strong>产品能力的一部分</strong>：你越让 AI「能办事」，就越要同步设计「不能办哪些事」。</p>https://ai.wujiong.cc/posts/2026-09-06-ai-copyright/Sun, 06 Sep 2026 20:29:07 +0800https://ai.wujiong.cc/posts/2026-09-06-ai-copyright/<p>生成式 AI 的快速发展，让版权法面临前所未有的挑战。作家、画家、新闻机构、音乐公司纷纷对 AI 企业提起诉讼；创作者担心自己的作品被无偿用于训练；企业则担心使用 AI 生成的内容会惹上侵权纠纷。<strong>这些问题在全球范围内尚未形成统一答案，各地的立法和司法实践仍在演进中。</strong> 本文梳理主要争议焦点，帮助读者在不确定的环境中做出更稳妥的选择。（本文不构成法律意见，具体问题请咨询专业律师。）</p>https://ai.wujiong.cc/posts/2026-09-02-ai-content-labeling/Wed, 02 Sep 2026 09:01:41 +0800https://ai.wujiong.cc/posts/2026-09-02-ai-content-labeling/<p>当 AI 能够生成以假乱真的图片、视频、声音和文章时，公众越来越难以分辨内容的来源。这不仅关系到虚假信息的传播，也关系到消费者的知情权和创作者的权益。因此，<strong>对 AI 生成内容进行标识，正在从行业倡议变成监管要求和平台规则。</strong> 例如，我国已出台专门的人工智能生成合成内容标识办法，欧盟的人工智能法案中也包含对生成内容的透明度义务。企业和创作者需要了解这些要求并提前做好准备。</p>https://ai.wujiong.cc/posts/2026-08-05-prompt-injection-defense/Wed, 05 Aug 2026 19:25:06 +0800https://ai.wujiong.cc/posts/2026-08-05-prompt-injection-defense/<p>传统软件中，代码和数据有清晰的边界：用户输入的数据不会被当作程序指令执行。而在大模型应用中，<strong>指令和数据都是自然语言，混在同一个上下文里，模型很难可靠地区分“这是开发者的指令”还是“这是需要处理的内容”。</strong> 提示注入正是利用了这一点，它被多个安全组织列为大模型应用的首要风险。</p>https://ai.wujiong.cc/posts/2026-08-01-llm-red-teaming/Sat, 01 Aug 2026 21:21:45 +0800https://ai.wujiong.cc/posts/2026-08-01-llm-red-teaming/<p>AI 应用上线后，总会有用户尝试让它说出不该说的话、做出不该做的事。与其等问题在生产环境中暴露，不如在上线前主动出击。<strong>红队测试（Red Teaming）就是让一组人扮演攻击者，用各种方法系统性地寻找 AI 系统的弱点。</strong> 它已经成为负责任的 AI 开发流程中的重要环节，对于面向公众或具备工具调用能力的应用尤其必要。</p>https://ai.wujiong.cc/posts/2026-07-21-deepfake-detection/Tue, 21 Jul 2026 10:27:42 +0800https://ai.wujiong.cc/posts/2026-07-21-deepfake-detection/<p>几年前，制作一段以假乱真的换脸视频需要专业技术和大量素材；如今，只需要几张照片和一段短录音，普通人就能借助现成工具生成逼真的伪造视频和语音。<strong>深度伪造（Deepfake）的门槛已经大幅降低，它被用于诈骗、敲诈、制造谣言和损害名誉。</strong> 无论个人还是企业，都需要建立新的防范意识和流程。</p>https://ai.wujiong.cc/posts/2026-07-04-ai-governance-framework/Sat, 04 Jul 2026 15:31:56 +0800https://ai.wujiong.cc/posts/2026-07-04-ai-governance-framework/<p>很多企业的 AI 应用是从下往上自发生长的：一个部门开始用 AI 写文案，另一个团队搭了客服机器人，开发者在代码里接入了各种模型 API。等管理层意识到时，公司里已经运行着几十个 AI 应用，却没有人能说清楚它们用了什么数据、风险在哪里、出了问题谁负责。<strong>AI 治理不是为了限制使用，而是为了让 AI 在可控的前提下更快、更大规模地落地。</strong></p>https://ai.wujiong.cc/posts/2026-07-03-ai-data-privacy/Fri, 03 Jul 2026 18:57:01 +0800https://ai.wujiong.cc/posts/2026-07-03-ai-data-privacy/<p>大模型工具在企业中的普及速度，往往快于企业制定规则的速度。员工为了提高效率，把会议纪要、客户资料、合同条款甚至源代码直接粘贴到各种 AI 工具中。<strong>这些数据去了哪里、会被保存多久、会不会被用于训练模型、是否违反了客户协议和法律法规</strong>，很多时候没有人想清楚。数据隐私是企业 AI 落地必须先回答的问题。</p>