AI安全 on AI 观察

System Prompt 设计指南：身份定位、行为边界、语气风格与安全规则

Sun, 20 Sep 2026 13:04:49 +0800

用户在 AI 应用中看到的每一个回答，背后都有一段用户看不到的文字在发挥作用：系统提示词（System Prompt）。它定义了 AI 是谁、能做什么、不能做什么、以什么方式说话、遇到特殊情况如何处理。 一个精心设计的系统提示词能让 AI 应用表现得专业、稳定、安全；而一个草率的系统提示词，则会让 AI 时而越界、时而啰嗦、时而答非所问。

提示注入攻击与防御：为什么间接提示注入最难防

Wed, 05 Aug 2026 19:25:06 +0800

传统软件中，代码和数据有清晰的边界：用户输入的数据不会被当作程序指令执行。而在大模型应用中，指令和数据都是自然语言，混在同一个上下文里，模型很难可靠地区分“这是开发者的指令”还是“这是需要处理的内容”。 提示注入正是利用了这一点，它被多个安全组织列为大模型应用的首要风险。

大模型红队测试入门：如何系统地找出 AI 应用的安全问题

Sat, 01 Aug 2026 21:21:45 +0800

AI 应用上线后，总会有用户尝试让它说出不该说的话、做出不该做的事。与其等问题在生产环境中暴露，不如在上线前主动出击。红队测试（Red Teaming）就是让一组人扮演攻击者，用各种方法系统性地寻找 AI 系统的弱点。 它已经成为负责任的 AI 开发流程中的重要环节，对于面向公众或具备工具调用能力的应用尤其必要。

深度伪造的识别与防范：个人和企业该怎么应对 AI 换脸与声音克隆

Tue, 21 Jul 2026 10:27:42 +0800

几年前，制作一段以假乱真的换脸视频需要专业技术和大量素材；如今，只需要几张照片和一段短录音，普通人就能借助现成工具生成逼真的伪造视频和语音。深度伪造（Deepfake）的门槛已经大幅降低，它被用于诈骗、敲诈、制造谣言和损害名誉。 无论个人还是企业，都需要建立新的防范意识和流程。