AI 与 Python
AI 应用安全:提示注入、密钥与成本边界
模型是不可信输入的处理者,也是新的攻击面。把权限、数据与预算都关进笼子里再上线。
AI 应用把「用户输入 → 模型 → 外部工具」串成一条链,传统 Web 安全里的输入校验问题因此被放大:网页里的一段文字,可能就是给模型的指令。
提示注入要按设计缺陷对待
不要指望在系统提示里写一句「忽略用户指令」就安全。外部网页、上传文档、邮件内容都可能携带指令,模型无法可靠区分数据与命令。
- 来自外部的内容一律当作数据,放在明确分隔的上下文区域,并要求输出引用来源。
- 任何有副作用的工具调用都要经过服务端策略判断,不能只由模型决定。
- 写操作引入人工确认或二次校验,例如转账前核对收款人和金额。
- 输出回到浏览器时照常做转义与 CSP,别以为「模型生成」就天然安全。
密钥与数据边界
# 不要把 API Key 放进前端、日志或提示词
api_key = os.environ["MODEL_API_KEY"]
# 发送前脱敏
logger.info("ask", extra={"user_id": user.id, "tokens_in": n})
明确哪些数据可以发给第三方模型:手机号、身份证、病历、源代码通常都不行。需要本地处理时,评估小模型或私有部署,而不是把敏感字段「打码后」赌它不会被还原。
成本也是安全指标
limits = {
"max_tokens_per_request": 4000,
"max_requests_per_user_day": 200,
"max_cost_per_project_day": 50, # 单位:元
}
三层限流分别防单请求失控、单用户滥用和项目整体超支。配合缓存常见问答、压缩历史上下文,能把成本压下一个数量级。预算触顶时优雅降级,而不是让账单继续跑。
上线前的最小检查
- 用恶意文档做一次提示注入测试,验证工具调用仍被策略拦住。
- 检查日志里没有密钥、完整提示和隐私字段。
- 确认限流生效,并测试供应商超时与降级路径。
- 准备一个「一键关闭 AI 功能」的开关,出事时能马上退回规则方案。
