大模型安全评测不能只测提示注入：红队场景与防御验证体系

评测对象是完整应用

攻击者面对的不只是模型，还包括检索库、插件、文件上传、会话记忆和业务接口。单独测试模型是否拒绝危险问题，无法发现通过文档注入操纵工具或跨租户读取数据的风险。应绘制信任边界，列出所有外部输入与可产生副作用的动作。

建立分层攻击场景

输入层测试直接与间接提示注入、编码混淆和多轮诱导；数据层测试越权检索、敏感信息复现和缓存串租户；工具层测试参数篡改、重复执行和权限升级；输出层测试恶意链接、脚本内容和不当建议。每个场景明确前置条件、预期防线与可接受结果。

防御不能依赖一个分类器

输入检测可拦截明显模式，但未知攻击仍会绕过。更稳的体系是最小权限工具、结构化参数校验、检索权限过滤、输出编码和高风险审批共同工作。把外部文档视为不可信数据，不允许其中的指令覆盖系统策略。

评测要验证副作用

在隔离环境中使用仿真账户和假数据，观察系统是否真的执行了越权动作，而不是只分析文本回答。记录攻击成功率、敏感数据暴露量、拦截误报和恢复时间。修复后把案例加入自动回归，防止模型或提示升级重新引入风险。

持续红队与事件响应

上线前集中测试，上线后根据新功能与真实攻击持续更新场景。安全日志应支持关联用户、请求、模型和工具动作，并提供暂停高风险工具的开关。大模型安全不是让模型学会拒绝所有内容，而是让攻击即使影响模型判断，也无法越过系统边界。