模型安全红队测试

示例

设计越狱与有害内容测试集，整理风险分级与修复建议

背景

模型上线前，需要确认它不会被轻易诱导输出有害内容。常规评测很少覆盖刻意的攻击方式，风险往往在上线后才暴露。

我设计越狱和有害内容测试集，并组织红队测试。发现的问题由我按风险分级，整理成可执行的修复建议，同步给模型团队。

按风险类别和攻击手法建立测试矩阵，包括角色扮演、多轮诱导和指令拆分等方式。每个问题记录复现步骤、触发条件和影响范围，再按严重程度分级。修复后用同一批用例回归验证，确认问题不会复现。

累计设计 [X] 条测试用例，发现 [X] 个高风险问题。修复后的回归验证通过率达到 [X]%，测试集也成为每次版本发布前的固定检查项。