提示词评测基准

示例

搭建任务集与评分细则，对比不同提示词与模型版本

背景

提示词改一个词，输出就可能变好或变差，但团队过去只能靠几个例子凭感觉判断。模型版本更新后，也缺少一套稳定的方法来确认效果有没有退步。

我搭建了一套覆盖常见任务的评测集，制定评分细则，并设计提示词与模型版本的对比实验。我也负责把结果整理成团队能直接用的结论。

按任务类型分层抽样，保证评测集覆盖简单、困难和边界情况。每道题配参考答案和分级评分标准，先用模型自动评分，再抽样人工复核校准。每次对比只改变一个变量，结果用同一份报表呈现。

形成包含 [X] 个任务的评测基准，自动评分与人工评分的一致率达到 [X]%。新提示词上线前都会跑一遍基准，回归问题能更早被发现。