对话模型偏好数据集

示例

设计多维度偏好标注规范，产出用于 RLHF 的排序数据

背景

对话模型的回答常常“看起来对”，却不一定有用、诚实或安全。团队需要一批能反映真实偏好的排序数据，用来训练奖励模型。原有的单一打分方式区分度不够，标注员之间的分歧也很大。

我负责设计偏好标注规范，并搭建质检流程。从维度拆分、示例编写到标注员培训，我全程跟进，并在每一轮交付前做抽检和复盘。

把“好回答”拆成有用性、真实性、无害性和表达四个维度，每个维度配正反例。采用两两比较代替绝对打分，降低主观尺度差异。分歧样本进入仲裁池，由资深标注员复核，并把典型争议补进规范。

产出 [X] 万条偏好排序数据，标注员一致性提升到 [X]%。规范沉淀为可复用的模板，后续同类项目的启动时间缩短了 [X]%。