评分刻度尺:把主观印象变成可比的分数
分数本身不神秘,神秘的是它怎么来的。这篇文章把刻度尺摊开:几分对应什么、谁来打、打不一致怎么办。
我们用的刻度只有五档。不是因为懒,而是因为可分辨的档位越多,打分者越容易在中间地带随意取值,最后得到一堆看起来很精确、实际无法复现的数字。
五档刻度各自的含义
五档的定义必须写在打分之前,而不是事后补。我们在条目模板上固定写死:五分=有明确公开依据且表述完整;四分=有依据但表述有缺项;三分=能找到依据但明显简略;二分=只有笼统表述;一分=无法核对。零分留给「信息缺失到无法判断」的情形。
| 档位 | 含义 | 可复现性 |
|---|---|---|
| 5 | 公开依据完整,可直接引用 | 任何人重查可得同一结论 |
| 4 | 依据存在,缺一至两个要素 | 重查结论基本一致 |
| 3 | 依据存在但十分简略 | 需二次确认 |
| 2 | 仅笼统表述,无具体内容 | 结论依赖判断 |
| 1 / 0 | 无法核对 / 信息缺失 | 可复现 |
可以看到,越靠近中间档,可复现性越差。这也是五分制的代价:它无法避免中间档的判断空间,只能通过双人打分来压缩。
为什么同一项要两个人独立打
一个人打分,容易形成固定偏好——有人天生严格,有人天生宽容。两个人先各自独立打完,再比对,分歧就会出现。分歧不是麻烦,而是最有价值的部分:它精确指出哪些条目定义得还不够清楚。
实际操作中,两人分歧超过一档的条目约占两成。这两成条目会被拉出来重读定义,必要时补充说明,再各自重新打一次。经过两轮,绝大多数分歧会收敛到同档或相邻档。
分数怎么合成,才不至于失真
合成前先处理分歧:同档取该档,相邻档取下位档,这是偏保守的做法。为什么保守?因为清单的用途是帮助读者排除风险,不是评选优秀,宁可在边界上收紧一点。
分数的功能是横向比较与排序,不是对真实体验的度量。任何把它当作结论的用法都超出了它的设计意图。
合成时按组别权重加权,权重写在评测清单条目那篇里。我们不使用小数,四舍五入到整数档位,避免出现「4.3 比 4.2 更好」这种无法解释的细节差异。
分数的有效期与降级
任何分数都带有效期。清单里每条记录标注最近评分日期,超过一个季度未复核的条目,会在显示上标注「待复核」,提醒读者该分数可能已不反映现状。这是很多评分体系忽略的一环:分数会过期,但页面不会自动过期。
若复核中发现关键条目降档(例如条款版本缺失),整条记录的状态可能从「在营」降为「观察」,具体判定见季度复核流程。分数与状态分离的设计,让读者能同时看到「过去怎么样」与「现在怎么样」。
如果你想自己用这套刻度
刻度尺是可以借用的。建议先只对三到五个条目打分,把定义抄在纸上,再隔一天重打一次。两次结果差距大,说明定义还不够清楚,需要继续细化的不是分数,而是条目。想了解更完整的条目结构,读评测清单条目;想了解核对的起点,读三项自我核验。回到平台评测栏目可看其他方法说明。