读懂 Brier 分数与校准曲线

两个朋友都在猜明天会不会下雨。小王说 90%，小李说 60%，第二天果然下雨了。两人都“猜对了方向”，但谁更好？直觉上小王更好，他更敢说、也说中了。要是第二天没下雨呢？小王就错得更离谱。Brier 分数就是把这种直觉变成数字。

Brier 分数：越低越好

计算方法很简单：把你给的概率记为 p，事件发生记为 1、没发生记为 0，算 (p − 结果)²。

• 说 90%，发生了：(0.9 − 1)² = 0.01，几乎满分。
• 说 90%，没发生：(0.9 − 0)² = 0.81，重重扣分。
• 说 60%，发生了：(0.6 − 1)² = 0.16。
• 说 50%，无论结果如何：都是 0.25。

把所有已核对预测的得分取平均，就是你的 Brier 分数。0 是完美，0.25 相当于每次都说 50%，高于 0.25 说明还不如抛硬币。

注意它的特点：说得越确定，猜对时奖励越大，猜错时惩罚也越重。所以最好的策略不是一味大胆或一味保守，而是说出你真实的把握。下面拖动概率滑块，分别看看事件发生和没发生时得分怎么变化。

校准曲线：说七成，中七成吗

Brier 分数是一个总分，校准曲线则告诉你问题出在哪。把预测按概率分档，比如所有你说 70% 左右的预测，看看实际发生了多少。

• 点落在对角线上：说七成，中七成，校准良好。
• 点在对角线下方：实际发生得比你说的少，过度自信。
• 点在对角线上方：实际发生得比你说的多，过于保守。

每一档至少要有十来条预测，曲线才有参考价值，所以多写、多核对很重要。