水星的随笔

背景

概念

混淆矩阵

[1]

• TP：预测为1，实际为1，预测正确。
• FP：预测为1，实际为0，预测错误。
• FN：预测为0，实际为1，预测错误。
• TN：预测为0，实际为0，预测正确。

准确率

准确率(Accuracy) 的定义，即预测正确的结果占总样本的百分比

准确率能够判断总的正确率，但是在样本不均衡的情况下，并不能作为很好的指标来衡量结果。

比如在样本集中，正样本有90个，负样本有10个，样本是严重的不均衡。对于这种情况，我们只需要将全部样本预测为正样本，就能得到90%的准确率，但是完全没有意义。对于新数据，完全体现不出准确率。因此，在样本不平衡的情况下，得到的高准确率没有任何意义，此时准确率就会失效。所以，我们需要寻找新的指标来评价模型的优劣。

精确率

精确率(Precision) 是针对预测结果而言的，其含义是在被所有预测为正的样本中实际为正样本的概率

精确率和准确率看上去有些类似，但是是两个完全不同的概念。精确率代表对正样本结果中的预测准确程度，准确率则代表整体的预测准确程度，包括正样本和负样本。

召回率

召回率(Recall) 是针对原样本而言的，其含义是 在实际为正的样本中被预测为正样本的概率 ，表达式为：

F1分数

精确率和召回率又被叫做查准率和查全率，可以通过P-R图进行表示：

我们先明确目标，我们 希望精确率和召回率都很高 ，但实际上是矛盾的，上述两个指标是矛盾体，无法做到双高。

选择合适的阈值点，就需要根据实际问题需求，比如我们想要很高的精确率，就要牺牲掉一些召回率。想要得到很高的召回率，就要牺牲掉一些精准率。

但通常情况下，我们可以根据他们之间的平衡点，定义一个新的指标： F1分数(F1-Score) 。F1分数同时考虑精确率和召回率，让两者同时达到最高，取得平衡。F1分数表达式为：

参考

1. 准确率、精确率、召回率、F1值