分类算法的评估方法
分类算法的评估方法
1. 正样负样与正检误检
TP:True Positive 把正的判断为正的数目 True Positive,判断正确,且判为了正,即正的预测为正的。
FN:False Negative 把正的错判为负的数目 False Negative,判断错误,且判为了负,即把正的判为了负的
FP:False Positive 把负的错判为正的数目 False Positive,判断错误,且判为了正,即把负的判为了正的
TN:True Negative 把负的判为负的数目 True Negative,判断正确,且判为了负,即把负的判为了负的
2. 精确率 (Precision)
精确率是相对于预测结果而言的,它表示的是预测为正的样本中有多少是对的;那么预测为正的样本就有两种可能来源,一种是把正的预测为正的,这类有TruePositive个,另外一种是把负的错判为正的,这类有FalsePositive个,因此精确率即:
P=TP/(TP+FP)
3. 准确率 (Accuracy)
准确率是指有在所有的判断中有多少判断正确的,即把正的判断为正的,还有把负的判断为负的;总共有 TP + FN + FP + TN 个,所以准确率:(TP+TN) / (TP+TN+FN+FP)
4. 召回率 (Recall)
召回率是相对于样本而言的,即样本中有多少正样本被预测正确了,这样的有TP个,所有的正样本有两个去向,一个是被判为正的,另一个是错判为负的,因此总共有TP+FN个,所以,召回率 R= TP / (TP+FN)
5. ROC曲线
ROC曲线是(Receiver Operating Characteristic Curve,受试者工作特征曲线)的简称,是以灵敏度(真阳性率)为纵坐标,以1减去特异性(假阳性率)为横坐标绘制的性能评价曲线。可以将不同模型对同一数据集的ROC曲线绘制在同一笛卡尔坐标系中,ROC曲线越靠近左上角,说明其对应模型越可靠。也可以通过ROC曲线下面的面积 (Area Under Curve, AUC) 来评价模型,AUC越大,模型越可靠。
6. 综合评价指标 (F-Measure)
F-Measure是Precision和Recall加权调和平均:
当参数α=1时,就是最常见的F1,也即
可知F1综合了P和R的结果,当F1较高时则能说明试验方法比较有效。
7. E值
E值表示查准率P和查全率R的加权平均值,当其中一个为0时,E值为1,其计算公式:
b越大,表示查准率的权重越大。