目标检测评价指标详解:mAP、AP、FPS
目标检测评价指标详解:mAP、AP、FPS
在目标检测领域,评价一个检测模型的性能通常会从两个维度进行考量:精度和速度。精度反映了模型检测的准确性,而速度则体现了模型处理数据的效率。本文将详细介绍目标检测中常用的评价指标,包括精度评价指标(mAP、AP、Precision、Recall等)和速度评价指标(FPS),帮助读者全面理解这些指标的计算方法和实际意义。
精度评价指标
mAP(mean Average Precision): 即各类别AP的平均值,用于评估整个数据集所有类别的检测性能。
AP(Average Precision): PR曲线下面积,用于评估数据集中单个类别的检测性能。
PR曲线(Precision-Recall曲线): 在不同Recall下,检测精度的平均值,可以综合反映检测器的准确率。
Precision(准确率): 计算方式为TP / (TP + FP),表示所有预测框中正确预测目标的框的占比,反映的是检测准确性。
Recall(召回率): 计算方式为TP / (TP + FN),表示所有Ground Truth中,被正确预测到的占比,反映的是检测器的召回能力。
TP(真正例): IoU(Intersection over Union)大于等于阈值的检测框数量,同一Ground Truth只计算一次。
FP(假正例): IoU小于阈值的检测框数量,或者是检测到同一个GT的多余检测框的数量。
FN(假反例): 没有检测到的GT的数量。
注: 因为IOU阈值设置会影响TP、FP和FN值,所以以上指标都是针对某个IOU阈值下来说的。比如IOU阈值为0.8时mAP是多少,为了更加全面的评估检测器的性能,有时候在不同IOU阈值下统计AP,比如COCO数据集,设定多个IOU阈值(0.5-0.95,0.05为步长),在每一个IOU阈值下都有某一类别的AP值,然后求不同IOU阈值下的AP平均,就是所求的最终的某类别的AP值。
AP计算举例
假设测试集是下面三张图片,其中绿框为Ground Truth,红色框为目标检测结果。现在要计算猫这个类别的AP。IOU阈值设置为0.5。
1)统计检测框检测情况。按照置信度降序排序预测框。检测框和真实框计算IOU,判断检测框是否检测到目标。
2)根据目标检测框统计结果绘制PR曲线。统计每种置信度下的Precision和Recall,得到如下左表。比如当置信度为0.98时,此时只有一个检测框,TP=1, FP=0,FN=6, Precision=1,Recall=1/7=0.14。根据左表画出右图PR曲线。
3)计算PR曲线下面的面积,得到猫的平均准确率AP=0.6694