目标检测评价指标详解（mAP、AP、FPS）
目标检测评价指标详解（mAP、AP、FPS）
目标检测问题，一般的常用评价指标有：
精度评价指标：map（mean Average Precision，平均准确度均值），平均正确率（AP），准确率 （Accuracy），精确率（Precision），召回率（Recall）。
速度评价指标：FPS（即每秒处理的图片数量或者处理每张图片所需的时间，在同一硬件条件下进行比较）
精度评价指标：
mAP:mean Average Precision, 即各类别AP的平均值，（针对整个数据集所有类别）
AP:Average Precision，PR曲线下面积，（针对数据集中单个类别）
PR曲线：Precision-Recall曲线（在不同Recall下，检测精度的平均值，可以综合反映检测器的准确率）
Precision:准确率，计算方式TP / (TP + FP)，所有预测框中正确预测目标的框的占比，反映的检测准确性。
Recall:召回率，计算方式TP / (TP + FN)，所有Ground Truth中，被正确预测到的占比，反映的是检测器的召回能力。
TP:IoU>=阈值的检测框数量（同一Ground Truth只计算一次）
FP:IoU<阈值的检测框数量，或者是检测到同一个GT的多余检测框的数量
FN:没有检测到的GT的数量
注：因为IOU阈值设置会影响TP、FP和FN值，所以以上指标都是针对某个IOU阈值下来说的。比如IOU阈值为0.8时mAP是多少，为了更加全面的评估检测器的性能，有时候在不同IOU阈值下统计AP，比如COCO数据集，设定多个IOU阈值（0.5-0.95,0.05为步长），在每一个IOU阈值下都有某一类别的AP值，然后求不同IOU阈值下的AP平均，就是所求的最终的某类别的AP值。
AP计算举例
假设测试集是下面三张图片，其中绿框为Ground Truth，红色框为目标检测结果。现在要计算猫这个类别的AP。IOU阈值设置为0.5。
1）统计检测框检测情况。按照置信度降序排序预测框。检测框和真实框计算IOU，判断检测框是否检测到目标。
2）根据目标检测框统计结果绘制PR曲线。统计每种置信度下的Precision和Recall，得到如下左表。比如当置信度为0.98时，此时只有一个检测框，TP=1, FP=0，FN=6, Precision=1，Recall=1/7=0.14。根据左表画出右图PR曲线。
3）计算PR曲线下面的面积，得到猫的平均准确率AP=0.6694
参考：
知乎目标检测评价指标：https://zhuanlan.zhihu.com/p/362851038
bilibili视频：目标检测mAP计算以及coco评价标准