《------往期经典推荐------》
二、机器学习实战专栏【链接】,已更新31期,欢迎关注,持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】,持续更新中~~
六、YOLO性能对比专栏【链接】,持续更新中~
《------正文------》
目录
本文将详细介绍,在目标检测模型(如YOLO、Faster R-CNN或SSD)中的核心核心评估指标mAP的相关概念。
目标检测比分类更难
在分类问题中,你只需预测一个标签。在目标检测中,必须:
- 找到对象所在的位置(定位:绘制边界框)。
- 确定对象是什么分类。
其评估指标包括精确度、召回率和mAP。
精确度与召回率
精确度
定义: 在你的模型检测到的所有物体中,有多少是正确的?
公式: True Positives / (True Positives + False Positives)
召回率
用于评估你的模型有多全面。定义:在所有存在的物体中,你的模型找到了多少?
公式: True Positives / (True Positives + False Negatives)
但是,仅仅靠精确度和召回率并不能说明全部问题。如果你的模型很擅长找物体,但画检测框的时候很糟糕怎么办?
这就是Intersection over Union(IOU)的由来。
IoU:检测质量的衡量标准
交并比(IoU)是衡量预测边界框与真实框(实际对象位置)对齐的准确程度的关键指标。它的工作原理如下:
计算方式
- 交集:预测框和真实框之间的重叠区域。
- 并集:两个方框所覆盖的总面积。
公式:IoU =相交面积/合并面积
举例来说:
- 如果你的模型预测出一个与真实框完全重叠的框,IoU = 1.0。
- 如果没有重叠,IoU = 0.0。
- 如果预测的盒子覆盖了一半的真实框,IoU = 0.5。
为什么IoU阈值很重要
1.IoU阈值(例如,0.5)作为检测的通过/未通过标准:
- 真阳性(TP):IoU ≥阈值(例如,≥0.5)。
- 假阳性(FP):IoU <阈值(例如,重叠面积太小了)。
2.满足不同的定制化需求
- mAP@0.5是宽松的(框只需要50%重叠)。
- mAP@0.75需要精确定位(75%重叠)。
- mAP@0.95非常严格(用于医疗成像等安全关键任务)。
让我们来做比喻,想想IoU的门槛,比如考试的“及格分数”:
- 阈值为0.5就像得分50%通过(对大多数情况来说足够好)。
- 0.9的阈值就像需要90%才能通过(为精英表现保留)。
那么我们该如何解释模型的性能?我有Precision、Recall和IoU,但我该如何处理它们?
这就是平均精度(AP)的作用。
平均精度(AP):曲线下面积
对于单个类(例如,“cat”),这就是你如何找到AP(精确率-召回曲线下的面积):
一.按置信度对检测进行排序:从模型最高置信度的预测开始。
二.计算每一步的精确率召回率:当你沿着列表往下走(降低置信阈值)时,你:
- 提高召回率(找到更多对象,但有更多误报风险)。
- 降低精确度(更多检测,但有些可能是错误的)。
三.绘制精确-召回(PR)曲线:
- X轴=召回率(0到1)。
- Y轴=精确度(0到1)。
- 一个完美的模特有一个拥抱右上角的PR曲线。
四. 计算AP(PR曲线下面积)
- AP将整个PR曲线总结为一个数字(0到1)。
对于平均精确度,AUC计算如下:
- PR曲线通过在固定的召回率水平上插入精确度来“平滑”。
- AP = 11个等间隔召回点(0.0,0.1,…,1.0)处的精确度值的平均值。
- 更简单的方法:使用原始PR曲线下的积分(面积)。
完美的PR曲线下面积= AP = 1.0(在所有召回水平下100%的准确率)。
为什么AP很重要
一.平衡精确度和召回率:高AP意味着模型:
- 检测大多数对象(高召回率)。
- 很少出错(高精度)。
二.可观察不同类别性能:AP是按类计算的。“猫”的低AP意味着你的模型对猫的检测效果不佳。
三.身份不可知:与固定阈值度量(例如,准确性),AP在所有置信水平上评估性能。
举例来说:
高平均精度(例如,0.9)
- 在每一个召回级别,精确度都很高。
- 如果模型检测到90%的对象(召回率=0.9),精确度仍然是90%。
低平均精度(例如,0.3):
- 随着召回率的增加,精确度急剧下降。
- 检测到80%的对象(召回率=0.8)可能意味着准确率下降到20%。
mAP(Mean Average Precision)
mAP(Mean Average Precision) 是所有类别的平均值。
- 例如:如果模型检测到猫、狗和汽车,则mAP =(AP_cat + AP_dog + AP_car)/ 3。
mAP@0.5与mAP@0.95区别
mAP@0.5:
- 使用宽松的IoU阈值(50%重叠)。
- 在通用检测中常见(例如,PASCAL VOC数据集)。
- 支持检测对象的模型*,即使检测框稍微偏离*。
mAP@0.95:
- 使用严格的IoU阈值(95%重叠)。
- 支持具有接近完美定位的模型。
- 用于高风险应用(例如,医学成像、机器人学)。
COCO mAP:跨0.5到0.95(增量为0.05)的IoU阈值的mAP平均值。这是严与宽的平衡。
为什么mAP是最终的评估指标
- 平衡精确召回:与准确性不同,mAP会惩罚错过对象(低召回)或垃圾邮件错误检测(低精度)的模型。
- 根据需求设定IOU:通过使用IoU,mAP确保检测框不仅“足够好”,而且与您的门槛要求一样精确。
对于优先考虑速度和准确性的YOLO模型,通过mAP可以知道:
- 检测的可靠性(精度)。
- 错过的物体有多少(召回)。
- 边界框有多贴合(IoU)。
结论
目标检测是一项复杂的任务,评估其性能需要一个平衡精度,召回率和定位准确性的指标。这就是mAP的闪光点。它不仅仅是一个数字-它是一个全面的衡量模型检测对象、绘制边界框和处理多个类的能力的指标。
无论您使用的是YOLO、Faster R-CNN还是任何其他对象检测框架,mAP都能为您提供一个可靠的指标来比较模型、调整超参数,并将性能提升到一个新的水平。通过mAP@0.5和mAP@0.95等变量,您可以定制评估,以满足特定应用的精度要求。
好了,这篇文章就介绍到这里,喜欢的小伙伴感谢给点个赞和关注,更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见,欢迎在评论区留言交流!