机器学习算法评估指标——3D目标检测

在真实的三维世界中,物体都是有三维形状的,许多应用都需要有目标物体的长宽高还有偏转角等信息。以自动驾驶为例,在自动驾驶场景下,需要从图像中提供目标物体三维大小及旋转角度等指标,鸟瞰投影的信息对于后续的路径规划和控制具有至关重要的作用。我们将使用RGB图像、RGB-D深度图像和激光点云,输出物体类别及在三维空间中的长宽高、旋转角等信息的检测称为3D目标检测

多类别目标的检测问题可以转换为“某类物体检测正确、检测错误”的二分类问题,从而可以构造混淆矩阵,使用目标分类的一系列指标评估模型精度,例如:使用Precision-Recall曲线定性分析模型精度,使用average precision(AP)定量分析模型精度;对于物体方向检测,可以采用Average Orientation Similarity (AOS)来衡量检测结果与Ground truth的方向相似程度。

下面具体介绍3D目标检测任务的常用评价指标。

IoU(Intersection over Union)

  • 定义:交并比,即预测框和真值框的交集与并集之比
IoU有三种计算方式:
(1)2D IoU:将3D检测结果框映射回2D的Image View
(2)3D IoU:直接在3D空间计算检测结果与Ground truth的IoU
(3)BEV IoU:将3D检测结果与Gound truth映射到2D的鸟瞰图上再计算IoU
  • 范围:0~100%
  • 用途:判断两个框的重叠程度,值越高则重叠程度越高,即两个框越靠近

IoU threshold

  • 定义:需要人为设定的IoU的阈值,高于该阈值的预测框被认为是命中目标,反之则被认为未命中
  • 范围:0~100%
  • 用途:作为区分预测框是否命中目标的指标,阈值越高则要求预测框与真值框重叠程度越高

TP,TN,FP,FN

 正样本负样本
判断为正TPFP
判断为负FNTN
  • TP (True Positive,真阳性):检测器给出正样本,事实上也是正样本,即正确检测到目标
  • TN (True Negative,真阴性):检测器给出负样本,事实上也是负样本,即正确检测到非目标
  • FP (False Positive,假阳性):检测器给出正样本,事实上却是负样本,即误检测
  • FN (False Negative,假阴性):检测器给出负样本,事实上却是正样本,即漏检测
物体检测评估标准对物体漏检(FN)和错检(FP)进行惩罚,同时规定对同一物体重复且正确的检测只算一次,多余的检测视为错检(FP)。

Precision

  • 定义:精确度(查准率),表示检测器给出所有正样本中正确的百分比
  • 计算:Precision = 检测器正确检测的正样本个数/检测器给出的所有正样本个数 = TP/(TP + FP)
  • 范围:0~100%
  • 用途:用于评估检测器在检测成功基础上的正确率

Recall

  • 定义:召回率(查全率),表示真值给出的所有正样本中被检测器检测到的百分比
  • 计算:Recall = 检测器正确检测的正样本个数/真值给出的所有正样本个数 = TP/(TP + FN)
  • 范围:0~100%
  • 用途:用于评估检测器对所有待检测目标的检测覆盖率

    PR曲线

     

     

  • 定义:Precision-Recall曲线,即以Precision为纵坐标、Recall为横坐标所作的曲线
  • 绘制:选取不同的confidence阈值,可以在PR坐标系上得到不同的点,连接这些点即可获得PR曲线
  • 用途:用来评估模型性能。Precision值和Recall值越大越好,所以PR曲线越往右上角凸越好。

AP(Average Precision)

由于IoU有三种计算方式,对应地,AP也有三种计算方式:AP(2D)、AP(3D)、AP(BEV)
  • 范围:0~100%
  • 用途:用来衡量算法在单个类别上的平均精度。AP值越高,表示对这个类别的检测精度越高。

mAP(Mean Average Precision)

  • 定义:平均精度均值,即多个类别的AP的平均值
  • 范围:0~100%
  • 用途:用来衡量算法在所有类别上的整体精度表现。mAP值是目标检测算法最重要的评估指标之一。

f-measure

  • 定义:Precision和Recall的加权调和平均值
  • 计算:
fβ-measure = ( β^2 + 1 ) * P * R / ( β^2 * P + R )
当 β = 1 时,即为 f1-measure:
f1-measure = 2 * P * R / ( P + R )
  • 范围:0~100%
  • 用途: Precision和Recall在一般情况下是互斥的,即Precision越高,Recall越低。f-measure用于为两者给出一个综合评判。

AOS(Average Orientation Similarity)

  • 定义:平均方向相似性,计算如下所示:


其中,r代表物体检测的召回率。在因变量r下,方向相似性s∈[0,1]被定义为所有预测样本与ground truth余弦距离的归一化:


其中D(r)表示在召回率r下所有预测为正样本的集合,∆θ(i) 表示检出物体i的预测角度与ground truth的差。为了惩罚多个检出匹配到同一个ground truth,如果检出i已经匹配到ground truth设置δi = 1,否则δi = 0。

  • 范围:0~100%
  • 用途: 用于衡量检测结果与ground truth的方向相似程度

 

了解产品详情,在线试用:https://www.graviti.cn

更多精彩内容请关注微信公众号:

 

 

已标记关键词 清除标记
相关推荐