机器学习算法评估指标——3D目标跟踪

与2D目标跟踪类似,3D目标跟踪可以分为单目标跟踪和多目标跟踪,首先介绍单目标跟踪(SOT)算法的常用评估指标;其次介绍多目标跟踪(MOT)算法的常用评估指标。

单目标跟踪

传统的评估tracker的方式是:在测试序列上运行一遍该跟踪算法(其中第一帧以ground truth作初始化),然后计算average precision或sucess rate。我们把这种只在测试序列上运行一遍的评估方法叫做one-pass evaluation (OPE)。然而tracker对初始化可能比较敏感,不同的起始帧可能对performance有很大的影响。因此,还需要对算法的鲁棒性进行评估,包括时间鲁棒性评估(TRE)和空间鲁棒性评估(SRE)。接下来详细介绍OPE和Robustness的评估指标。

ALE(Average Location Error)

  • 定义:平均定位误差,即预测框与真实框中心位置的欧式距离取帧平均
  • 用途:用来判断两个框的靠近程度

AOR(Average Overlap Rate)

 

Overlap Rate threshold

  • 定义:平均重叠率,即预测的b-box与ground truth的交并比取帧平均
  • 范围:0~100%
  • 用途:用来判断两个框的重叠程度
  • Location Error threshold

  • 定义:需要人为设定的定位误差的阈值,Location Error低于该阈值的框被认为是命中目标,反之则被认为未命中
  • 用途:作为区分框是否命中目标的指标
  • 定义:需要人为设定的重叠率的阈值,重叠率高于该阈值的框被认为是命中目标,反之则被认为未命中
  • 范围:0~100%
  • 用途:作为区分框是否命中目标的指标

Precision plot

  • 定义:选取不同的Location Error threshold,得到各阈值下的precision,连接各点形成precision曲线
  • 用途:根据曲线下的面积或者某个threshold下的precision,来衡量tracker的跟踪准确度。

Success plot

  • 定义:选取不同的Overlap Rate threshold,重叠率大于阈值视为跟踪成功,序列中跟踪成功的帧数占总帧数的比例定义为跟踪成功率,则可以得到各阈值下的成功率,连接各点形成success曲线
  • 用途:根据曲线下的面积来衡量tracker的跟踪精确度

TRE(Temporal Robustness Evaluation)

  • 定义:时间鲁棒性评估。从整个序列中截取若干段(可以重复),每段的初始帧利用ground truth进行初始化,在每一段上分别运行跟踪算法,对每一段分别进行评估,最后对总体信息进行统计。

SRE(Spatial Robustness Evaluation)

  • 定义:空间鲁棒性评估。对起始帧的ground truth进行shift或scale操作形成若干段测试序列,在每一段上分别运行跟踪算法,对每一段分别进行评估,最后对总体信息进行统计

多目标跟踪

2D 目标跟踪中介绍了MOTP、MOTA、MT、ML、FM等2D MOT评估指标,这些指标对于3D MOT同样适用,只是在3D场景下需要将3D IoU作为衡量假设与目标是否匹配的标准。

然而,使用单个阈值进行评估无法反映出accuracy和precision的全部范围。换句话说,仅在单个阈值处获得高MOTA值而在其他阈值处获得极低MOTA值的MOT系统在单一阈值的评估标准下仍然可能脱颖而出。但理想情况下,研究人员应继续开发MOT系统,以在所有阈值上实现尽可能高的MOTA。

为了解决这个问题,在3D MOT中,论文提出了两个新的评估指标:AMOTA和AMOTP,总结所有阈值上的MOTA和MOTP,而不是使用单个阈值。与目标检测的平均精度AP相似,通过将MOTA和MOTP在recall曲线下积分,可以计算出AMOTA和AMOTP。为了简化计算,可以使用插入法来近似积分。

AMOTA(Average Multiple Object Tracking Accuracy)

  • 定义:多目标跟踪平均准确度。选取不同的阈值,得到不同阈值下的recall和MOTA,以recall为横坐标、MOTA为纵坐标,绘制出MOTA-recall曲线,使用插入法求取MOTA的均值,即AMOTA。

  • 用途:用来评估跟踪算法在所有阈值下的总体准确度表现,以提高算法健壮性

AMOTP(Average Multiple Object Tracking Precision)

  • 定义:多目标跟踪平均精度。选取不同的阈值,得到不同阈值下的recall和MOTP,以recall为横坐标、MOTP为纵坐标,绘制出MOTP-recall曲线,使用插入法求取MOTP的均值,即AMOTP。

  • 用途:用来评估跟踪算法在所有阈值下的总体精度表现,以提高算法健壮性

 

已标记关键词 清除标记