目标检测常用的损失函数
L1损失(均方误差MSE)
优点:各点都连续光滑,方便求导,具有较为稳定的解 缺点:不是特别的稳健,因为当函数的输入值距离中心值较远的时候,使用梯度下降法求解的时候梯度很大,可能导致梯度爆炸。
L2损失(平均绝对误差MAE)
表示了预测值的平均误差幅度,而不需要考虑误差的方向
优点:无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。 缺点:在中心点是折点,不能求导,不方便求解。
smooth L1损失函数
当|x-y|<1的时候,求导后的导数为(x-y),所以x接近0的时候的梯度也接近0 当|x-y|>=1的时候,求导后的导数为1,所以当x远离0的时候,梯度都是恒定为1
loss对于离群点更加鲁棒,相比于L2损失函数,其对离群点(指的是距离中心较远的点)、异常值(outlier)不敏感,可控制梯度的量级使训练时不容易跑飞。
IOU损失:
优点:它可以反映预测检测框与真实检测框的检测效果。 缺点:
- 如果两个框没有相交,根据定义,IoU=0,不能反映两者的距离大小(重合度)。同时因为loss=0,没有梯度回传,无法进行学习训练。
- IoU无法精确的反映两者的重合度大小。如下图所示,三种情况IoU都相等,但看得出来他们的重合度是不一样的,左边的图回归的效果最好,右边的最差
GIOU:
黑色框是原图 src 绿色是真实框 gt 蓝色是预测框 pre 黄色是包含真实框和预测框的最小框Ac U = gt+pre IOU就是绿色框和蓝色框相交的部分
DIOU
DIoU要比GIou更加符合目标框回归的机制,将目标与anchor之间的距离,重叠率以及尺度都考虑进去,使得目标框回归变得更加稳定,不会像IoU和GIoU一样出现训练过程中发散等问题 DIOU优点:
- 与GIoU loss类似,DIoU loss( [公式] )在与目标框不重叠时,仍然可以为边界框提供移动方向。
- DIoU loss可以直接最小化两个目标框的距离,因此比GIoU loss收敛快得多。
- 对于包含两个框在水平方向和垂直方向上这种情况,DIoU损失可以使回归非常快,而GIoU损失几乎退化为IoU损失。
- DIoU还可以替换普通的IoU评价策略,应用于NMS中,使得NMS得到的结果更加合理和有效。
CIOUS
论文考虑到bbox回归三要素中的长宽比还没被考虑到计算中,因此,进一步在DIoU的基础上提出了CIoU。
最后,CIoU loss的梯度类似于DIoU loss,但还要考虑 [公式] 的梯度。在长宽在 [0,1] 的情况下, w^2 + h^2 的值通常很小,会导致梯度爆炸,因此在 1/ (w平方+h平方) 实现时将替换成1。
分类损失
交叉熵损失
举个例子怎么用: BCEloss是交叉熵损失的一个特列,BCE只是2分类损失,但是运行的时候交叉熵损失和BCEloss还是有一点区别,交叉熵用softmax激活,BCE用Sigmoid激活运算。
BCEloss:
预测值y是经过激活函数的输出,所以在0-1之间。可见普通的交叉熵对于正样本而言,输出概率越大损失越小。对于负样本而言,输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优
focalloss
类别权重是对正负样本进行调节。要是你知道正负样本的分布的话,负样本较少,数值就调大一些。类别权重的值域在0~1。
