为了达到这个目的,咱们把训练阶段的类别不平衡性视为一阶目标检测系统精度的瓶颈,并提出了了解决这个瓶颈的全新的损失函数。在此基础上,咱们设计了一个名为RetinaNet的一阶目标检测模型。api
Focal Loss
网络
2.1 Cross entropy
架构
二分类问题中loss的定义以下:函数
上式中表明样本属于1的几率。y表明标签。为了表示方便,咱们定义以下:测试
CE loss 以下图中的蓝色曲线所示,这个loss的一个显著特征是,即便是很容易的分类状况下,也会产生较大的loss。当把这些大量的loss加起来的时候,将会产生较大的影响。ui
经常使用的解决类别不平衡的方法是引入一个额外的参数。用来设置为相反类别的几率或者做为交叉验证的一个超参数。为了表示方便,咱们重写了带参数的CE loss:spa
正如实验所示,在密集目标检测系统中,训练过程当中,遇到的类别失衡将会对交叉熵损失函数产生较大影响。容易分类的负样本将会占据主要的损失以及梯度。尽管平衡了正负样本的重要性,可是没法对 容易分类的样本和难以分类的样本产生影响。所以咱们提出了一种全新的loss function(focal loss),以此来下降 容易分类样本的重要性,从而把训练集中在难以分类的负样本上。 Focal loss 的形式以下:.net
Focal loss 在 cross entropy 的基础上增长了一个调节因子,。Focal loss 以下图所示,的取值在[0, 5] 之间。从图中咱们能够看出两点:设计
当一个样本被错分类,值很小的时候,调节因子,的值很小,所以不会对loss产生影响。当值很大,趋近于1的时候,调节因子的值趋近于0,所以对于正确分类的样本的loss值被缩小了。blog
的时候,FL 等于 CE。当增长时候,调节因子的影响相应的增长,实验中取得了最好的实验效果。
在实验中,咱们使用了变种的focal loss ,形式以下:
RetinaNet Detector
为了验证使用的Focal Loss function,做者设计了一种RetinaNet,以下图所示:
RetinaNet 网络架构包含一个backbone 网络和两个subnetwork。Backbone网络在底层使用了ResNet,用来生成卷机特征,在此之上有一个Feature Pyramid Network(FPN)。Backbone外接两个subnetwork,一个用来分类,一个用来生成目标位置信息。
实验验证
咱们在COCO数据集上进行了目标检测的实验,并将测试结果与近期最早进的方法进行比较。其中包括一阶模型和二阶模型。下表列出了测试结果:
这是Retina-101-800模型的测试结果,训练过程当中采用scale filter , 训练时间是以前模型的1.5倍,可是AP值提高了1.3。对比当前最早进的一阶模型,咱们的模型AP值提高了5.9%(39.1 vs 33.2)。对比当前最早进的二阶模型,Faster R-CNN w TDM,咱们的模型也取得了2.3%的优点(39.1 vs 36.8)。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------