图像分割的总结(一)

  1. 实例分割(DeepMask)
    实例分割任务有其本身的任务需求与度量矩阵。简单来说,语义分割只分割视野内目标的类型,而实例分割则不只分割类型,同时还须要分割同类型的目标是否为同一个实例。
  2. DeepMask
    网络其实实现了三个任务:前背景分割、前景语义分割与前 景实例分割.这三个任务是基于同一个网络结构进行的,只是各自有单独的分支。下图是DeepMask的网络模型概况
    在这里插入图片描述

与大部分分割网络相同,DeepMask一样应用了VGG模型做为特征提取的主要模块,在训练中也用了ImageNet下训练获得的VGG参数初始化这一部分模型。web

随后,DeepMask用两条分支来分别实现分割任务和前景目标识别任 务。下面咱们来具体看一下这两个分支:
(1) 分割部分网络

分割部分要实现的是对图块内场景的类别的识别,由一个1x1卷积层后接分类层实现。这里的分类是稠密的,也就是对每个像素都有其对应的标注。svg

这里须要注意的是,为了实现实例分割,分割部分的分支必须可以看到输入图块的全部信息,从而在多个目标同时存在时判断是否属于同一个咱们须要的目标。好比下图中有多头大象:3d

在这里插入图片描述
可是咱们只但愿标注出其中的一头:
在这里插入图片描述
(2) 前景Score部分xml

网络的第二个分支要完成的任务是,判断一个图块是否知足下面两个要求:
NO.1 :目标位于图块的正中心附近
NO.2: 目标完整存在于图块中(在某一尺度范围内)
这一部分由一个2x2的最大池化层,后接两个全链接层组成。最终的输出是一个目标score,用来显示该目标是否知足上面的要求。blog