行人重识别年度进展

  1. 关键:
    识别和匹配两个人的特征信息和语义结构特点
  2. 步骤:
    1.Feature Extractor:CNN
    2.Feature Matching
    基于预先定义的位置,(gloabl,local stripes局部条纹,grid patches网格补丁)
    基于semantic region语义(Person parts, salient regions显著和attention regions)
    在这里插入图片描述在这里插入图片描述
  3. stripes方法:有三个方面的工作:
    1.DeepMetric深度测量(把一幅图片强行分成三大块,每一大块做一个SCNN,再将各个部分整合)
    (ICPR 2014 Deepmetric learning for practical person re-identification)
    2.DeepReID(把一个人的结构分成很多小块,一横块分四小块,每一个小块进行操作。这个方法比较直 接,更加细致。缺陷是在识别较为复杂的情况时,或者任何人之间特征区分较差时会受到噪音干扰。)
    (CVPR 2014 DeepReID Deep Filter Pairing Neural Network for Person Re Identification)
    3.AlignedReID对齐(动态规划计算距离,需要动态匹配的过程,匹配水平的pooling和global pooling,再将两部分融合,得到local distance和global distance,再加入hardsample mining。)
    (CVPR 2017 AlignedReID:Surpassing Human-Level Performance in Person Re-Identification)
    代码

grids方法:思路是基于网格,主要有两个工作:
1.IDLA:将两个图片转化匹配,认为在另一个图像的邻域网格总能找到匹配。在难以匹配的情况下,可 以到邻域寻找匹配,所以性能提高很多
(CVPR 2015 An inmproved deep learnng archiecture for person re-identification)
2.DCSL:网络结构转化成一个空间金字塔,在一层匹配不了的情况下,到上一层匹配。
(IJCAI 2016 Semantics-Aware Deep Correspondence Structure Learning for Robust Person Re-identification )
attention方法:借助自然语言和图像语言做特征选择
1.Part-Aligned:部件对齐
将一个人进行匹配时不是所有区域都参与到匹配中,加入attention map,自动发现适合做re-identify的pattern,再做triplet loss,能够在性能上提高7到8个点。
(ICCV 2017 Deeply-Learned Part-Aligned Representations for Person Re-Identification)有代码,简单有效
2.HydraPlus-Net
HPNet很复杂,有多层attention,attention map有多个layer,还有遗忘skip的功能,需要把很多过程整合起来得到一个结果。
模型有进一步的提高,但是在market数据集上比我们的效果差一点。方法越来越复杂,可能在某个数据集上表现越来越好,但是可能泛化能 力越来越差。而我们的模型简单,泛化能力强。
(ICCV 2017 HydraPlus-Net:Attentive Deep Features for Pedestrian Analysis) 有代码
3.HA-CNN
下面这个attention regions learning的方法进一步深化,定义了两种attention,一种是 hard attention,有主干道,一种是soft attention,加入一些分支,然后把soft和hard枝干 融合。最后只放出market数据集的结果,相比HA-CNN提高很多,但没有放出CHUK03的结果,无法重 复实验。
(CVPR 2018 Harmonious Attention Network for Person Re-Identification)

pose方法 1.PDC 将Pose信息嵌入到结构网络中,生成一个modified结构图像,然后对这个结构图像进行识别,效果会有极大提高。 (ICCV 2017 Pose-driven Deep Convolutional Model for Persion Re-identification) 2.PSE PSE引入视角关系,将多视角结构进行整合,最后得到的结果也还不错。 (CVPR 2018 A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking)