Re-ID----换衣场景下的行人重识别

中科院，深圳先进技术研究院，余世杰

换衣场景下的行人重识别

 

难度一：换衣数据集目前比较少。原本的数据集每个人都穿着相同的衣服。

难度二：有研究表明，行人衣服的样式在检索的过程中还是占到非常大比重。

 

实例：犯罪嫌疑人通过乔装打扮躲避嫌疑人追捕，走失人员寻找。

 

 

工作使用的检索方法：

使用这种方法的理由：

1.衣服占到行人图片的绝大部分，不能完全忽略它们

2.人的生物信息：人脸，体型，头发等还是比较微弱，不具有较大的辨识性

 

 

如何得到衣服模板：

1.一般是寻找走失的人嘛，所以： 可以通过家人提供的信息

2.追踪嫌疑人：警察可以通过目击者的描述去网上搜到对应的图片

 

 

采集了大型换衣行人数据集：

1.该数据集每个人至少两套衣服

2.query中的每个id都会配备衣服模板，gallery中就会有query的id中id 穿类似衣服的图片

3.较多户外场景，大多数人有2-3件衣服，有不同程度遮挡的衣服

4.采集数据集的难点：如何将同一个人关联起来

           一个比较乱序的图片，根据传统re-id的特征进行聚类分成一个个簇，再根据人工的行为将杂质筛除掉。

           通过人脸识别：将行人图片进行分类，然后进行标注

          

评价指标：

query和gallery里检索出来的id要一致。

既要求id一致，又要求衣服一致。

使用衣服约束： 保证能够找到穿那个衣服的人

id的约束：保证能够提取出任务的生物性息

 

网络架构：

query：有行人图片也有衣服模板直接放进网络进行训练

target：没有衣服模板。使用clothes detector模块，基于R-CNN的预训练模型检测target image的衣服

 

网络第一部分：提取与衣服无关的特征：人脸，发行，体型等。 使用了attention，希望将与生物信息无关的特征过滤掉。

网络第二部分：提取衣服纹理，样式，颜色等

在后面进行特征融合，将两者特征融合起来。

 

 

损失函数： 

cross entropy：分类损失

triplet loss：希望学习到的特征，相同的人尽可能地相近，不同的人尽可能地远离。

 

 

mask module：

主要的目的：提取与衣服无关的特征

可视化mask：

发现关注在人脸的区域

 

消融实验：

只用生物特征，只用衣服特征，用人脸和衣服的特征