[论文笔记] PEPSI : Fast Image Inpainting with Parallel Decoding Network

一，摘要

​ 近年来，一种基于生成对抗网络(GAN)的方法在图像绘制中取得了显著的效果。然而，因为该方法的特征编码分为两阶段(coarse-fine)，须要大量的计算资源。web

​ 为了下降coarse-fine框架的计算资源，做者提出了一个新的网络结构-PEPSI。该网络由一个共享的编码网络和一个具备粗路径和细化路径的并行解码网络组成。粗路径产生一个初步的绘制结果，利用该结果训练编码网络来预测用于CAM(the contextual attention module)的特征。同时，inpainting path利用CAM重建的精细特征，创造了更高质量的修复图片。网络

二，网络框架

共享编码网络架构

做用：从有hole regions区域的输入图像中提取特征，并在不产生粗结果的状况下完成缺失特征的补全。架构

网络构造：在这个网络中，做者在第一个卷积层中使用一个5×5的核来充分利用输入图像中的潜在信息。此外，咱们在最后四个卷积层中使用不一样膨胀率的膨胀卷积层来提取接收域较大的特征。框架

解码网络架构

俩条路径的解码参数共享svg

三，改进点

Modified CAM

传统的CAM采用余弦类似度来度量类似度评分。可是呢，这种方法会对特征块向量进行归一化，会致使语义特征表示失真。性能

所以，做者打算用欧几里得距离直接衡量类似度得分(缘由：为欧氏距离不只考虑特征块的两个向量之间的夹角，并且考虑特征块的大小)。学习

可是，直接使用欧几里得距离来衡量的话，不利于后面使用softmax进行归一化。(欧几里得距离区间为0~正无穷)因此，做者采用了本身定义的截断距离类似度评分。编码

公式以下：3d

Region Ensemble Discriminator(RED)

传统的全局和局部鉴别器不只针对总体图像的相关性，并且针对hole region的局部纹理。然而，在实际应用中，局部判别器只能处理方形尺寸固定的孔洞区域，而在实际应用中，孔洞的位置、形状和尺寸能够是任意的。xml

因而，做者就提出了RED鉴别器

RED将最后一层的特征划分为像素方向的块，并经过全连通层分别区分真假特征。因为RED试图对每一个具备不一样接受域的特征块分别进行分类，因此它分别判断不一样的图像区域是真实的仍是虚假的。

四，loss定义

做者仅仅使用重构L1损耗对产生粗图片路径进行了显式训练，而对细化路径进行了L1损耗和GAN损耗的训练

细化路径

对抗损失

其中P_Xi和P_Y表示inpainting结果和输入图像的数据分布

细化路径总体损失

X _(n)和Y _(n)是第n个图像的生成的图像和其相应的原始输入图像，n是表明是这个mini-batch中的第几个输入图像，N是mini-batch图像对的数量,和λ_i，λ_adv为hyper-parameters来平衡不一样损失的权重。

粗略路径

总损失

其中，k和k_max分别表示学习过程的第几回迭代和最大迭代次数

五，实验结果

六，结论

本为提出了一种新的图像修复方框架-PEPSI。根据实验结果所示,该方法经过将通常的coarse-fine 框架转化成一种有效的单级网络结构和采用有效的共享学习策略的体系结构，相比于传统框架不只能够获得更高的性能,并且还大大减小了计算时间。