Abstract

深度卷积神经网络在图像超分辨率中取得了空前成就。
然而，已有的基于深度卷积神经网络的图像超分辨方法基本上是假设低分辨图片是由高分辨率图片通过双三次插值的方法下采样得到的。这就不可避免的造成了当真正的低分辨率图片不遵循双三次插值下采样时，模型的表现将变得不好。

为了解决这一问题，我们提出了一种维度拉长策略，将模糊和噪声作为输入。这种方法可以应对多倍和空间改变的退化模型，显然提高了实用性。大量实验结果显示，提出的网络在多种退化采样后生成的结果依然出色

1.Introduction

在这里，作者介绍了超分辨率重构任务中，低分辨率图片（LR）一般是由下面的公式得到的：
y=(x⊗k)↓s +n
k表示模糊核，n表示噪声。

“但是，在实际的超分辨率工作中，很少见如此处理生成的LR图片。。。”
作者还指出，基于卷积神经网络的去燥先验和基于模型的优化方法在一定程度上提高了效率，但是仍然存在一些问题，比如它不是端到端的，并且存在人工调参。作为替代，判别学习理论由于其在有效性和效率方面的有利SISR性能而引起了相当大的关注。 值得注意的是，近年来，使用CNN进行超分辨的方法数量急剧增加。

在本文中，我们重点关注了判别型CNN（其实就是low level images的CNN模型）。常见的基于判别的CNN模型往往是针对同一种下采样方式进行优化，缺少缩放能力。但是实际中的低分辨率图片的内容构成复杂，当这些模型面对真实的低分辨率图片时，表现会变得不好。

模糊核被认为在图像超分辨中扮演着重要角色，不合适的模糊核会大大降低图像超分辨率的结果。但是，很少有相关工作介绍如何设计可以解决这样问题的CNN。

本文将关注一下几点：1.能否学习一个单一的模型应对多种退化方式。2.是否可以使用合成数据来训练具有高实用性的模型？
首先，没有一个CNN模型在学习时同时考虑了模糊和噪声
其次，我们将证明使用合成的数据进行实际图片超分辨将成为一种可能。
本文的主要贡献有：
1、我们提出了一种简单有效并且可缩放的CNN超分辨模型
2、我们提出了一种维度拉长策略取匹配低分辨率图片与模糊核和噪声之间的不匹配关系。
3、我们展示了使用合成的训练数据不仅在合成的低分辨率图片中展示出完美的结果，也在真实低分辨率图片中表现出合适的结果。

2.Related work

前面工作各种问题。。。

因此，学习一种具备处理多种退化方式的图像超分辨模型将变得非常有意义。

3.Method

3.1退化模型

1. 模糊核

2. 噪声

3. 下采样
   已有的文献中，采用两种典型的下采样方式：直接下采样和双三次插值下采样。

虽然模糊核和噪声在图像超分辨领域中被认为是成功的关键，但是很少有方法将两者结合去构造网络结构。

我们的方法考虑到一个更通用的退化模型，使用了一个更有效的方式去调整退化参数。

3.2最大后验结构中的观点

1. 传统的工作中，CNN网络模型是基于双三次下采样方法建立的，这会产生一定的局限性
2. 于是，我们提出类似下方的退化模型
   ˆx = F(y,k,σ;Θ).
3. 一个CNN模型可以同时处理多种退化方式

3.3维度拉伸

假设输入包括大小为p*p的模糊核，一个水平为σ的噪声，和一个大小为W×H×C的低分辨率图片，C表示图片通道数量。如下图
首先模糊核被拉伸为p²×1的向量，然后通过PCA投影到t维的线性空间。之后低维度的向量和噪声被延展到一个维度为W×H×(t+1)的退化映射中。这样就可以使CNN支持处理3种输入。

3.4提出的网络

输入W×H×(t+1)维度，中间层如图，最后经过子像素卷积生成高分辨率图片。
特别是，我们还通过去除第一个卷积滤波器中的噪声水平图的连接以及使用新的训练数据进行微调来学习无噪声衰减的模型，即SRMDNF。
该网络没有使用残差结构和使用双三次插值下采样得到的低分辨率图片。

4实验

4.1训练数据合成和网络训练

4.2基于双三次插值下采样的实验

4.3基于通用退化模型的实验

4.4基于空间变异的退化模型实验

4.5基于退化敏感性的实验

4.6基于真实图片的实验

5结论