3-D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising

1. 摘要

作者设计了一个 QRU3D 块来对高光谱图像进行去噪，其中的 3D 卷积负责提取空间和光谱的结构相关性，而近似循环池化函数则用来捕获光谱方向的全局相关性。

此外，作者还引入了交替方向结构，以消除单向的因果关系，并且无需额外的计算成本。

2. 方法介绍

2.1. QRU3D

QRU3D 块的结构如上图所示，包含两个主要步骤：3D 卷积和近似循环池化。其中输入 $I$I 的大小 $1*H*W*B$1∗H∗W∗B， $H，W，B$H，W，B分别为高光谱图像的长宽和波段数。

第一步我们分别应用两个 3D 卷积到输入图像，激活函数分别为 $Tanh$Tanh 和 $Sigmoid$Sigmoid，得到 $Z，F$Z，F 两个特征图，大小都为 $C_{out}*H*W*B$Cout​∗H∗W∗B。

然后，我们将 $Z，F$Z，F 沿着光谱方向分离出 $B$B 个 $z_b, f_b$zb​,fb​，那么输出特征图就可以表示为：

输出特征图 $H$H 的每个波段 $h_b$hb​ 都由上一个波段的特征 $h_{b-1}$hb−1​ 以及 $z_b$zb​ 加权组成，而权重则由 $f_b$fb​ 提供。

2.2. 交替方向结构

在一个前向的 QRU3D 单元中，输出特征图 $h_b$hb​ 只与前面波段的特征 $z_b$zb​ 相关，而与后面波段的特征无关，这显然是不合理的。

一个很自然的想法就是引入双向结构，一层从前向后循环，一层从后向前循环，然后再将两者相加，如上图 (b) 所示，但这样会使得计算代价和内存消耗近似翻倍。

因此，作者提出了一个交替方向结构，如上图 © 所示。也就是每个 QRU3D 单元中的循环顺序交替改变，如果上一层是从前向后循环，下一层则是从后向前循环。这样，既没有额外的计算代价，也能在任何位置都可以捕获整个波段的依赖性。

2.3. 整体网络结构

整体的网络结构则以 QRU3D 块为基础，采取 U-Net 的基本骨架，空间分辨率先变小再逐渐恢复到输入大小，并在分辨率相同的地方引入跳跃连接。详细的每一层的参数设置则如下表所示。

3. 实验结果

可以看到，作者提出的方法不仅在去噪效果上超越了现有方法，运行时间也是最快的。

获取更多精彩，请关注「seniusen」!