为什么 U-net 中要用到 skip connection 呢？

今天跑了一下论文的代码，发现神经网络里面的U-Net网络应用到了SkipConnectionBlock()模块，部分运行结果如图：

不知道运用这个模块有什么用，查了资料总结如下：

U-Net是一种典型的编码-解码结构，编码器部分利用池化层进行逐级下采样，解码器部分利用反卷积进行逐级上采样，原始输入图像中的空间信息与图像中的边缘信息会被逐渐恢复，由此，低分辨率的特征图最终会被映射为像素级的分割结果图。而为了进一步弥补编码阶段下采样丢失的信息，在网络的编码器与解码器之间，U-Net算法利用Concat拼接层来融合两个过程中对应位置上的特征图，使得解码器在进行上采样时能够获取到更多的高分辨率信息，进而更完善地恢复原始图像中的细节信息，提高分割精度。

而增加了skip connection结构的U-Net，能够使得网络在每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合，网络能够保留更多高层特征图蕴含的高分辨率细节信息，从而提高了图像分割精度。

我们也在U-Net上面做了一些工作。我们在网络中引入邻层特征重建和跨层特征重建增强层与层之间特征信息传递的同时，进一步对高层卷积特征层中丰富的细节信息进行了利用，从而最大化地提高了网络各层中的特征信息的利用率。

跨层特征重建：跨层特征重建模块建立在编码器-解码器结构的基础上，旨在将语义信息更丰富的高层卷积特征层和低层卷积特征进行融合。因为在网络传播的过程中，随着网络越来越深，相应特征图的感受野会越来越大，但是保留的细节信息会越来越少，而对于语义分割任务，高层卷积所保留的丰富的细节信息是非常有利用价值的，基于编码器-解码器对称式的结构，利用Concat拼接层将编码器过程中下采样提取出来的特征图与解码器过程中上采样得到的新特征图一一对应进行通道维度拼接。凭借跨层特征重建模块，可以更大程度地保留高层卷积中的一些重要特征信息，有利于实现更精细的分割效果。

邻层特征重建：邻层特征重建是在整个网络中除主干路之外的每一对具有相同尺寸特征图的相邻卷积层之间搭建了支路，即利用Concat拼接层将上一层卷积与下一层卷积得到的特征图进行通道维度的拼接。Concat拼接完成后再回到网络主干路，执行原有的计算并传递给下一层。凭借邻层特征重建模块，网络的整体结构变得更密集，网络中每一层都可以从其上一层的输入中最大化地利用其之前所有层中的特征信息。

skip connection有助于深层网络训练的参考论文链接

链接: .