Image super-resolution using a dilated convolutional neural network
这是一篇很有意思的文章,首先他的应用场景是超分辨率,然后他用到的网络结合了很多优秀的结构,通过这些优秀的结构解决了很多超分辨中的问题。
而且这个网络非常简单,并且很优雅,让人流连忘返。
文章提出的网络主要有以下几个部件组成:
- 空洞卷积(或叫扩张卷积,dilated convolutional);
- 跨越连接(skip connect);
- 不下采样,保留分辨率。
1 网络
从上图可以看到以下几点:
- 网络的输入输出大小是一样的,那么如何获得超分辨率的图像的,是这样的,首先将图像插值放大到2倍,然后输入到这个网络中,网络输出的是分辨率一样,但是细节更加清晰的图像。
- 网络只有7层,是一个非常小的网络,因为在使用空洞卷积的到时候,网络并没有进行下采样,所以造成显存和计算量会占用很大,所以文章采用了较小的网络,实现了节省计算资源和显存的作用。
- 使用了skip连接,使用skip连接是将低维信息和高维相结合,低维信息往往代表一些图像的细节,而高维信息往往表示一些高维的语义特征,所以通过skip连接然网络的数据具有更多的细节,从而这个超分辨率网络才会更好。
- 使用了空洞卷积(dilated conv),空洞卷积具有保留信息而增加感受野的作用,所以空洞卷积在分割和检测中也常常使用。
2 放大超过两倍
如果想将图像放大4倍、5倍或者跟大,那要怎么实现呢? 文章利用联机的方式来进行放大,只需要将图像多次经过超分辨率网络就可以实现,如果放大倍数不是2的倍数,那么怎么办呢? 这时候我们可以先放大,再缩小。例如想放大3倍,我们可以先放大4倍,然后再进行下采样即可。
3 引用
- Image super-resolution using a dilated convolutional neural network