ESPCN: Real-Time Single Image and Video Super-Resolution Using an EfficientSub-Pixel Convolutional Neural Network. CVPR 2016
1 文章摘要
像SRCNN那样的方法，由于需要将低分辨率图像通过上采样插值得到与高分辨率图像相同大小的尺寸，再输入到网络中，这意味着要在较高的分辨率上进行卷积操作，从而增加了计算复杂度。本文提出了一种直接在低分辨率图像尺寸上提取特征，计算得到高分辨率图像的高效方法。
ESPCN的核心概念是亚像素卷积层(sub-pixel convolutional layer)。
在ESPCN网络中，图像尺寸放大过程的插值函数被隐含地包含在前面的卷积层中，可以自动学习到。由于卷积运算都是在低分辨率图像尺寸大小上进行，因此效率会较高。
- 激活函数：tanh
- 损失函数：MSE
2 网络结构
3 创新点
- 只在模型末端进行上采样，可以使得在低分辨率空间保留更多的纹理区域，在视频超分中也可以做到实时。
- 模块末端直接使用亚像素卷积的方式来进行上采样，相比于显示的将LR插值到HR，这种上采样方式可以学习到更好、更为复杂的方式，可以获得更好的重建效果。
