Kernel Modeling Super-Resolution on Real Low-Resolution Images. ICCV 2019

1 文章摘要

为提升深度超分卷积神经网络对真实图像的泛化性和鲁棒性，本文提出一种“面向模糊核建模”的核模型超分网络KMSR。

KMSR包含两个阶段：

• 首先，使用生成对抗网络（GAN）建立一个真实的模糊内核池；
• 然后，根据生成核构建的LR图像 和 HR图像，训练一个超分网络。

本文目的：生成大量具有real camera-blur的LR images，再训练SR模型。

2 问题背景

现有超分方法对数据集的需求：大量的 LR-HR 图像对。

大量的 LR-HR 图像对很不容易获取，一般采用bicubic interpolation的方法人工生成。

相机拍摄图片的高频细节损失来源于：optical blur、atmospheric blur、camera shake、lens aberrations

现有超分方法对真实图像效果不理想：训练数据是HR图像的bicubic interpolation，应用的卷积核（bicubic convolution kernel）明显不同于现实世界中的镜头模糊（real camera-blur）。

3 总结思考

通过对真实LR图像的模糊核建模，提高了基于CNN的SR网络的性能。

不同于现有的在成像模型中使用bicubic-kernel获取LR训练图像的方法，本文通过使用一组从真实照片中估计出的真实的模糊核来生成SR训练数据集。

本文通过训练一个GAN来输出更多的实际内核，从而进一步扩展了模糊内核池。

本文的KMSR能够生成视觉上可信的HR图像，通过定量指标、定性比较和心理视觉实验证明其优越性。

现有SR训练方案有待改进，以实现与现实世界的更进一步的拟合。