Shiyu

Shiyu

WACV 2021; paper code

motivation

real world SR的降质过程复杂，而且每张图的降质可能都不同：每个相机的PSF都可能不同，同一相机不同的光照条件、场景深度、抖动。

contribution

  • 提出DualSR，只在测试图像的patches上训练（用基于kernelGAN的kernel estimation 估计输入图像patch的分布），是image-specific的

  • ZSSR+CycleGAN+DualGAN

  • masked interpolation loss

medical image

Kensuke Umehara, Junko Ota, and Takayuki Ishida. Application of super-resolution convolutional neural network for enhancing image resolution in chest ct. Journal of digital imaging, 31(4):441–450, 2018.

Chenyu You, Guang Li, Yi Zhang, Xiaoliu Zhang, Hongming Shan, Mengzhou Li, Shenghong Ju, Zhen Zhao, Zhuiyang Zhang, Wenxiang Cong, et al. Ct super-resolution gan constrained by the identical, residual, and cycle learning ensemble (gan-circle). IEEE Transactions on Medical Imaging, 39(1):188–203, 2019.

有paired images

blind SR

估image-specific downsampler的：

  • [2]. Sefi Bell-Kligler, Assaf Shocher, and Michal Irani. Blind super-resolution kernel estimation using an internal-gan. In Advances in Neural Information Processing Systems, pages 284–293, 2019.(kernelGAN， 只用LR测试图像作为训练集来估计image-specific的blur kernel)

  • [3]. Adrian Bulat, Jing Yang, and Georgios Tzimiropoulos. To learn image super-resolution, use a gan to learn how to do image degradation first. In Proceedings of the European conference on computer vision (ECCV), pages 185–200, 2018.

  • [11]. Jinjin Gu, Hannan Lu, Wangmeng Zuo, and Chao Dong. Blind super-resolution with iterative kernel correction. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1604–1613, 2019.（IKC, 用了STF(spatial feature transform层来解决多个blurkernel）

  • [26]. Assaf Shocher, Nadav Cohen, and Michal Irani. Zero-shot super-resolution using deep internal learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3118–3126, 2018. （ZSSR）

  • [6]. Victor Cornillere, Abdelaziz Djelouah, Wang Yifan, Olga Sorkine-Hornung, and Christopher Schroers. Blind image super resolution with spatially variant degradations. ACM Transactions on Graphics (proceedings of ACM SIGGRAPHASIA), 38(6), 2019（通过分析生成的HR中的artifacts来估计退化过程。训练一个kernel discrimination来预测错误核估计的误差，再通过最小化判别器的error，recover正确的核）

  • [16]. Shady Abu Hussein, Tom Tirer, and Raja Giryes. Correction filter for single image super-resolution: Robustifying off-the shelf deep super-resolvers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1428–1437, 2020. （其校正滤波器的闭合形式推导(closed-form derivation of their correction filter)，以对降级的LR图像进行变换，使其与双三次降采样结果相匹配。在non-isotropic的退化上结果没有report）

non-blind

  • SRMD[36] 用dimensionality stretching使网络输入degradation的参数（blur kernel，noise level）

  • USRNet [35]分开解决数据子问题和先验子问题，用MAP

method

architecture

GDN通过下采样输入的LR图像，使之与他自己（LR图像）在patch level上尽可能相似。

patch的internal分布可以由internalGAN在输入图像的patch上训练得到。Ltotal=LGAN+λcycleLcycle+λinterpLinterp

其中LGAN加入了正则项：LGAN=Ey[DDN(GDN(y))−1]2+R

其中R是kernelGAN中估计的kernel的explicit先验。

masked interpolation loss

保持色彩组成，消除输出图像的blurry。

upsampler的训练没有直接的监督，输出图在sharp edge的地方有ringing effects. 特别是在低频区域。引入一个loss 最小化bicubic上采样和输出的结果之差。（bicubic interpolation能正确上采样低频区域，但不能恢复高频细节。）所以如果对整张图加这个loss，效果也是不好的，如上图b。所以需要masked loss。

由sobel算子得到频率mask。

fmask=1−Sobel(Bicubic(x))

这个mask在低频部分值大，高频部分值小。

masked interpolation loss为：

Linterp=Ex||[GUP(x)−Bicubic(x)]∗fmask||_1

experiments

loss权重的影响

synthesized images

  • DIV2KRK：生成LR：11*11的anisotropic的高斯核，每张图的kernel都有不同的形状和sigma。再下采样，再非均匀的乘性噪声。

  • urban100：生成LR的方法同上。

  • NTIRE2017：SISR track2的数据集，用DIV2K的验证集作为HR。降质未知。

比较的方法：

  • 第一类：在bicubic下采样上训练的模型。如EDSR+, SAN+, ZSSR(用bicubic下采样)
  • 第二类：盲方法- ZSSR/USRNet (kernel由kernelGAN估计出)
  • 第三类：有GT 的kernel。（除了在NTIRE2017数据集上没有GT的kernel）

在NTIRE数据集上的结果（2nd比1st类方法好）是符合常理的。kernelGAN+ZSSR在NTIRE数据集上效果不好是因为降质过程较复杂，不能由kernelGAN精确估计出来。而加上masked interpolation loss 后，效果有所提升。

blindSR是假设blur kernel是传统滤波器和anisotropic 高斯核的卷积。

但是kernelGAN+USRNet比不过bicubic类的方法，就不是很能理解。

real images

用的数据集：RealSR数据集（NTIRE2019中所用），由DSLR相机获得。用28mm焦距得到的图像作为LR，50mm焦距得到的图像作为HR。长焦得到的图像有finer的细节。由于很难完全对齐，所以还是没有成pair的图像。（畅师兄的camera lens SR）

kernelGAN或者blindSR都不能准确估计出退化模型。

不足

没有跟cycleGAN，cycle-in-cycle这类方法比较。

future work

  • larger scale factors
  • harder use-cases with more extreme degradation settings
  • applications in medical imaging or electron microscopy.