Shiyu

Shiyu

ZSSR；出处：CVPR2018

paper code project

motivation

  • 不依赖于prior training, 是image-specific的internal self-supervision（在从待测试的LR图像上训练）
  • 在待测试的图像上训练，利用图像内部的冗余信息（cross-scale internal recurrence）。
    • the visual entropy inside a single image is much smaller than in a general external collection of images.
  • 可以用于real old photos, noisy images, biological data, 和其他成像过程未知或non-ideal的图像。
  • 在acquisition process未知的图像上超过已有的SOTA supervised 的CNN和unsupervised方法。
    • “supervised” for any method that trains on externally supplied examples (even if their generation does not require manual labelling).

Contributions

  • 第一个 unsupervised 的CNN-based SR方法
  • 可以处理non-ideal的图像
  • 不需要pretraining
  • 可以应用到任意大小、任意长宽比的SR
  • 可以适应到已知和未知的成像条件
  • 在’non-ideal’上得到SotA的结果，在‘ideal’ 上得到与在’ideal’条件下训练的SotA的supervised的方法相competitive的结果。

背景

在有混叠图像上(a), EDSR+表现不好（usually a Bicubic kernel with antialiasing – MATLAB’s default imresize command) ）

Method

前提：strong internal data repetition

小的image patches (eg. $5 \times 5$, $7 \times 7$) 在一张图的同一个尺度和不同尺度下重复很多次（高冗余性）。

简单来说就是，由待测试的LR图像和它downscale的版本LLR构成 HR-LR 对，训练一个8层64通道+ReLU的全卷积网络。尽管其感受野有限，ZSSR可以捕获测试图像里non-local的冗余信息。当用这个训练好的CNN恢复原本的LR图像，仍然可以恢复图像中所有的新重复的part（因为用了同一个image-specific的filter）。

在训练阶段，随机裁$128 \times 128$ 的patch。

the SR is performed gradually

results

SelfExSR： J.-B. Huang, A. Singh, and N. Ahuja. Single image superresolution from transformed self-exemplars. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5197–5206, 2015.