Shiyu

FKP(flow-based kernel prior);出处:CVPR 2021

paper supp code

contribution

real-world的degradation既复杂且未知。现有的degradation estimation方法很耗时而且可能估错。

  • 这篇文章无监督隐式地学习degradation representation(通过对比学习:假设同一图像内的退化一致;不同图像的退化不一致),进一步在表征空间区分degradation。
  • 再有监督地训练SR网络DASR,输入是LR和前面得到的degradation representation。从而适应到不同的degradation。

方法

unsupervised degradation representation learning

目的是获取LR的判别式表示。以由同一种degradation生成的图像Patch为正样本(同一、不同图像,同一degradation),不同degradation的patch为负样本,以获得与内容无关的degradation representation。

中间得到的degradation representations再通过两层MLP(SimCLR, MocoV2)

loss:

其中$\tau$是超参。

对比学习关键:a large dictionary covering a rich set of negative samples.

degradation-aware SR network

参照RCAN;loss是L1

2个DA层(紫框)

对于DA卷积层,1)退化表征首先经过两个FC层,学习到基于退化表示的深度卷积核w,然后结合图像特征F,经过1*1卷积层,获得特征F1;2)受到CResMD[2] 启发(使用控制变量来重新缩放不同的C以处理多种降级),退化表征通过两个FC层以及一个激活层后,生成逐通道调制系数v,结合图像特征F,获得特征F2。最后DAblock的输出由F1加上F2生成

现有的方法通常把image features与degradation representations 合在一起concat,但这二者之间存在domain gap。

实验

  1. noise-free degradation model + isotropic Gaussian kernel
  2. anisotropic Gaussian kernels and noises
  3. real-world degradations

Gaussian kernel:21$\times$21,σ were set to [0.2,2.0], [0.2,3.0] and[0.2,4.0] for ×2, 3, 4 SR

Anisotropic Gaussian kernels characterized by a Gaussian probability density function N(0; Σ)

The covariance matrix Σ was determined by two random eigenvalues λ1; λ2 ∼ U(0:2; 4) and a random rotation angle θ ∼ U(0; π). The range of noise level was set to [0; 25]

patch size: 48 $\times$ 48

先训练degradation encoder 100个epochs, 再训练整个网络500 epochs。

DASR trained on isotropic Gaussian kernels is used for evaluation on real images