阅读论文-Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels

plug-and-play；出处：CVPR2019

paper code 扩展TPAMI2021

Method

plug-and-play image restoration：

[15]. Aram Danielyan, Vladimir Katkovnik, and Karen Egiazarian. Image deblurring by augmented lagrangian with BM3D frame prior. In Workshop on Information Theoretic Methods in Science and Engineering, pages 16–18, 2010.

[57]. Singanallur V Venkatakrishnan, Charles A Bouman, and Brendt Wohlberg. Plug-and-play priors for model based reconstruction. In IEEE Global Conference on Signal and Information Processing, pages 945–948, 2013.

[69]. Daniel Zoran and Yair Weiss. From learning models of natural image patches to whole image restoration. In IEEE International Conference on Computer Vision, pages 479–486, 2011.

做法：(1). 通过变量分离展开能量方程；(2). 把和先验相关的子问题换成任意现有的高斯去噪器。

plug-and-play相关工作的进展：

• 不同的变量分离算法：half-quadratic splitting (HQS), alternating direction method of multipliers (ADMM), FISTA, primal-dual …
• 不同任务：Poisson denoising， demosaicking，deblurring，super-resolution，inpainting
• 不同的denoiser prior：BM3D, DNN-based denoiser （通常用Gaussian denoiser）
• 从不动点与纳什均衡两方面对收敛性的理论分析

为了方便估计kernel，将degradation model写成：

$$\mathbf{y}=(\mathbf{x}\downarrow_s)\otimes \mathbf{k}+\mathbf{n}$$

这里的$\downarrow_s$是bicubic下采样。所以SR问题变为了先做SISR再做deblurring。

根据最大后验概率（MAP）写出能量方程（energy function）：

$$\mathop{\mathbf{min}} \limits_{x}\frac{1}{2\sigma^2}||\mathbf{y}-(\mathbf{x}\downarrow_s)\otimes\mathbf{k}||^2+\lambda\Phi(\mathbf{x})$$

引入辅助变量$\mathbf{z}$, 求解：

$$\hat{x}=\mathbb{arg} \mathop{\mathbf{min}} \limits_{x}\frac{1}{2\sigma^2}||\mathbf{y}-\mathbf{z}\otimes\mathbf{k}||^2+\lambda\Phi(\mathbf{x}),\mathbb{subject}\ \mathbb{to}\; \mathbf{z}=\mathbf{x}\downarrow_s$$

下面用HQS求解：HQS

$$\mathcal{L}_\mu(\mathbf{x},\mathbf{z})= \frac{1}{2\sigma^2}||\mathbf{y}-\mathbf{z}\otimes \mathbf{k}||^2+ \lambda\Phi(\mathbf{x})+ \frac{\mu}{2}||\mathbf{z}-\mathbf{x}\downarrow_s||^2$$

得到迭代解：

$$\begin{cases} \mathbf{z}_{k+1}=\mathbb{arg}\ \mathbb{min}_\mathbf{z}||\mathbf{y}-\mathbf{z}\otimes\mathbf{k}||^2 + \mu\sigma^2||\mathbf{z}-\mathbf{x}_k\downarrow_{s}||^2\\ \mathbf{x}_{k+1}=\mathbb{arg}\ \mathbb{min}_\mathbf{x}\frac{\mu}{2}||\mathbf{z}_{k+1}-\mathbf{x}\downarrow_s||^2+\lambda\Phi(\mathbf{x}) \end{cases}$$

得到闭式解：

对比式(10)和能量方程，$\mathbf{z}_{k+1}$由$\mathbf{x}$ 先bicubic下采样s倍，再由噪声level为$\sqrt{1/\mu}$的AWGN得到。