出处：CVPR2019
motivation
尽管之前一些基于CNN的算法在图像的加性高斯白噪声去除上取得了很好的效果，但这些方法往往是在过拟合AWGN，而在真实噪声去除上效果并不好。这篇文章提出了一种更加真实的噪声模型，既考虑了信号依赖噪声也考虑了相机内的ISP。另一方面为了进一步提供交互方法，方便纠正去噪结果，他们设计了一个噪声估计的子网络，它利用了非对称学习的策略避免噪声水平的低估。他们的方法在3个real-world noisy image的数据集上取得了state-of-the-art的结果。
contribution
- 同时考虑heteroscedastic Gaussian noise和in-camera processing pipeline
- 非对称学习的噪声估计子网络
- 三个real-world noisy image dataset上性能SOTA
噪声模型
在真实成像系统中，图像噪声有多个来源，并且受到相机内ISP 的影响，包括去马赛克，gamma校正和压缩。泊松高斯分布被认为是比AWGN更适合模拟真实噪声分布的模型，包含了平稳噪声部分和信号依赖部分。实际上，由传感产生的噪声可以被建模成泊松，其余的平稳噪声可以被建模为高斯，所以泊松高斯模型是一个合理的噪声模型。泊松高斯模型可以近似为异方差高斯。L 为raw图像的数值（辐照度），它的噪声可以建模为两部分：信号依赖噪声部分和平稳噪声部分。前一项通常和图像亮度有关，一般亮度越暗，噪声水平越大（比如夜景）
文章还进一步考虑了相机内ISP 流程，这里的y表示合成的噪声图像，DM 表示去马赛克，f（）表示相机响应函数CRF
进一步考虑压缩效应，JPEG压缩后的合成噪声图像为3式所示
对于RAW图像，可以使用第一个公式合成噪声；对于未压缩图像，可以使用第二个公式合成图像；对于压缩图像，使用第三个公式合成图像。
有了这个噪声模型就可以生成合成的noisy images
method
network architecture
网络包含两个子网络，一个是噪声估计子网络，一个是非盲去噪子网络。
噪声估计子网络将噪声观测图像y转换为估计的噪声水平图σ^(y)。然后，非盲去噪子网络将y和σ^(y)作为输入得到学习到的残差项，再加上y 最终的去噪结果x^。
噪声估计子网络使用五层全卷积网络，卷积核为3×3×323×3×32，并且不进行pooling和batch normalization。
非盲去噪子网络使用16层的U-Net结构
另外，虽然在DnCNN中提到，batch normalization成功应用于高斯去噪中，但是对于真实图像的噪声去除并没有多大帮助，这可能是由于真实世界的噪声分别与高斯分布相差较大。
除此之外，噪声估计子网络允许用户在估计的噪声水平图σ^(y) 输入到非盲去噪子网络之前对应进行调整。(红框）
Asymmetric Loss
作者观察到非盲去噪方法（如BM3D、FFDNet等）对噪声估计的误差具有非对称敏感性。在之前的非盲去噪方法中，如果输入的噪声和真实的噪声匹配，可以较好的去噪，如果输入噪声水平（估计））高于真实噪声水平（高估）去噪结果仍能保持较好的效果，虽然也平滑了部分低对比度的纹理。但当输入噪声标准差低于真实值时（低估），去噪结果包含可察觉的噪声。正是因为这个特性，BM3D可以通过设置相对较高的输入噪声标准差得到满意的真实图像去噪效果。
因此，非盲去噪方法对低估误差比较敏感，而对高估的误差比较鲁棒。本文就提出了这种非对称loss 用来避免噪声水平图的低估。给定像素i的估计噪声水平σ^(yi)和真实噪声水平σ(yi)，当估计值小于真实值时，应该对其MSE引入更多的惩罚。0<alpha<0.5，低估时，前一项大于0.5，高估时，前一项小于0.5。
另外引入TV loss约束噪声水平图的平滑性，最后是一个重建误差，L2 loss，总的loss是这三项加权相加。
experiments
如果只用合成数据，真实图像的噪声并不能由本文的噪声模型完美的刻画，而如果只用真实噪声图像，在获取clean image的时候，需要上百张noisy images 做平均，这个成本很高，而且由这样做平均得到的图像往往过于平滑。
为了提高网络的泛化能力，交替使用一批合成图像和一批真实图像进行训练。
results on real datasets
NC12没有GT，DND包括50对真实噪声图像和对应的干净图像（由low-ISO image后处理得到），Nam包括11个静止场景，每个场景的无噪图像由500张JPEG带噪图像平均得到。
在这三个数据集上都取得了最佳的效果。
ablation study
验证不同噪声模型的效果：第一种是最普通的高斯噪声，第二种是本文里用的异方差高斯，第三种是普通高斯加ISP ，第四种是异方差高斯加ISP ，也就是本文所用的模型。
验证训练时是否既用合成数据集又用真实数据集的效果是否最好，有两个对照组：只用合成噪声图像训练，或者只用真实噪声图像训练。
验证非对称loss，alpha=0.5时，在低估和高估情况下，加的惩罚一样多，alpha<0.5时，给低估加更多惩罚。Alpha=0.3时，效果最好
对于给定的噪声估计图，用户可以交互式的修改σ(y)，来修正去噪效果，具体是在σ(y)前乘一个系数，第一幅图当这个系数等于0.7时，效果最好，第二幅图是系数为1.3时效果最好。
