A Holistic Approach to Cross-Channel Image Noise Modeling and its Application to Image Denoising

这是CVPR16的一篇Orals,主要的工作是Argues RGB噪声经过In-camera imaging之后,不再具有channel-independent的特性;提出用多元高斯分布来拟合RGB dependent noise,并提出了一个NN模型来估计Patch based的多元高斯模型的参数

Abstract

建模和分析噪声是一个基础的任务。传统地,噪声分布被建模成通道独立的;在RAW图上,这是可以接受的,但经过相机成像过程处理之后(gamma,tone-mapping,JPEG压缩),噪声分布变得具有通道相关性;这篇文章通过像素分析每个步骤上的分布以及协方差矩阵来描述了这一种通道相关的关系,并用多元高斯分布模型来建模估计噪声,最后提出了训练MLP的方法来估计模型的参数,从而达到噪声分布。实验证明该方法的噪声估计更精确,而且结合BNLM达到比传统BNLM和BM3D都好的去噪结果。

Introduction

两点贡献:1.提出观察RGB经过camera imaging之后会产生channel dependent的噪声 2.提出3D RGB空间来观察Patch based noise,然后训练MLP模型来预测噪声参数

最早的噪声估计是channel-independent Gaussian model,因为简单而且在camera imaging前,RGB的channel noise确实相关性比较低;后来Foi et al.[Practical poissonian-gaussian noise modeling and fitting for single-image raw-data.]提出了Poisonian-Gaussian Noise;之后Granados结合temporal和spatial noise来重构HDR图片噪声;Hwang et al.提出用Skellam distribution来表示噪声分布;

最近比较Robust的有Noise Level Function(NLF) [Statistical calibration of ccd imaging process],效果还不错。

Methodology

首先,作者列出在camera imaging过程中,导致R/G/B的Skellam分布变化;

该图列出了在camera imaging前后(RAW,JPEG)的channel covariance发生巨大的变化,所以noise变得channel dependent;


接着,从QQ-Plot来观察图像块(一般而言,分位图用于识别两个数据集的分布或者看它们是否同属于同一分布),从统计分布直观可得,噪声可以用多元高斯分布来建模估计:

Experiments

作者使用MLP来学习估计patch based多元噪声估计模型的参数,Ground Truth数据是通过时域求均值得到的noise-free image。用了L2的Loss function,再在准确的噪声估计基础上,使用BNLM[Bayesian non-local mean filter],效果比原来NBLM和BM3D都好。

坚持分享,支持原创