低照度数字相机处理流水线噪声抑制方法研究

摘要

数字相机技术的研究发展对众多领域产生了深远的影响，其中包括航空航天、信息安全、生物工程、人工智能等领域。数字相机通过内嵌于相机的信号处理系统将由相机传感器捕获的原始（RAW）图像经过处理得到数字彩色图像，这种信号处理系统也被称作数字相机处理流水线。数字相机处理流水线一般包含传感器图像读取、图像降噪、颜色插补、色彩校正、白平衡、Gamma校正等过程，每个处理过程对数字相机成像质量的好坏都有重要影响。在完全理想的成像条件下，数字相机可通过色彩插补、色彩校正、白平衡以及Gamma校正这四个基本处理单元获得满意的结果图像。然而在实际成像过程中，会出现照度条件不理想、硬件制造误差、非专业拍摄等情况，这些非理想成像条件会严重降低成像结果的质量。因此需要引入一些处理方法来提升数字相机处理流水线的鲁棒性，以得到较高质量的重构图像。其中，在低照度条件下，由于入射光子的减少、以及传感器感光度的增加，传感器噪声干扰问题十分突出，会出现图像细节模糊、图像纹理信息不清晰、图像对比度差的情况。因此，数字相机处理流水线会引入一些噪声抑制处理方法，使得输出图像能够还原更多细节不受噪声干扰。 本文围绕低照度条件下数字相机处理流水线噪声抑制问题展开研究，提出多种数字相机传感器噪声抑制方法，以提升数字相机成像质量。本文的研究成果主要分为以下几个方面: 1.研究了图像传感器像素Binning方法。本文提出了一种基于方形点阵采样的Binning方法，以降低图像传感器在进行A/D转换时产生的读取噪声对图像质量的影响。此算法通过合并相邻同色像素点得到超级像素（Superpixel），并使得合成的超级像素按照方形点阵结构分布。此算法在获取低噪声结果的同时，也有效解决了现有的Binning技术所存在的由超级像素非均匀分布而产生的图像失真问题，从而使得结果图像能够更少的受到伪迹、伪色的干扰。 2.研究了图像传感器单曝光高动态范围成像技术。本文提出了一种基于Binning算法的单次曝光(Single-Shot)高动态范围(HDR)成像方法，以解决在低照度条件下数字相机图像出现曝光不足或过度曝光的情况。此算法通过本文所提的Binning方式产生两幅低动态图像，之后通过结合两幅低动态图像生成一幅高动态图像。该算法具有不受鬼影影响的优势，经本算法生成的高动态图像可有效控制噪声以及过曝对图像质量的影响。 3.研究分析了真实传感器噪声分布与现有噪声模型分布间的差异。针对现有噪声模型研究过分关注像素强度与噪声方差的关系，而忽略噪声模型分布的尾部行为分布，本文首次对噪声分布的尾部行为进行了研究分析。此外，与之前噪声模型研究只关注在像素强度域分布不同，本文重点研究分析了在变换域内的传感器噪声模型分布。本文对真实图像传感器噪声分布和现阶段常用的噪声模型分布在像素域以及多种变换域内进行了全面的比较分析，并给出相应结论。此研究内容为传感器降噪算法设计及效果提升提供了理论依据。 4.研究了小波域图像传感器噪声抑制算法。本文提出了一种基于小波域泊松混合噪声模型的小波域泊松混合图像降噪技术，目的是利用现有的小波域泊松降噪方法来实现真实图像传感器数据的噪声抑制，并且能够消除类脉冲噪声状伪迹。小波域泊松混合噪声模型旨在校正现有的常用噪声模型与真实传感器噪声分布间的不匹配问题。该泊松混合降噪技术在实际降噪过程中是一种泊松降噪的混合。此降噪算法在真实传感器图像降噪过程中，能够在保留图像细节信息的同时去除类脉冲噪声状伪迹，极大的提升了小波域泊松降噪算法的性能。 5.研究了小波域图像传感器联合插补-降噪算法。在后验稀疏导向色彩插补算法的基础上，本文提出了一种小波域高斯尺度混合(Gaussian Scale Mixture，GSM)联合插补-降噪算法，通过高斯尺度混合代替后验稀疏假设，并实现在对传感器图像进行色彩插补的同时能够抑制噪声。此算法通过最小均方误差估计方法获得图像亮度分量和色度分量的小波系数，并在估计算法中利用了与相邻小波系数的关联性。本文提出的联合插补-降噪算法适用于无噪、有噪传感器图像。对比现有的色彩插补算法，此算法可有效抑制拉链伪迹，并对噪声影响有较强的鲁棒性。

目录

声明

摘要

1绪论

1．1．1 CFA图像

1．1．2数字相机处理流水线(Digial Camera Processing Pipeline)

1．2选题背景与意义

1．2．1图像传感器噪声回顾

1．2．2像素Binning方法回顾

1．2．3高动态范围成像方法回顾

1．2．4图像降嗓算法回顾

1．2．5图像色彩插补算法回顾

1．3数字图像处理算法评价方法

1．4论文主要工作及章节安排

2图像传感器像素Binning方法研究

2．2方形点阵采样Bayer图像传感器像素Binning

2．2．1网格(Grid)设计

2．2．2方形点阵采样传感器像素Binning

2．2．3倾斜网格CFA传感器的摄像机

2．3实验结果及分析

2．3．1分辨率分析

2．3．2色彩插补及噪声性能

2．3．3 MSE(Mean Square Error)测试

2．4基于Binning的单曝光高动态范围成像

2．5本章小结

3图像传感器噪声分布研究

3．1实现方案

3．1．1数据获取方案

3．1．2异方差像素噪声模型

3．2像素域噪声模型研究

3．3 线性变换域噪声模型研究

3．3．1离散小波变换

3．3．2离散余弦变换

3．3．3多尺度倍增新蚕塞变换

3．4方差稳定变换域噪声模型研究

3．5实验分析与讨论

3．5．1实验分析

3．5．2实验讨论

3．6本章小结

4小波域图像传感器噪声抑制算法研究

4．1小波域混合泊松噪声模型

4．2 图像传感器噪声泊松混合降噪算法

4．3实验结果与分析

4．4本章小结

5小波域图像传感器联合插补-降噪算法研究

5．1后验稀疏导向色彩插补(Posterior Sparsity-Directed Demosaicking)

5．2小波域高斯尺度混合联合插补-降噪

5．2．1先验模型

5．2．2似然函数模型

5．2．3 小波域高斯尺度混合联合插补-降噪

5．3实验结果与分析

5．4本章小结

6总结与展望

致谢

参考文献

作者攻读博士学位期间撰写和发表的论文及科研情况