一种基于图像颜色平缓变化先验的单透镜计算成像方法

摘要

本发明公开了一种基于图像颜色平缓变化先验的单透镜计算成像方法。首先利用单透镜相机获取模糊图像；将模糊图像的像差校正问题转换为盲卷积图像复原问题；在盲卷积图像复原算法的目标函数中加入图像颜色平缓变化先验；对加入图像颜色平缓变化先验的目标函数采用相应的迭代优化算法估计出单透镜的PSF；最后利用非盲卷积图像复原算法得到最终的清晰图像。本发明通过分析彩色图像三个彩色通道之间的关系，发现图像颜色的变化规律，提出一种图像颜色平缓变化的先验，能很好地体现图像颜色变化的特性，从而提高盲卷积图像复原算法所估计出的PSF精度，最终提高图像复原质量。

说明书

技术领域

本发明主要涉及到数字图像处理领域，特指一种基于图像颜色平缓变化先验的单透镜计 算成像方法。

背景技术

目前，单反相机以其高清的成像质量、丰富的镜头选择、迅捷的响应速度、卓越的手控 能力等优势在人们的日常生活中发挥着越来越重要的作用。然而，为弥补单反镜头中镜片的 几何畸变和像差，进一步提高成像质量，单反镜头的设计日益复杂，甚至包含数十个独立的 光学器件。复杂的镜头在提高成像质量的同时，无疑也会增加镜头的体积和重量，也导致镜 头的成本大大提高。镜头体积和重量的增加给用户的日常使用带来了不便，成本的提高也不 便单反向大面积用户推广使用。因此，在尽量消除镜片像差，增加成像质量的同时，如何降 低镜头成本，使其更为轻便，也成为目前单反相机设计的重要需求之一。近年来，随着图像 复原技术的快速发展，图像去模糊等方法越来越成熟，镜头中某些消除像差和修正几何畸变 的镜片可由去模糊等计算摄影技术代替，因此，单透镜成像(如图1所示)与图像复原技术 的结合也逐渐成为单反相机设计的一个新的研究方向。

单透镜计算成像的关键在于利用盲卷积图像复原算法准确估计出单透镜成像系统的模糊 核，即点扩散函数(Point Spread Function，PSF)。目前常用的盲卷积图像复原算法是基于最 大后验概率MAP的盲卷积图像复原算法：在最大后验概率的框架下，盲卷积图像复原问题 的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K)   (1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜 成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对 应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像 I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊 核的先验概率。

为计算方便，考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端 分别去负对数：

log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K)   (2)

则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

      $E(K,I)=\underset{K,I}{\min }{\left|\right|K*I-B\left|\right|}^2+{\lambda }_1{\left|\right|▿\left(I\right)\left|\right|}_{p1}+{\lambda }_2{\left|\right|K\left|\right|}_{p2}---\left(3\right)$      

其中，表示数据拟合项；表示图像先验；λ₂||K||_p2表示模糊 核先验。式(3)中图像先验和模糊核先验对常用的图像先验包括图像梯度重尾分布、边缘轮 廓分布等，模糊核约束包括模糊核自身的非负性、能量守恒性、稀疏性或平滑性约束。

目前所使用的图像先验在一定程度上能满足图像复原的基本需求，但是大部分图像先验 只是考虑图像自身的统计先验信息，图像颜色变化规律也是图像自身的特征，目前这方面的 先验信息还不多。因此，分析彩色图像自身颜色变化规律，并将其规律提取出来应用到单透 镜计算成像中，是图像先验方面一个新的方向。

发明内容

目前单透镜计算成像所用到的图像复原算法的图像先验大部分考虑的是图像自身的统计 先验信息，而图像颜色变化规律考虑得较少，本发明提出一种基于图像颜色平缓变化先验的 单透镜计算成像方法，通过分析彩色图像三个彩色通道之间的关系，发现图像颜色的变化规 律，提出一种图像颜色平缓变化的先验，能很好地体现图像颜色变化的特性，从而提高盲卷 积图像复原算法所估计出的PSF精度，最终提高图像复原质量。

为实现上述目的，本发明的技术方案是：

一种基于图像颜色平缓变化先验的单透镜计算成像方法，包括以下步骤：

S1：利用单透镜相机获取模糊图像；

S2：将模糊图像的像差校正问题转换为盲卷积图像复原问题，将单透镜得到的模糊图像 作为已知条件，将其看作盲卷积图像复原问题，用盲卷积图像复原算法对模糊图像处理，得 到单透镜的模糊核和最终的清晰图像；具体包括以下步骤：

S21：通过分析彩色图像三个通道内以及不同通道之间颜色的变化情况，提出图像颜色平 缓变化先验，并加入到盲卷积图像复原的目标函数中；

S22：针对步骤S21中的目标函数，采用相应的迭代优化算法估计出单透镜的PSF；

S23：针对步骤S22中得到的单透镜PSF，利用相应的非盲卷积图像复原算法得到最终清 晰图像。

本发明中：

步骤S1中模糊图像是在正常光圈大小下，由单透镜相机直接得到的模糊图像。

步骤S2中采用的盲卷积图像复原算法为基于最大后验概率MAP的盲卷积图像复原算法， 在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K)   (1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜 成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对 应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像 I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊 核的先验概率。

为计算方便，考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端 分别取负对数：

log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K)   (2)

则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

      $E(K,I)=\underset{K,I}{\min }{\left|\right|K*I-B\left|\right|}^2+{\lambda }_1{\left|\right|▿\left(I\right)\left|\right|}_{p1}+{\lambda }_2{\left|\right|K\left|\right|}_{p2}---\left(3\right)$      

其中，表示数据拟合项；表示图像先验；λ₂||K||_p2表示模糊 核先验；

式(3)中的模糊核先验采用稀疏分布先验，如下式所示：

            

其中，λ_d表示尺度因子，α_d表示第d个先验分量的权重。稀疏性先验的另外一种表达方 式是||K(x,y)||²。

步骤S21中图像颜色平缓变化先验是指：彩色图像的颜色变化是平缓的，这种平缓变化 性体现在图像颜色的整体变化，体现在每个通道内图像颜色的变化，而且不同图像通道之间 的变化也是平缓的。图像整体颜色平缓变化和单个通道内的颜色平缓变化可以理解为平滑性， 因此可用适当的高斯函数来体现，该先验的具体表达式如下所示：

      $\underset{i=1}{\overset{3}{\Sigma }}{\lambda }_i\underset{a=1}{\overset{5}{\Sigma }}{\left|\right|H_a{I}_c\left|\right|}^2---\left(5\right)$      

其中，i代表彩色图像中不同的通道，λ_i是每个通道的颜色平缓变化先验权重，H_a是添 加的重尾分布项，H_{1,2}卷积矩阵表示一阶导数，H_{3,4,5}卷积矩阵表示二阶导数。

另外，不同通道之间颜色变化的平缓性，则借鉴Heide等人的交叉通道先验的表达方式， 则图像颜色平缓先验的最终表达式可以表示为：

      $\underset{j\ne i}{\Sigma }{\beta }_{\mathrm{ij}}\underset{a=1}{\overset{2}{\Sigma }}{\left|\right|H_a{I}_i·I_j-H_a{I}_j·I_i\left|\right|}^2---\left(6\right)$             

其中，β_ij用来控制式(5)所表示的图像先验与式(6)所表示的图像先验之间的权重比 例。

步骤S22中：结合步骤S21中的图像颜色平缓先验，其中最终目标函数可以表示为：

      $\underset{K,I}{\min }{\left|\right|K*I-B\left|\right|}^2+{\lambda }_1\underset{j\ne i}{\Sigma }{\beta }_{\mathrm{ij}}\underset{a=1}{\overset{2}{\Sigma }}{\left|\right|H_a{I}_i·I_j-H_a{I}_j·I_i\left|\right|}^2+{\lambda }_2{\left|\right|K(x,y)\left|\right|}^2---\left(7\right)$      

其中，λ₁为控制图像先验的权重，λ₂为控制模糊核先验的权重。

针对上述目标函数，采用相应的迭代优化算法估计出单透镜的PSF。所采用的迭代优化 算法为EM优化算法，EM优化算法主要分为两个步骤，如图2所示，在E-step中，根据给 定的当前模糊核求解非盲卷积图像复原，求出潜在的平均图像，并估计该平均图像周围的方 差；在M-step中，根据E-step中求出的潜在平均图像求出最佳的模糊核，

EM算法的具体步骤可定义如下：

(1)E-step：令Q(I)＝P(I|B,K)，并计算出Q(I)的均值u和方差C，其中P(I|B,K)表 示在已知模糊图像B和模糊核K的条件下，对应的清晰图像为I的概率；均值u就代表给定 当前模糊核时潜在的清晰图像，C代表清晰图像周围的方差；

(2)M-step：找到使K*I-B达到最小值的K值，即式(8)达到最小值；

E_Q||K*I-B||²   (8)

在M-step中使用的是求导函数的方法，即找到式(8)的极值点，因为式(8)包含一个 二次项，而在E-step中所求出的均值和方差足以满足式(8)的求解条件，此时所求出的是局 部最优解，然后多次交替迭代E-step和M-step，直到得到最终的全局最优解，即最佳的模糊 核。

步骤S23中：针对步骤S22中得到的单透镜PSF，利用相应的非盲卷积图像复原算法得 到最终清晰图像。利用已经求出的模糊核，模糊图像是已知条件，则求解清晰图像的问题就 成为非盲卷积图项复原问题，采用如下概率模型：

      $P_K\left(I\right|B)\propto \exp (-(\frac{1}{{\eta }^2}{|C_{K}I-B|}^2+\beta {\left|C_{g_I}I\right|}^2+\beta {\left|C_{g_B}I\right|}^2))---\left(9\right)$      

则式(9)的最大值即为所求的清晰图像，即I^*＝arg max P_K(I|B)；其中，g_I＝[1 -1]， g_B＝[1 -1]^T；C表示卷积操作，对于函数f，C_fx表示f与x的卷积操作，即C_fx≡f*x， β和η是控制权重的参数。其中β和η是控制权重的参数，β＝250，η＝0.005。

本发明的有益技术效果是：

如上所述，本发明基于单透镜计算成像的原理，通过分析彩色图像三个彩色通道之间的 关系，发现图像颜色的变化规律，提出一种图像颜色平缓变化的先验，能很好地体现图像颜 色变化的特性，从而提高盲卷积图像复原算法所估计出的PSF精度，最终提高图像复原质量。 这种方法在图像处理和相机设计领域都具有非常重要的意义。

附图说明

图1为单透镜计算成像示意图；

图2为EM优化算法迭代示意图；

图3为本实验中的单透镜相机以及由相机得到的模糊图像；

图4为利用图像复原算法所估计出的空间变化的PSF；

图5为图像颜色平缓变化先验的图像复原效果图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行 进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本 发明。

本实施例提供的一种基于图像颜色平缓变化先验的单透镜计算成像方法，包括如下步骤：

步骤S1：在正常光圈大小下，由单透镜相机得到模糊图像。单透镜相机以及由该相机得 到的模糊图像如图3所示；

步骤S2：将模糊图像的像差校正问题转换为盲卷积图像复原问题，在最大后验概率模型 下，盲卷积图像复原问题的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K)   (1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜 成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对 应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像 I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊 核的先验概率。

为计算方便，考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端 分别取负对数：

log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K)   (2)

则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

      $E(K,I)=\underset{K,I}{\min }{\left|\right|K*I-B\left|\right|}^2+{\lambda }_1{\left|\right|▿\left(I\right)\left|\right|}_{p1}+{\lambda }_2{\left|\right|K\left|\right|}_{p2}---\left(3\right)$      

其中，表示数据拟合项；表示图像先验；λ₂||K||_p2表示模糊 核先验；

式(3)中的模糊核先验采用稀疏分布先验，如下式所示：

            

其中，λ_d表示尺度因子，α_d表示第d个先验分量的权重。稀疏性先验的另外一种表达方 式是||K(x,y)||²。

步骤S21：通过分析彩色图像三个通道内以及不同通道之间颜色的变化情况，提出图像颜 色平缓变化先验，并加入到盲卷积图像复原的目标函数中。其中图像颜色平缓变化先验是指： 彩色图像的颜色变化是平缓的，这种平缓变化性体现在图像颜色的整体变化，体现在每个通 道内图像颜色的变化，而且不同图像通道之间的变化也是平缓的。图像整体颜色平缓变化和 单个通道内的颜色平缓变化可以理解为平滑性，因此可用适当的高斯函数来体现，该先验的 具体表达式如下所示：

      $\underset{i=1}{\overset{3}{\Sigma }}{\lambda }_i\underset{a=1}{\overset{5}{\Sigma }}{\left|\right|H_a{I}_c\left|\right|}^2---\left(5\right)$      

其中，i代表彩色图像中不同的通道，λ_i是每个通道的颜色平缓变化先验权重，H_a是添 加的重尾分布项，H_{1,2}卷积矩阵表示一阶导数，H_{3,4,5}卷积矩阵表示二阶导数。

另外，不同通道之间颜色变化的平缓性，则借鉴Heide等人[3]交叉通道先验的表达方式， 则图像颜色平缓先验的最终表达式可以表示为

      $\underset{j\ne i}{\Sigma }{\beta }_{\mathrm{ij}}\underset{a=1}{\overset{2}{\Sigma }}{\left|\right|H_a{I}_i·I_j-H_a{I}_j·I_i\left|\right|}^2---\left(6\right)$      

其中，β_ij用来控制式(5)所表示的图像先验与式(6)所表示的图像先验之间的权重比 例，具体实施过程中，取β_ij＝0.45。

步骤S22：结合步骤S21中的图像颜色平缓先验，其中最终目标函数可以表示为：

      $\underset{K,I}{\min }{\left|\right|K*I-B\left|\right|}^2+{\lambda }_1\underset{j\ne i}{\Sigma }{\beta }_{\mathrm{ij}}\underset{a=1}{\overset{2}{\Sigma }}{\left|\right|H_a{I}_i·I_j-H_a{I}_j·I_i\left|\right|}^2+{\lambda }_2{\left|\right|K(x,y)\left|\right|}^2---\left(7\right)$      

其中，λ₁为控制图像先验的权重，λ₂为控制模糊核先验的权重。具体实施过程中，取 λ₁＝0.55，λ₂＝0.45。空间变化的模糊核总共分为7×11块。

针对上述目标函数，采用EM迭代优化算法估计出单透镜的PSF。EM优化算法主要分 为两个步骤，如附图2所示，在E-step中，根据给定的当前模糊核求解非盲卷积图像复原， 求出潜在的平均图像，并估计该平均图像周围的方差；在M-step中，根据E-step中求出的潜 在平均图像求出最佳的模糊核。

EM算法的具体步骤可定义如下：

(1)E-step：令Q(I)＝P(I|B,K)，并计算出Q(I)的均值u和方差C，其中P(I|B,K)表 示在已知模糊图像B和模糊核K的条件下，对应的清晰图像为I的概率；均值u就代表给定 当前模糊核时潜在的清晰图像，C代表清晰图像周围的方差；

(2)M-step：找到使K*I-B达到最小值的K值，即式(8)达到最小值；

E_Q||K*I-B||²   (8)

在M-step中使用的是求导函数的方法，即找到式(8)的极值点，因为式(8)包含一个 二次项，而在E-step中所求出的均值和方差足以满足式(8)的求解条件，此时所求出的是局 部最优解，然后多次交替迭代E-step和M-step，直到得到最终的全局最优解，即最佳的模糊 核。

由EM迭代优化算法得到的空间变化的7×11大小的PSF如图4所示。

步骤S23：针对已经求出的空间变化的PSF，利用Levin在2007年所提出的非盲卷积图 像复原算法得到最终清晰图像，已经求出的模糊核，模糊图像是已知条件，则求解清晰图像 的问题就成为非盲卷积图项复原问题，采用如下概率模型：

      $P_K\left(I\right|B)\propto \exp (-(\frac{1}{{\eta }^2}{|C_{K}I-B|}^2+\beta {\left|C_{g_I}I\right|}^2+\beta {\left|C_{g_B}I\right|}^2))---\left(9\right)$      

则式(9)的最大值即为所求的清晰图像，即I^*＝arg max P_K(I|B)；其中，g_I＝[1 -1]， g_B＝[1 -1]^T；C表示卷积操作，对于函数f，C_fx表示f与x的卷积操作，即C_fx≡f*x， β和η是控制权重的参数。在具体实现过程中，取β＝250，η＝0.005。图5展示了采用基 于图像颜色平缓变化先的图像复原效果结果。

综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领 域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的 保护范围当视权利要求书界定的范围为准。