一种面向天文图像解卷积的结构学习方法

摘要

本发明提出一种面向天文图像解卷积的结构学习方法，所述方法包括如下步骤：天文图像输入步骤，接收天文图像输入网络的输入，并将其输入主干网络；主干网络处理步骤，包括特征提取步骤和信号估计步骤；特征提取步骤：通过两次卷积层运算和叠加的残差学习进行特征提取；信号估计步骤：将所述特征提取结果输入至两个支路分别计算；将第一支路计算结果和第二支路计算结果的输出信号进行融合，再次进行两次卷积层运算，得到最终结果。

说明书

技术领域

本发明属图像处理技术领域，尤其涉及一种面向天文图像解卷积的结构学习方法。

背景技术

天文图像是人们探索宇宙和监视太空的有效媒介。通过这些图像，人们可以直接观察天体的变化、星系的演化，有效地监测人造卫星和其他人造物体的运行状态。由于涉及的距离很长，天文图像一般需要通过望远镜设备采集。由于光学设备本身的特点和成像环境的影响，望远镜采集到的图像都会出现不同程度的退化。这些退化的图像模糊，失去细节，甚至可能对物体结构和轮廓造成严重损失；因此，它们常常难以满足实际需要。为了获得更清晰的成像结果，人们采取了许多措施。其中最著名的是自适应光学(adaptiveoptics,AO)，它通过校正波前畸变来补偿大气湍流或其他因素引起的成像模糊。然而，由于AO系统的复杂性和成本，其有效性和响应速度并不总是完全满足校正要求。此外，它们有时会留下明显的校正残差，导致模糊。在这种情况下，应用图像后处理技术可以进一步改善AO图像的质量。本研究的目的，正是为了改善这类图像的后处理。与建造和获取更复杂的AO系统的成本相比，我们的工作成本可以忽略不计，但其效果是非常令人满意的。

在理想的数字成像系统中，场景中的一个面元(通常被视为一个点)对应于图像屏幕上的一个像素。当成像系统应用于离焦或具有大像差或剧烈运动的图像时，像素被扩展成为图像平面上的一个有限区域。这会导致场景中相邻面元形成的图像重叠，从而导致图像退化。在这一过程中，图像中的每个像素通过在该像素位置上叠加对应面元及其相邻面元的图像而得到。如果成像系统是线性的且平移不变，则退化的成像结果可以用以下等式来描述：

y＝x*k (1)

其中，y是退化图像，其是其对应的理想清晰图像；是点扩散函数(PSF)，定义为成像系统对点源或点对象的响应；星号(*)表示卷积运算。上述等式描述了退化图像的每个像素可以被视为理想图像中对应像素及其邻域像素的加权和。

图像复原的任务是根据已知降质图像，求解清晰图像。式(1)表明这是一个解卷积问题。图像解卷积是许多领域的一种常见操作，包括天文成像(Starck等人。2002年；LaCamera等人。2015年；Ramos等人。2018年)，电子显微镜(Kenig等人。2010年；Preibisch等人。2014；Li等人。2018年)，防抖摄影(Xu et al。2014年；Sun等人。2015年；Chakrabarti2016年；Nah等人。2017年；Kupyn等人。2018)，医学图像学(Campisi&Egiazarian 2007)，(Xie等人。2016年)，这是图像处理领域的一个持续热点问题。根据PSF是否已知，图像解卷积可分为盲解卷积(PSF未知)(Biggs 1988；You&Kaveh 1996；Prato et al)，和非盲解卷积(已知PSF)(Prato等人2012年；Lefkimmiatis和Unser 2013年；Schuler等人2013年；陈2014年)。

虽然近年来提出了大量的解卷积方法，但大多是针对自然图像或其他类型的图像，而适用于天文图像的解卷积方法却很少。在这些方法假设退化图像受到泊松噪声的扰动，进而通过某些优化方法来实现图像解卷积。如，迭代法(Richardson 1972；Lucy 1974)、比例梯度投影法(Prato et al 2012)，加速线性化交替最小化(Chen2014)，或矩阵值正则化算子(Lefkimmiatis&Unser 2013)。由于PSF未知，盲解卷积更具挑战性。盲解卷积的主要困难是信息不足。一个典型的解决方案是引入关于PSF和图像的各种先验知识来补偿这一不足，并使用迭代方法交替估计PSF和清晰图像(Biggs 1988；You&Kaveh 1996；Prato etal 2013)。关于传统解卷积方法的更多概述，我们推荐(Starck 2002；Campisi&Egiazarian2007；Levin2011)。

发明内容

本发明提出了一种面向天文图像解卷积的结构学习方法，所述方法包括如下步骤：天文图像输入步骤，接收天文图像输入网络的输入，并将其输入主干网络；主干网络处理步骤，包括特征提取步骤和信号估计步骤；特征提取步骤：通过两次卷积层运算和叠加的残差学习进行特征提取；然后通过叠加的残差学习运算计算得特征提取结果；信号估计步骤：将所述特征提取结果输入至两个支路分别计算；将第一支路计算结果和第二支路计算结果的输出信号进行融合，再次进行两次卷积层运算，得到最终结果。

特别地，所述卷积层运算包括如下步骤：对接收到的输入数据进行卷积运算；将卷积运算得到的结果进行批量归一化计算，然后输入至非线性激励层计算。

特别地，所述非线性激励层采用线性整流函数(ReLU)完成运算。

特别地，所述第一支路首先进行卷积层计算，其中通过卷积核控制输出数据大小，然后将输出的列列信号输入至全连接层计算得到第一支路计算结果；所述第二支路通过上采样层计算得到第二支路计算结果。

特别地，所述天文图像输入步骤还包括：接收的天文图像为用于点扩展函数PSF估计的网络(PSFNet)的天文图像、用于非盲解卷积的网络(NBDNet)的天文图像或用于盲解卷积网络(BDNet)的天文图像。

特别地，当接收的天文图像输入网络是用于点扩展函数PSF估计的网络时，其接收的天文图像是退化图像，其得到的最终结果是所述退化图像的点扩展函数PSF信息。

特别地，当接收的天文图像输入网络是非盲解卷积的网络(NBDNet)时，其接收的天文图像是退化图像和所述退化图像对应的点扩展函数PSF信息；其得到的最终结果是所述退化图像对应的清晰图像。

特别地，当接收的天文图像输入网络是盲解卷积网络(BDNet)时，其接收的天文图像是退化图像，其首先会得到所述退化图像对应的点扩展函数PSF信息，再次和所述退化图像一起，得到最终结果是所述退化图像估计得出的锐化图像。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提出的主干网络结构示意图；

图2为本发明提出的面向天文图像解卷积的步骤示意图；

图3为本发明提出的残差模块的计算示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图对本发明的具体实施方式作出详细说明。

本发明提出了一种面向天文图像解卷积的结构学习方法，所述方法包括如下步骤，其步骤示意图如图1所示：

步骤S1：天文图像输入步骤，接收天文图像输入网络的输入，并将其输入主干网络；其中天文图像的输入网络可以为用于点扩散函数PSF(Point Spread Function)估计的网络，简称PSFNet和用于非盲解卷积的网络，简称NBDNet；它们都直接使用主干结构；从外部看，这两个网络之间唯一的区别是它们的输入和输出。对于PSFNet，我们的目标是用它估计导致图像退化的PSF。因此，PSFNet的输入是退化图像，其输出是相应的PSF。输入通道数等于退化图像的通道数。对于NBDNet，我们的目标是用它执行非盲解卷积操作，即在已知退化图像及其对应PSF的情况下，恢复与退化图像对应的清晰图像。因此，NBDNet的输入是退化图像和对应的PSF，其输出是对应于退化图像的清晰图像。在输入数据时，我们分别对退化图像和PSF进行归一化处理，然后将它们串联起来输入到网络中。因此，输入到NBDNet的通道数等于退化图像的通道数与PSF的通道数之和。输入网络还包括盲解卷积网络(简称BDNet，盲解卷积问题比解卷积问题更具挑战性。这个问题的解决方法是先估计PSF，然后用解决非盲解卷积问题的方法来解决盲解卷积问题(Levin等人。2011年)。我们采用这种思想，将两个主干网络按顺序连接起来，形成一个盲解卷积网络，简称BDNet；其中第一个用于PSF估计，可以看作PSF估计子网。该网络的输入是一个退化图像，其输出是对应的PSF估计。第二个网络用于进行非盲解卷积，可以看作是一个非盲解卷积子网。同时，将退化图像和PSF估计子网的PSF估计值输入该网络，其输出为最终估计出的锐化图像。这个过程中尽管存在PSF估计环节，但从外部来看，可将网络视为一个黑匣子，只需输入一个退化图像到BDNet中，BDNet就可以输出对应的清晰图像。因此，该网络实现了盲解卷积功能。BDNet由两个主干网络组成，端到端地执行，不需要任何中间的数据转换过程

S2：主干网络处理步骤，包括S21：特征提取步骤和S22：信号估计步骤，主干网络结构示意图参见图2所示；

S21：特征提取步骤：通过两次卷积层运算和叠加的残差学习进行特征提取；其中卷积层运算包括如下步骤：对接收到的输入数据进行卷积运算；将卷积运算得到的结果进行批量归一化(BN)计算，然后输入至非线性激励层计算。其中批量归一化计算主要是为了保持特征规模一致，以加速训练，提高精度；设置非线性激励层是因为卷积计算是一种线性运算，增加非线性激励层可以为卷积计算增加非线性描述能力，非线性激励层采用线性整流函数(Rectified Linear Unit,ReLU)ReLU完成运算，然后通过叠加的残差学习模块计算得到特征提取结果；残差学习模块是现有技术(DeepResidual Learning for ImageRecognition，HE等人)，该技术通过构造残差单元，可以快速逼近至目标函数。所谓残差函数就是不期望每一层能直接拟合一个映射，我们明确的让这些层去拟合残差映射。形式上看，就是用H(X)来表示最优解映射，但我们让堆叠的非线性层去拟合另一个映射F(X):＝H(X)-X,此时原最优解映射H(X)就可以改写成F(X)+X，我们假设残差映射跟原映射相比更容易被优化。极端情况下，如果一个映射是可优化的，那也会很容易将残差推至0，把残差推至0和把此映射逼近另一个非线性函数相比要容易的多，其过程如图3所示。

S22：信号估计步骤：将所述特征提取结果输入至两个支路分别计算；将第一支路计算结果和第二支路计算结果的输出信号进行融合，再次进行两次卷积层运算，得到最终结果。

其中信号估计步骤采用“先分后合”的信息处理策略。即，从特征提取部分的末尾引出两个分支。一个支路采用从特征提取部分的输出开始的上采样结构，逐层扩展特征图的大小，最后输出与主干网络原始输入信号相同大小的信号。另一个分支采用全连接结构，首先使用一个大的卷积核来调整特征提取部分的输出大小，然后输出列信号，最后将其整形成与特征提取部分的原始输入信号大小相同的二维信号。在两个支路的末端，用两个卷积层对两个支路的输出信号进行融合，输出最终结果。这种上采样网络和全连接网络的结合对结构学习非常有益。上采样网络采用插值和卷积相结合的逐层上采样方法，有助于保持信号的结构。全连接网络对二维信号进行逐列处理，破坏了信号的原始结构，信号邻域间约束减小，有助于保持信号内部的清晰细节。主干网络的估计部分将全连接网络和上采样网络结合起来，相互补充，有效地保留了各自的优势，同时又克服了各自的缺点。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。