一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法

摘要

本发明提供一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法，本发明方法包括：S1、基于改进的傅里叶叠层方法，确定观测图像I(x,y)；S2、将确定的所述观测图像I(x,y)建模为正向网络；S3、对建模后的前向网络进行优化，实现对观测图像I(x,y)的重构。本发明的技术方案解决了现有技术中的傅里叶叠层成像过程中的频谱偏移量误差的问题。本发明的技术方案将重构物体与估计频谱偏移量相结合，能够在一个流程中同时重构物体和估计频谱误差，适应性强，且无需进行预训练，可在网络训练过程中直接快速且准确的重构出物体，对频谱偏移量误差的容忍度高，适用于频谱偏移量存在随机误差的情况。

说明书

技术领域

本发明涉及傅里叶成像技术和深度学习技术领域，具体而言，尤其涉及一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法。

背景技术

傅里叶叠层成像是一种新型超分辨计算成像技术，该技术通过一定的方法使得目标频谱与低分辨率相机相干传递函数(coherent transfer function,CTF)产生移位，利用低分辨率镜头采集不同频谱下的目标信息，而后通过相位恢复方法将目标信息在频域中进行拼接，合成大范围的目标频谱，从而提高了观测分辨率。

在显微成像领域中，傅里叶叠层成像技术受到的广泛的关注。傅里叶叠层显微成像中利用LED阵列替换了传统光源，通过LED灯珠从不同角度照射目标从而实现目标频谱与相机CTF之间的频谱偏移，而后通过相位恢复重建能够得到超越所使用镜头的分辨本领。该技术克服了显微镜头空间带宽积的限制，利用低分辨率大视场的显微镜头，实现了大视场、高分辨率的成像。此外，一些研究人员在拓展将傅里叶叠层成像技术应用于宏观成像领域中，提出了采用相机移位或激光光源移位等方式实现目标频谱与相机CTF之间的频谱偏移，期望利用小孔径相机实现大口径相机的成像能力。

基于相位恢复的频谱重建是傅里叶叠层成像的关键问题，目前常见的傅里叶叠层重建算法主要有EPIE算法和Wirtinger flow算法等。在傅里叶叠层重建中，目标频谱与相机CTF之间的频谱偏移量是重建算法的关键参数，若频谱偏移量不正确，则模型不匹配会导致重建图像中出现严重的伪影，大大降低分辨率。频谱偏移量的引入是通过相机移动或光源移动等方式引入，为了准确得到频谱偏移量，需要通过预校准的方式对频谱偏移量进行估计，这在实际操作中十分复杂。

发明内容

根据上述提出的傅里叶叠层成像过程中的频谱偏移量误差技术问题，而提供一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法。本发明能够基于数据可同步重建高分辨率目标图像并估计频谱偏移量。

本发明采用的技术手段如下：

一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法，包括：

S1、基于改进的傅里叶叠层方法，确定观测图像I(x,y)；

S2、将确定的所述观测图像I(x,y)建模为正向网络；

S3、对建模后的前向网络进行优化，实现对观测图像I(x,y)的重构。

进一步地，所述步骤S1具体包括：

S11、利用卷积定理，将图像传感器上所记录的图像I(x,y)改写为：

其中，

S12、为了满足深度神经网络训练中仅能使用实数的要求，将I(x,y)公式中O(x,y)、PSF(x,y)与

O(x,y)＝O

PSF(x,y)＝PSF

其中，O

S13、将改写后的O(x,y)、PSF(x,y)以及

其中，cos＝cos(d

S14、基于给定的频谱偏移量(d

进一步地，所述步骤S2具体包括：

S21、根据目标图像分辨率尺寸生成二维网格坐标点记为(x,y)；

S22、根据相机的点扩散函数PSF(x,y)分别获取其实部和虚部，记为PSF

S23、组建正向网络模型。

进一步地，所述步骤S23组建正向网络模型具体包括：

S231、对于第n次观测情况，将频谱偏移量

S232、将频谱偏移量卷积层

S233、将步骤S232中所生成的cos

S234、将观测目标的实部O

与O

与O

S235、将步骤S234中卷积输出结果相加/减，并输入到平方激活函数y＝x

S236、将步骤S235中的两个结果相加，则前向网络的输出即为

S237、若n

进一步地，所述步骤S3具体包括：

S31、网络参数初始化；

S32、设定损失函数为L1范数损失函数：

其中，I

S33、根据链式求导法则，将损失函数按照正向网络模型由后向前逐层求导；利用导数对网络参数

S34、输出网络参数，由

进一步地，所述步骤S31网络参数初始化的具体过程如下：

S311、将中心频谱的低分辨率图作为初始值对观测目标卷积层O

S312、将频谱偏移量

较现有技术相比，本发明具有以下优点：

1、本发明提供的含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法，将重构物体与估计频谱偏移量相结合，能够在一个流程中同时重构物体和估计频谱误差，适应性强。

2、本发明提供的含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法，无需进行预训练，可在网络训练过程中直接快速且准确的重构出物体。

3、本发明提供的含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法，对频谱偏移量误差的容忍度高，适用于频谱偏移量存在随机误差的情况。

基于上述理由本发明可在傅里叶成像技术和深度学习等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明正向网络模型。

图3为本发明中原始图像。

图4为本发明仿真11×11个频谱偏移量下的低分辨率图。

图5为本发明的网络训练过程损失函数曲线。

图6为本发明中频谱偏移估计结果图。

图7为本发明中网络重建高分辨率图像。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例

本实施例中通过数字仿真对本发明方法进行说明。

如图1所示，本发明提供了一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法，包括：

傅里叶叠层方法的基本原理是在目标频谱与相机相干传递函数(coherenttransfer function,CTF)之间产生移位，记录了物体不同频谱偏移量的图像。

当目标频谱

S1、基于改进的傅里叶叠层方法，确定观测图像I(x,y)；

所述步骤S1具体包括：

S11、利用卷积定理，将图像传感器上所记录的图像I(x,y)改写为：

其中，

S12、为了满足深度神经网络训练中仅能使用实数的要求，将I(x,y)公式中O(x,y)、PSF(x,y)与

O(x,y)＝O

PSF(x,y)＝PSF

其中，O

S13、将改写后的O(x,y)、PSF(x,y)以及

其中，cos＝cos(d

S14、基于给定的频谱偏移量(d

仿真实验中所采用的高分辨率原始图像为分辨率靶标图像，如图3所示,图像尺寸为256*256。仿真的相机CTF为理想圆孔函数，CTF的采集频带宽度为靶标频谱宽度的11％。仿真的频谱偏移量为频谱中的11×11的均匀网格位置，为了模拟频谱偏移误差，以中心网格位置附近增加了[-4，4](单位：频谱像素)的随机偏差，仿真11×11个频谱偏移量下的低分辨率图，如图4所示。仿真生成的频谱偏移量如图6中的圆点所示。以每个频谱偏移量

S2、将确定的所述观测图像I(x,y)建模为正向网络；本实施例中采用了Pytorch软件框架搭建正向网络。

所述步骤S2具体包括：

S21、使用meshgrid函数生成256×256大小的二维网格坐标点，记为(x,y)；

S22、将圆孔形式CTF进行傅里叶变换计算得到相干点扩散函数PSF(x,y)＝F{CTF(u,v)}，分别获取PSF(x,y)的实部和虚部，记为PSF

S23、如图2所示，组建正向网络模型。

S231、对于第n次观测情况，将频谱偏移量

S232、将频谱偏移量卷积层

S233、将步骤S232中所生成的cos

S234、将观测目标的实部O

与O

与O

S235、将步骤S234中卷积输出结果相加/减，并输入到平方激活函数y＝x

S236、将步骤S235中的两个结果相加，则前向网络的输出即为

S237、若n＜N，则n＝n+1，重复执行步骤S231到步骤S237。

上述建模网络中各参数的尺寸如下表所示：

S3、对建模后的前向网络进行优化，实现对观测图像I(x，y)的重构。

所述步骤S3具体包括：

S31、网络参数初始化；

S311、将中心频谱的低分辨率图作为初始值对观测目标卷积层O

S312、将频谱偏移量

S32、设定损失函数为L1范数损失函数：

其中，I

S33、利用Pytorch软件中的自动求导功能，将损失函数按照正向网络模型由后向前逐层求导；把重构O

S34、输出网络参数，由

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。