基于空间变化点扩散函数的荧光显微图像重建方法及系统

摘要

本发明提出一种基于空间变化点扩散函数的荧光显微图像重建方法，包括以下步骤：S1，输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像栈；S2，获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈的点扩散函数；S3，将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处理以获取预定空间深度的插值函数；S4，根据插值函数获取每组图像栈的空间变化点扩散函数；S5，根据空间变化点扩散函数进行荧光显微图像的三维重建。本发明的方法，整体性好、分辨率高。本发明还提出一种基于空间变化点扩散函数的荧光显微图像重建系统。

说明书

技术领域

本发明涉及计算机视觉和图像处理技术领域，尤其涉及一种基于空间变化点扩散函数 的荧光显微图像重建方法及系统。

背景技术

荧光显微图像3D复原或重建作为计算机视觉与图像处理领域具有挑战性的工作，在生 物，医学和生命科学研究中具有重要价值。但是由于光学成像设备自身的衍射、有限的数 值孔径等因素限制，使得所成图像中有一定程度的模糊现象，这种模糊现象用点扩散函数 (point spread function，PSF)来表征。随着成像深度的增加，这种模糊现象更加严重。

目前，很多技术都能够实现生物样本的3D图像重建，并被不断的改进和完善。为了简 化计算，其中一些算法假设PSF是空间不变的。这种假设在PSF变化不明显的薄样本中可 以近似成立，但对于厚荧光显微样本，由于样本折射率的变化和球形像差的影响，使得空 间不变PSF的假设不再成立。

目前有两种方法可以得到PSF，分别为实验法和理论法。实验法是通过光学显微镜对 直径小于200纳米的荧光小珠成像，这种方法得到PSF具有较高的可信度，但实际显微成 像系统的PSF与生物样本自身的光学特性有关，而不同的生物样本其光学特性是不同的， 因此直接测量法难以准确描绘实际显微成像时准确的PSF。另外由于荧光小球的几何尺寸 较小，测量时信噪比相对较低，这就需要光学系统尽量调整到理想状态，但实际的实验环 境下，这种状态很难实现。理论法是将光波长，样本折射率，成像设备的数值孔径等参数 带入Gibson S.F.和Lanni F.的经典衍射理论公式中，进而计算得到PSF，但由于公式中所需 的参数较多，而在实际中有些参数有时很难准确得到且具有易变性，因此理论法得到的PSF 往往会与实际情况有所偏差。

现有的利用空间变化点扩散函数(space variant point spread function，SV PSF)模型来 进行样本三维重建的算法中，主要是将图像分成各个子区域，每个子区域内使用空间不变 点扩散函数，为了减少区域间的块效应，需要实现两个PSF之间的平滑过渡。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一 方面目的在于提出一种整体性好、分辨率高的基于空间变化点扩散函数的荧光显微图像重 建方法。

本发明第二方面目的在于提出一种基于空间变化点扩散函数的荧光显微图像重建系 统。

为了实现上述目的，本发明第一方面实施例提出一种基于空间变化点扩散函数的荧光 显微图像重建方法，包括以下步骤：S1，输入荧光显微图像序列，并根据预定条件将所述 荧光显微图像序列分为多组图像栈；S2，获取每组所述图像栈的中心位置图像的点扩散函 数，并将所述点扩散函数作为所述图像栈的点扩散函数；S3，将每组所述图像栈的点扩散 函数组成点扩散函数序列，对所述点扩散函数序列进行处理以获取预定空间深度的插值函 数；S4，根据所述插值函数获取每组所述图像栈的空间变化点扩散函数；S5，根据所述空 间变化点扩散函数进行荧光显微图像的三维重建。

根据本发明实施例的基于空间变化点扩散函数的荧光显微图像重建方法，使用不同深 度处估计出的空间不变点扩散函数序列构建样条插值函数，得到关于轴向深度的插值函数， 再由计算出位于预定空间深度处的点扩散函数。利用空间不变点扩散函数序列来得到空间 变化点扩散函数序列模型的方法，使相邻两PSF之间的平滑过渡更自然，生成的空间变化 点扩散函数更符合实际成像系统的特点，本发明的方法考虑了所有空间不变点扩散函数的 信息，克服了现有阶层法只利用相邻两点扩散函数来进行平滑的局部性缺点。

在一些示例中，所述步骤S2利用盲反卷积方法获取所述每组所述图像栈的中心位置图 像的点扩散函数。

在一些示例中，所述步骤S3利用三次样条插值法对所述点扩散函数序列进行处理以获 取预定空间深度的插值函数，包括：获取m个位于不同空间深度的点扩散函数作为样条插 值的m个节点；将每个所述点扩散函数的强度值作为节点值；设置起始点扩散函数和终止 点扩散函数，获取每两个点扩散函数之间位于预定空间深度的插值函数。

在一些示例中，可利用所述插值函数，获取位于任意两个所述点扩散函数之间的点扩 散函数。

在一些示例中，步骤S5利用反卷积算法对所述空间变化点扩散函数进行荧光显微图像 的三维重建。

本发明第二方面实施例提出一种基于空间变化点扩散函数的荧光显微图像重建系统， 包括：分组模块，用于输入荧光显微图像序列，并根据预定条件将所述荧光显微图像序列 分为多组图像栈；预处理模块，用于获取每组所述图像栈的中心位置图像的点扩散函数， 并将所述点扩散函数作为所述图像栈的点扩散函数；插值模块，用于将每组所述图像栈的 点扩散函数组成点扩散函数序列，对所述点扩散函数序列进行处理以获取预定空间深度的 插值函数；空间变化点扩散函数模块，根据所述插值函数获取每组所述图像栈的空间变化 点扩散函数；重建模块，用于根据所述空间变化点扩散函数进行荧光显微图像的三维重建。

根据本发明实施例的基于空间变化点扩散函数的荧光显微图像重建系统，使用不同深 度处估计出的空间不变点扩散函数序列构建样条插值函数，得到关于轴向深度的插值函数， 再由计算出位于预定空间深度处的点扩散函数。利用空间不变点扩散函数序列来得到空间 变化点扩散函数序列模型的方法，使相邻两PSF之间的平滑过渡更自然，生成的空间变化 点扩散函数更符合实际成像系统的特点，本发明的系统考虑了所有空间不变点扩散函数的 信息，克服了现有阶层法只利用相邻两点扩散函数来进行平滑的局部性缺点。

在一些示例中，所述预处理模块利用盲反卷积方法获取所述每组所述图像栈的中心位 置图像的点扩散函数。

在一些示例中，所述插值模块还用于利用三次样条插值法对所述点扩散函数序列进行 处理以获取预定空间深度的插值函数，包括：获取m个位于不同空间深度的点扩散函数作 为样条插值的m个节点；将每个所述点扩散函数的强度值作为节点值；设置起始点扩散函 数和终止点扩散函数，获取每两个点扩散函数之间位于预定空间深度的插值函数。

在一些示例中，所述插值模块还用于可利用所述插值函数，获取位于任意两个所述点 扩散函数之间的点扩散函数。

在一些示例中，所述重建模块利用反卷积算法对所述空间变化点扩散函数进行荧光显 微图像的三维重建。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

图1是根据本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建方法的 流程图；

图2是本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建方法的过程 图；

图3是本发明一个实施例的一组SI PSF图像示例示意图；和

图4是根据本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建系统的 结构框图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、 “厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、 “外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于 附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所 指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发 明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示 或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两 个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定” 等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是 机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两 个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通 技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征 在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅 仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面” 可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示的根据本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建 方法的流程图，本发明第一方面实施例的基于空间变化点扩散函数的荧光显微图像重建方 法，包括以下步骤：

S1，输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像栈；

S2，获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈的点 扩散函数；

S3，将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处理以 获取预定空间深度的插值函数；

S4，根据插值函数获取每组图像栈的空间变化点扩散函数；

S5，根据空间变化点扩散函数进行荧光显微图像的三维重建。

结合图2，本发明实施例的基于空间变化点扩散函数的荧光显微图像重建方法的具体 实现过程详细描述如下：

步骤S1，输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像 栈。

输入获得的荧光显微图像序列{g₁,g₂,...,g_n}，n为正整数。根据PSF变化不明显的区域， 例如，两个PSF之间的相关系数不小于预设阈值(如0.9)，将荧光显微图像序列分为m组 图像栈。

这里需要注意的是，每组的图像数量不宜过多，否则不满足后续步骤中PSF空间不变 的假设。但每组中图像的数量也不宜过少，图像栈中过少的图像数将导致分组过多，分组 过大，利用SI PSF序列进行样条插值时产生的计算量将会很大。

步骤S2，获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈 的点扩散函数。

在每组图像栈的中心位置图像处使用盲反卷积方法估计出一个PSF，以第i组图像栈为 例，利用盲反卷积的方法估计位于图像栈中心位置处图像的PSF，记为h_i，其中0≤i≤m-1， 并将h_i作为第i组图像共同的PSF，即可以将每个图像栈中的PSF看作是空间不变的 (space-invariant，SI)。在本发明的一个实施例中，一组SI PSF图像实例如图3所示。

步骤S3，将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处 理以获取预定空间深度的插值函数

将上述步骤S2获取的每个图像栈中的PSF组成PSF序列{h₀,h₂,...,h_m-1},在获取的PSF 序列上应用样条插值方法，得到关于空间深度z的拟合函数S(z)，利用S(z)来实现两个相 邻的PSF间的平滑过渡。具体的步骤如下：

(1)获取m个位于不同空间深度的点扩散函数作为样条插值的m个节点。

将估计出的m个位于不同深度处的PSF作为样条插值的m个节点z_i，i∈[0,m-1]，

(2)将每个所述点扩散函数的强度值作为节点值；

将各个PSF的强度值作为节点值y_i，i∈[0,m-1]。

(3)设置起始点扩散函数和终止点扩散函数，获取每两个点扩散函数之间位于预定空 间深度的插值函数。

将h₀作为起始PSF，用(z₀,y₀)表示，将h_m-1作为终止PSF，用(z_m-1,y_m-1)表示，同时假 设这组PSF具有连续性，根据三次样条插值法，每两个PSF之间都可以构建一个关于空间 深度z的三次样条函数：

$S\left(z\right)=\left(\begin{array}{cc}{S}_0\left(z\right)& z\in [z_0,z_1]\\ S_1\left(z\right)& z\in [z_1,z_2]\\ .& .\\ .& .\\ .& .\\ S_{m-2}\left(z\right)& z\in [z_{m-2},z_{m-1}]\end{array}\right)$

这里，S(z)在z∈[z₀,z_m-1]上具有二阶连续导数，在子区间z∈[z_p,z_p+1]上，S_p(z)是一个 三次多项式，具有如下形式：

S_p(z)＝a_pz³+b_pz²+c_pz+d_p,(p＝0,1,2,...,m-2)，

另外，在本发明的一个实施例中的样条函数使用第一类边界条件(即给定端点处的一阶 导数值，假设S'(z₀)＝y'₀＝0，S'(z_m-1)＝y'_m-1＝0作为附加的两个条件来确定各个子插值函 数的多项式系数a_p，b_p，c_p，d_p。

进一步的，在本发明的一个实施例中，利用SI PSF序列及其计算得到的[z_p,z_p+1]区间 内的插值系数a_p，b_p，c_p，d_p，p＝0，1，2，...，m-2，生成介于深度z_p与z_p+1处的PSF。

利用上述步骤得到的插值函数S(z)，可以计算得到位于任意两个PSF之间的点扩散函 数，如下式所示：

S_p(Δz_j)＝a_p(Δz_j)³+b_p(Δz_j)²+c_p(Δz_j)+d_p,(Δz_j∈[z_p,z_p+1],j＝1,2,...n)，

利用上式可计算任意轴向子区间内的PSFH′_j＝S_p(Δz_j)，p＝0，1，2，...，m-2，j＝1， 2，...，n，n为每个子区间中估计出的PSF个数。

步骤S4，根据插值函数获取每组图像栈的空间变化点扩散函数。

根据插值函数S(z)可以计算出(m-1)*n个处在不同深度z处的PSF{H₁,H₂,...,H_(m-1)n}， 得到整个荧光显微图像栈的空间变化点扩散函数(SV PSF)。

步骤S5，根据空间变化点扩散函数进行荧光显微图像的三维重建。

在本发明的一个实施例中，利用平滑之后的SV PSF，并结合现有的反卷积算法来进行 荧光显微图像栈的三维重建。

根据本发明实施例的基于空间变化点扩散函数的荧光显微图像重建方法，使用不同深 度处估计出的空间不变点扩散函数序列构建样条插值函数，得到关于轴向深度的插值函数， 再由计算出位于预定空间深度处的点扩散函数。利用空间不变点扩散函数序列来得到空间 变化点扩散函数序列模型的方法，使相邻两PSF之间的平滑过渡更自然，生成的空间变化 点扩散函数更符合实际成像系统的特点，本发明的方法考虑了所有空间不变点扩散函数的 信息，克服了现有阶层法只利用相邻两点扩散函数来进行平滑的局部性缺点。

如图4所示，本发明第二方面实施例的基于空间变化点扩散函数的荧光显微图像重建 系统100包括：分组模块101、预处理模块102、插值模块103、空间变化点扩散函数模块 104和重建模块105。

分组模块101用于输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为 多组图像栈。预处理模块102用于获取每组图像栈的中心位置图像的点扩散函数，并将点 扩散函数作为图像栈的点扩散函数。插值模块103用于将每组图像栈的点扩散函数组成点 扩散函数序列，对点扩散函数序列进行处理以获取预定空间深度的插值函数。空间变化点 扩散函数模块104根据插值函数获取每组图像栈的空间变化点扩散函数。重建模块105用 于根据空间变化点扩散函数进行荧光显微图像的三维重建。

进一步的，预处理模块102利用盲反卷积方法获取每组图像栈的中心位置图像的点扩 散函数。

在本发明的一个实施例中，插值模块103用于利用三次样条插值法对点扩散函数序列 进行处理以获取预定空间深度的插值函数，包括：

获取m个位于不同空间深度的点扩散函数作为样条插值的m个节点；

将每个点扩散函数的强度值作为节点值；

设置起始点扩散函数和终止点扩散函数，获取每两个点扩散函数之间位于预定空间深 度的插值函数。

进一步的，在本发明的一个实施例中，插值模块103还用于可利用插值函数，获取位 于任意两个点扩散函数之间的点扩散函数。

在本发明的一个实施例中，重建模块105利用反卷积算法对空间变化点扩散函数进行 荧光显微图像的三维重建。

需要说明的是，本发明实施例的基于空间变化点扩散函数的荧光显微图像重建系统的 具体实现方式与方法部分的具体实现方式类似，请参见方法部分的描述，为了减少冗余， 此处不做赘述。

根据本发明实施例的基于空间变化点扩散函数的荧光显微图像重建系统，使用不同深 度处估计出的空间不变点扩散函数序列构建样条插值函数，得到关于轴向深度的插值函数， 再由计算出位于预定空间深度处的点扩散函数。利用空间不变点扩散函数序列来得到空间 变化点扩散函数序列模型的方法，使相邻两PSF之间的平滑过渡更自然，生成的空间变化 点扩散函数更符合实际成像系统的特点，本发明的系统考虑了所有空间不变点扩散函数的 信息，克服了现有阶层法只利用相邻两点扩散函数来进行平滑的局部性缺点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示 例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者 特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述 不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以 在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领 域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进 行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例 进行变化、修改、替换和变型。