基于3D数字显微成像系统的高动态范围图像成像方法

摘要

本发明涉及一种基3D数字显微成像系统的高动态范围图像成像方法，通过生成待观测物体的高动态范围图像且获取待观测样本的原始高动态多聚焦序列图像，利用相位匹配方法和傅里叶变换进行图像配准和超像素层级上的移动，再通过前景背景分割方法将目标物体分割出来；对于分割后的图像作四叉树分解处理，标记图像序列中的清晰图像块，并记录每一幅图像所对应的高度信息；最后将标记好的清晰图像块融合成待观测物流的三维立体形状，并采用中值滤波对生成的三维立体形状进行滤波，以消除三维立体形状因采样频率不足而引起的锯齿效果，从而使得生成的待观测物体的三维立体形成更加平滑。

说明书

技术领域

本发明涉及高清高精度显微成像检测技术领域，尤其涉及一种基于3D数字显微成像系统的高动态范围图像成像方法。

背景技术

多焦距3D技术(Shape from Focus，简称SFF)是目前数字显微图像处理领域内常用的3D技术。由于多焦距3D技术只需要应用传统单目显微镜就可以获得观测样本的三维形状而得到专家学者的广泛关注。区别于立体视觉技术利用双目镜头获得深度信息，多焦距3D技术只通过移动、观测物体到镜头的距离，检测图像中清晰区域，从而便可以恢复重建出物体的深度信息。

但是，多焦距3D技术的主要缺陷在于当观测样本存在高反光的情况时，由于采集得到的图像的动态范围不足而导致在某些区域内图像细节不足，甚至某些区域内图像没有细节，这样就大大影响了重建之后的物体三维形状的准确率。然而，目前许多科学研究仍然主要专注于聚焦因子对物体三维形状重建准确率的影响，却忽略了原始图像在动态范围方面的质量对物体三维形状重建结果的影响。

为了克服所得到图像中动态范围不足因素的影响，高动态范围成像技术被提出。利用高动态范围成像技术可以得到高动态范围图像(High-Dynamic Range，简称HDR)。通过标定，对于同一个场景的不同曝光时间的图像进行融合，可得到该场景的32位的高动态范围光照谱。这些32位的光照谱图像能够准确、真实地反映场景中的动态范围，然后通过局部色调映射将这些32位的光照谱图像映射到8位的普通图像，从而便于传统显示设备显示和保存这些8位的普通图像。但是，由于高动态范围成像技术的高计算复杂度，目前市面上的显微3D重建方法在实现此技术方面仍然存在局限性。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种基于3D数字显微成像系统的高动态范围图像成像方法。该高动态范围图像成像方法能够解决现有图像成像方法无法拍清高动态场景的缺陷，并且能够同时准确地生成待观测物体的三维立体形状，从而为观测者提供全方位的3D立体视觉享受。

本发明解决上述技术问题所采用的技术方案为：基于3D数字显微成像系统的高动态范围图像成像方法，其特征在于，包括如下步骤：

步骤1，针对显微镜载物台上的待观测物体，通过调节载物台的高度，并利用相机获取自待观测物体底部到待观测物体顶部的每个层面的高动态多聚焦图像，以获得三维立体成像所需的原始高动态多聚焦序列图像；

步骤2，采用相位匹配方法对所得原始高动态多聚焦序列图像进行配准，以使得所述原始高动态多聚焦序列图像中前后相连的图像对的空间位置、缩放尺度和图像尺寸对应一致，从而得到配准好的高动态多聚焦序列图像；

步骤3，针对配准好的高动态多聚焦序列图像，采用背景累积的前景背景分割方法提取需要生成三维立体的观测样本区域；

步骤4，对所述观测样本区域采用四叉树分割方法进行分割，且检测高动态多聚焦序列图像的每一幅图像中的清晰部分，并记录每一幅图像所对应的高度信息；

步骤5，对检测出来的各幅图像中的清晰部分进行融合，从而生成待观测物体的三维立体形状。

进一步地，所述步骤1中利用相机获取每个层面的高动态范围图像的过程包括：

(a)标定相机的相应曲线；(b)获取对于同一场景中不同曝光值的图像；(c)利用标定的相机的所述相应曲线，生成所述场景的32位的光照谱图；(d)利用局部色调映射将所述32位的光照谱图映射至8位的普通图像，并保存所述普通图像为计算机能够显示和储存的格式。

进一步地，在步骤1中，所述原始高动态多聚焦序列图像的获得过程包括：首先，通过移动载物台的高度，改变待观测物体与显微镜的物镜之间的距离，实现单目显微镜不同聚焦平面图像序列；其次，记录每一幅聚焦平面图像高度信息的要求；再次，对于每一幅聚焦平面图像进行聚焦检测，并记录所述每一幅聚焦平面图像中具有最大聚焦清晰度的像素点，以用于后续的三维立体形状重建。

具体地，在步骤2中，所述相位匹配方法对所得原始高动态多聚焦序列图像进行配准的过程包括：

首先，在所述原始高动态多聚聚序列图像中，针对每两幅前后相连的各图像对，将图像对中的各图像转换为灰度图像，从而得到灰度图像对；

其次，采用复数带通滤波器从转换后的灰度图像对中提取出各个频段的相位信息；

再次，利用提取的所述相位信息，通过傅里叶变换实现所述灰度图像对在超像素层级上的移动，以保证前后相连两幅图像的位置的一致性；

最后，对于原始高动态多聚焦序列图像中的每一组图像对，重复该过程，直到高动态多聚焦图像序列中所有图像的缩放尺度和位移保持一致。

具体地，所述步骤4中采用四叉树分割方法分割观测样本区域的过程包括：

首先，将原始高动态多聚焦序列图像作为四叉树根的一层输入到四叉树中；

其次，设定图像分解条件，并根据四叉树中的各层图像是否满足分解条件进行处理：

如果对于一层图像满足所述的图像分解条件，则对这层图像进行四叉分解，并输入到四叉树的下一层；依次类推，直到图像序列被分解所得的最小图像块都不满足所述的图像分解条件，则结束四叉树分解过程；其中，设定的图像分解条件为：

对于四叉树中图像序列中每一层被分解的图像块分别计算其聚焦因子最大差异值MDFM和梯度差异值SMDG；其中，聚焦因子最大差异值MDFM和梯度差异值SMDG的计算公式分别如下：

MDFM＝FM_max-FM_min；

其中，FM_max表示焦距测量的最大值，FM_min表示焦距测量的最小值；grad_max(x,y)表示最大梯度值，grad_min(x,y)表示最小梯度值；

针对四叉树中的一层图像块，如果满足MDFM≥0.98×SMDG，表面该层图像序列中存在完全聚焦的图像块，则该层图像块将不会继续向下分解；反之，该层图像块将会继续分解下去，直到四叉树中所有图像都被分解到无法分解的子图像块。

具体地，所述焦距测量的最大值FM_max、焦距测量的最小值FM_min的获取过程为：

首先，计算四叉树根的一层图像中每一个像素的梯度矩阵，计算公式为：

GM_i＝gradient(I_i),i＝1,2,…,n；

其中，I_i为第i个原始高动态多聚焦图像，GM_i为与I_i相对应的梯度矩阵；n为原始高动态多聚焦序列图像中的图像总个数；

其次，找到这一层图像每一点的所有梯度矩阵中最大的梯度矩阵以及最小的梯度矩阵，公式如下：

GM_max＝max(GM_i(x,y)),i＝1,2,…,n；

GM_min＝min(GM_i(x,y)),i＝1,2,…,n；

再次，计算这一层图像所有点的梯度矩阵之和，计算公式如下：

FM_i＝Σ_xΣ_ygrad_i(x,y),i＝1,2,…,n；

最后，分别找到上述梯度矩阵之和的最大值和最小值，计算公式如下：

FM_max＝max{FM_i},i＝1,2,…,n；

FM_min＝min{FM_i},i＝1,2,…,n。

具体地，所述步骤5中针对各幅图像的清晰部分进行融合的过程包括：针对所得所有的清晰部分作为清晰的子图像块，分别记录其高度信息，并将所有的清晰的子图像块融合成一幅完整的观测样本的三维立体图像。

改进地，所述步骤5中还包括：采用中值滤波方法对生成的三维立体形状进行滤波，以消除三维立体形状因采样频率不足而引起的锯齿效果，从而使得生成的三维立体形成更加平滑。

与现有技术相比，本发明的优点在于：

首先，本发明所提供的高动态范围图像成像方法采用了高动态范围成像、三维立体成像和多景深图像融合技术，同时获取同一场景的不同曝光时间的图像序列，生成场景的32位的光照谱图，然后将32位的光照谱图利用局部色调映射至8位的普通图像，并保存成计算机能够显示、存储的生成高动态范围视频格式，利用色调映射技术，实时显示和传输高动态范围显微视频，便于观测者实时动态观看待观测物体；

其次，由于高动态范围视频技术的应用涉及到的计算复杂度较高，本发明采用相位匹配、四叉树分割等方法，能够实时处理视频信号，生成实时显微视频显示，从而降低了计算复杂度；

再次，本发明中的高动态范围图像成像方法可以实时高清地观察待观测物体，克服了目前图像成像技术对高对比度样本无法同时看清反光和不反光区域的缺陷；

最后，本发明的高动态范围图像成像方法能够获得由焦点各异的图像合成的完全对焦图像；在处理焦点各异的图像过程中，通过自动获取图像中点的深度，从而恢复出图像表面上点的三维坐标，为新兴材料质量检测提供强有力的辅助保障。

附图说明

图1为本发明实施例一中基于3D数字显微成像系统的高动态范围图像成像方法流程示意图；

图2为本发明实施例一中3D数字显微成像系统的示意图；

图3为实施例一中金属螺钉所对应的原始高动态多聚焦序列图像；

图4为实施例一中所获取的金属螺钉的高动态范围图像与普通自动曝光图像对比图；其中，左侧一列为对应的高动态范围图像，右侧一列为对应的普通自动曝光图像；

图5为实施例一中提取前景图像的示意图；

图6a为实施例一中使用高动态范围图像生成的没有图像纹理映射的3D立体图像；

图6b为实施例一中使用高动态范围图像生成的有图像纹理映射的3D立体图像；

图6c为实施例一中使用原始自动曝光图像生成的没有图像纹理映射的3D立体图像；

图6d为实施例一中使用原始自动曝光图像生成的有图像纹理映射的3D立体图像；

图6e为实施例一中没有图像纹理映射的3D立体图像的真值图；

图6f为实施例一中有图像纹理映射的3D立体图像的真值图；

图7a为实施例二中使用高动态范围图像生成的没有图像纹理映射的3D立体图像；

图7b为实施例二中使用高动态范围图像生成的有图像纹理映射的3D立体图像；

图7c为实施例二中使用原始自动曝光图像生成的没有图像纹理映射的3D立体图像；

图7d为实施例二中使用原始自动曝光图像生成的有图像纹理映射的3D立体图像；

图7e为实施例二中没有图像纹理映射的3D立体图像的真值图；

图7f为实施例二中有图像纹理映射的3D立体图像的真值图；

图8为实施例二中利用高动态范围图像生成3D立体形状方法以及没有使用高动态范围图像的平方根误差对比图；

图9a为实施例三中使用高动态范围图像生成的没有图像纹理映射的3D立体图像；

图9b为实施例三中使用高动态范围图像生成的有图像纹理映射的3D立体图像；

图9c为实施例三中使用原始自动曝光图像生成的没有图像纹理映射的3D立体图像；

图9d为实施例三中使用原始自动曝光图像生成的有图像纹理映射的3D立体图像；

图9e为实施例三中没有图像纹理映射的3D立体图像的真值图；

图9f为实施例三中有图像纹理映射的3D立体图像的真值图；

图10为高动态范围图像生成3D立体形状方法以及原始自动曝光图像生成3D立体形状方法所生成3D立体图像对应的平方根误差对比图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

实施例一

如图2所示，本实施例一中所采用的3D数字显微成像系统包括有传统光学显微镜、能够在X轴、Y轴和Z轴的任意方向上移动的自动载物台、CMOS相机和计算机。其中，本实施例一中的待观测物体为金属螺钉，金属螺钉放置在自动载物台上。参见图1中所示，本实施例一中基于3D数字显微成像系统的高动态范围图像成像方法包括如下步骤：

步骤1，针对显微镜载物台上的待观测物体，即金属螺钉，通过调节载物台的高度，使得CMOS相机聚焦在待观测物体的每个层面上，也就是金属螺钉的每个层面上，并利用相机获取自金属螺钉底部到金属螺钉顶部的每个层面的高动态多聚焦图像，以获得三维立体成像所需的原始高动态多聚焦序列图像；针对金属螺钉的原始高动态多聚焦序列图像参见图3所示；其中，获取待观测物体的高动态多聚焦图像过程包括了高动态范围图像获取和多聚焦图像获取两个过程；具体地，获取待观测物体每个层面的高动态范围图像的过程包括：

(a)标定相机的相应曲线；(b)获取对于同一场景中不同曝光值的图像；(c)利用标定的相机的相应曲线，生成场景的32位的光照谱图；(d)利用局部色调映射，将32位的光照谱图映射至8位的普通图像，并保存普通图像为计算机能够显示和储存的格式。金属螺钉所对应的每层的高动态范围图像参见图4中的左侧一列所示；

步骤2，采用相位匹配方法对所得原始高动态多聚焦序列图像进行配准，以使得原始高动态多聚焦序列图像中前后相连的图像对的空间位置、缩放尺度和图像尺寸对应一致，从而得到配准好的高动态多聚焦序列图像；其中，相位匹配方法对所得原始高动态多聚焦序列图像进行配准的过程包括：

首先，在原始高动态多聚聚序列图像中，针对每两幅前后相连的各图像对，将图像对中的各图像转换为灰度图像，从而得到灰度图像对；

其次，采用复数带通滤波器从转换后的灰度图像对中提取出各个频段的相位信息；

再次，利用提取的相位信息，通过傅里叶变换实现灰度图像对在超像素层级上的移动，以保证前后相连两幅图像的位置的一致性；

最后，对于原始高动态多聚焦序列图像中的每一组图像对，重复该过程，直到高动态多聚焦图像序列中所有图像的缩放尺度和位移保持一致。

步骤3，针对配准好的高动态多聚焦序列图像，采用背景累积的前景背景分割方法提取需要生成三维立体的观测样本区域；参见图5所示，即利用帧间差分，将金属螺钉对应的背景提取出来，然后进行阈值分割，从而得到前景图像；

步骤4，对观测样本区域采用四叉树分割方法进行分割，且检测高动态多聚焦序列图像的每一幅图像中的清晰部分，并记录每一幅图像所对应的高度信息；其中，

针对本实施例一中的四叉树分割方法说明如下：

首先，将原始高动态多聚焦序列图像作为四叉树根的一层输入到四叉树中；

其次，设定图像分解条件，并根据四叉树中的各层图像是否满足分解条件进行处理：

如果对于一层图像满足该图像分解条件，则对这层图像进行四叉分解，并输入到四叉树的下一层；依次类推，直到图像序列被分解所得的最小图像块都不满足图像分解条件，则结束四叉树分解过程；其中，针对图像分解条件说明如下：

对于四叉树中图像序列中每一层被分解的图像块分别计算其聚焦因子最大差异值MDFM和梯度差异值SMDG；其中，聚焦因子最大差异值MDFM和梯度差异值SMDG的计算公式分别如下：

MDFM＝FM_max-FM_min；

其中，FM_max表示焦距测量的最大值，FM_min表示焦距测量的最小值；grad_max(x,y)表示最大梯度值，grad_min(x,y)表示最小梯度值；针对焦距测量的最大值FM_max、焦距测量的最小值FM_min的计算情况为：

首先，计算四叉树根的一层图像中每一个像素的梯度矩阵，计算公式为：

GM_i＝gradient(I_i),i＝1,2,…,n；

其中，I_i为第i个原始高动态多聚焦图像，GM_i为与I_i相对应的梯度矩阵；n为原始高动态多聚焦序列图像中的图像总个数；

其次，找到这一层图像每一点的所有梯度矩阵中最大的梯度矩阵以及最小的梯度矩阵，公式如下：

GM_max＝max(GM_i(x,y)),i＝1,2,…,n；

GM_min＝min(GM_i(x,y)),i＝1,2,…,n；

再次，计算这一层图像所有点的梯度矩阵之和，计算公式如下：

FM_i＝Σ_x∑_ygrad_i(x,y),i＝1,2,…,n；

最后，分别找到上述梯度矩阵之和的最大值和最小值，计算公式如下：

FM_max＝max{FM_i},i＝1,2,…,n；FM_min＝min{FM_i},i＝1,2,…,n。

针对检测高动态多聚焦序列图像的每一幅图像中的清晰部分过程说明如下：

对于四叉树中每一个图像块序列，找到图像块序列中梯度矩阵最大的一个图像块，并记录该具有最大梯度矩阵的图像块在图像序列的位置和其高度信息；

i＝1,2,…,n；其中，fm_i(x,y)表示图像序列中第i张图像的梯度矩阵。

步骤5，对检测出来的各幅图像中的清晰部分进行融合，从而生成待观测物体的三维立体形状，也就是金属螺钉的三维立体图像；其中，设定金属螺钉对应的三维立体图像标记为Z：

Z(x,y)＝z_i(x,y)，z_i(x,y)表示图像序列中第i张的清晰的图像块。

为了将传统使用原始自动曝光图像生成3D立体形状方法与本发明中使用高动态范围图像生成3D立体形状方法进行比较，本实施例一给出了金属螺钉分别利用上述两种3D立体形状方法所生成立体图像对应的比较图，具体参见图6中所示。在本发明中，将使用原始自动曝光图像技术记为Normal SFF，将使用高动态范围图像技术记为HDR-SFF。其中：

为了对比上述两种3D立体形状生成方法的准确率，本发明实施例一通过引入平方根误差，以衡量两种3D立体形状生成方法在相同条件下，与真值之间的差距：

其中，G_T(i,j)表示真值，Z(i,j)表示Normal>

表1给出了两种3D立体形状生成方法在使用22种不同的聚焦因子，对应得到的平方根误差。通过对比表1中的结果可以看出，针对同一个聚焦因子，采用高动态范围图像生成的3D立体形状对应的聚焦因子平方根误差值要小于没有采用高动态范围图像生成的3D立体形状对应的聚焦因子平方根误差值。表1中的结果表明，使用本发明中高动态范围图像生成的3D立体形状比没有使用高动态范围图像生成的3D立体形状要更加准确。

表1

实施例二

本实施例二中采用一种塑料材料的银行卡作为待观测物体，银行卡上具有一个小写英文字母“d”。其中，针对该银行卡所生成其三维立体图像的步骤与实施例一中金属螺钉三维立体图像的生成步骤相同，此处不再赘述。

在本实施例二中，为了验证本发明中高动态范围图像成像方法的准确性和鲁棒性，本实施例二给出了该银行卡所生成对应的高动态范围图像，具体参见图7a～图7f所示。图8为针对本实施例二中的银行卡，利用高动态范围图像生成3D立体形状方法以及没有使用高动态范围图像的平方根误差对比图。

由图8可以看出，针对同一个聚焦因子，采用高动态范围图像生成的3D立体形状对应的聚焦因子平方根误差值要小于没有采用高动态范围图像生成的3D立体形状对应的聚焦因子平方根误差值。可见，使用本发明中高动态范围图像生成的3D立体形状比没有使用高动态范围图像生成的3D立体形状要更加准确。

实施例三

本实施例三中采用金属芯片作为待观测物体。其中，针对该金属芯片所生成其三维立体图像的步骤与实施例一中金属螺钉三维立体图像的生成步骤相同，此处不再赘述。

图10为高动态范围图像生成3D立体形状方法以及原始自动曝光图像生成3D立体形状方法所生成3D立体图像对应的平方根误差对比图。

由图10可以看出，针对同一个聚焦因子，采用高动态范围图像生成的3D立体形状对应的聚焦因子平方根误差值要小于没有采用高动态范围图像生成的3D立体形状对应的聚焦因子平方根误差值。可见，使用本发明中高动态范围图像生成的3D立体形状比没有使用高动态范围图像生成的3D立体形状要更加准确。