一种基于光场显微系统的光场三维重建方法

摘要

一种基于光场显微系统的光场三维重建方法，包括如下步骤：A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；A3：根据微透镜分布对光场图像进行平移、裁剪与对齐；A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；A5：目标函数加入先验作为正则项，进行最大后验估计；A6：将多光场反向投影平均结果作为迭代初始值；A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体。本方法在深度方向上使得轴向分辨率与横向分辨率更一致，重建得到的三维体深度分辨率一致性明显增强。

说明书

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别是涉及一种基于光场显微系统的光场三维重建方法。

背景技术

光场显微镜是一种无需扫描即可快速三维体积成像的光学显微成像技术，其实现基于在光路中插入一张经过设计的微透镜阵列，通过同时采集角度信息与强度信息来进行体积成像。然而，光场显微镜的三维成像能力以牺牲横向分辨率为代价。为了提高空间分辨率，基于波动光学提出了一种光场反卷积算法，但是在重建得到的深度层内，横向分辨率的分布并不均匀，只在某些特定深度层上分辨率较好，而在其他深度层上分辨率较差，这使得轴向有效视场较小，制约了其在观测中对于大体积高深度样本的应用。引起这一情况的原因是采样密度随着深度而变化。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于光场显微系统的光场三维重建方法。

为实现上述目的，本发明采用以下技术方案：

一种基于光场显微系统的光场三维重建方法，包括如下步骤：

A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；

A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；

A3：根据微透镜分布对光场图像进行平移、裁剪与对齐；

A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；

A5：目标函数加入先验作为正则项，进行最大后验估计；

A6：将多光场反向投影平均结果作为迭代初始值；

A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体。

进一步地：

步骤A1中，将所述微透镜阵列与所述相机进行固定，并将所述相机沿轴向放置在电控平移台上。

步骤A2中，确定相机端扫描策略为：

D

其中D

步骤A2中，多图像采集过程中的采样间隔s、电控平移台移动速度v与相机帧率f满足：

v＝sf。

步骤A3中，对于分布均匀的微透镜阵列，根据连通域对单个微透镜进行划分得到中心微透镜与微透镜间距，以第一张光场图像作为基准对中心微透镜位置偏移量进行校准，并进行裁剪操作，使所有光场图像长宽一致并微透镜位置对齐。

步骤A4中，利用似然函数的KL散度作为损失函数：

k为光场数据对应编号，k＝1,2,…,N，共有N组，以k为下标代表不同组相对应的数据，H为系统的点扩散函数的矩阵表达式，f为实际采集到的光场显微图像，b为假设的散粒噪声，其服从泊松分布，g为需要求解的深度方向上分辨率深度一致性强的三维体。

步骤A5中，可加入的正则项包括但不限于L1、L2正则项与TV正则项，假设正则化项为f

其中λ为正则化系数。

步骤A7中，采用的梯度下降算法步长不固定，采用Richardson-Lucy算法，步长与前一次迭代结果相关。

步骤A7中，计算梯度：

根据梯度下降公式：

取

通过将三维反卷积算法运用到采集到的多张光场图片中，最后得到分辨率深度一致性更佳的重建三维体。

在一些实施例中，所述步骤A1中所搭建的系统中采集端的相机固定在电控平移台上。

在一些实施例中，所述步骤A2中使用特定的相机采集与相机移动匹配方式，使得采集光场数据符合参数设计；电控平移台与相机是同步进行的，以获得对应于设计值的光场图像。

在一些实施例中，所述步骤A3中对中心微透镜位置与微透镜阵列间隔进行定位，以进行裁剪、旋转与对齐操作。

在一些实施例中，所述步骤A4中成像过程只考虑散粒噪声的影响而忽略其他噪声(比如高斯噪声)的影响。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的方法的步骤A2至A7。

本发明的有益效果：

本发明提供了一种基于光场显微系统的光场三维重建方法，在光场显微系统中，基于采集端平移以得到多张光场图像和使用多图像三维反卷积模型对多光场图像进行反卷积，以实现深度方向上分辨率一致。在先前光场显微反卷积的基础上，相对于使用单张光场图像进行反卷积操作得到的三维体结果而言，本发明提出的方法可以有效克服单图像三维反卷积分辨率深度一致性差的缺陷，在深度方向上使得轴向分辨率与横向分辨率更一致，重建得到的三维体深度分辨率一致性明显增强，空间分辨率变化平缓，有效提高了光场显微镜观测大深度分布样本/厚样本的能力。

附图说明

图1为本发明一种实施例的基于光场显微系统的光场三维重建方法的流程图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明提供在光场显微领域基于采集端轴向扫描的光场显微装置进行光场三维重建方法：通过将微透镜阵列与相机固定沿轴向扫描，可以得到多张光场图像；基于成像模型，可根据泊松噪声特点将多图像光场三维重建问题转化为求解目标函数的最小化问题，进行迭代重建，最后加入正则项平滑。

本发明中，基于采集端轴向扫描以得到多张光场图像，使用多图像三维反卷积模型进行反卷积，以达到重建体分辨率深度一致性目标的系统设计与重建。设计相机端扫描策略，设定电控平移台与相机配合采集，利用多张光场图像与点扩散函数信息，使得深度方向上分辨率变化平缓，达到增强重建三维体深度一致性的目标。

参阅图1，一种基于光场显微系统的光场三维重建方法，提高分辨率深度一致性，所述光场三维重建方法包括如下步骤：

A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；

A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；

A3：根据微透镜分布对光场图像进行平移、裁剪与对齐；

A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；

A5：目标函数加入先验作为正则项，进行最大后验估计；

A6：将多光场反向投影平均结果作为迭代初始值；

A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体。

在具体的实施例中，可按下面的方式操作，但本发明所涵盖的范围不局限于所列举的这些方法。

A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机：

根据光场显微要求搭建4f系统，选择匹配的微透镜阵列与相机传感器，将二者进行固定，并将相机传感器沿轴向放置在电控平移台上。

A2：根据需求确定移动间隔，根据电控平移台移动速度，设定相机帧率，确定相机端扫描策略：

D

其中D

本系统基于光场显微基本结构搭建。为移动相机，将电控平移台与相机固定；为方便控制微透镜阵列与相机传感器的距离保持不变，可将微透镜阵列垫高粘在相机上。为了满足多图像采集过程中的采样间隔s，电控平移台移动速度v与相机帧率f满足：

v＝sf

电控平移台与相机隶属于不同控制端平台控制，因此需要通过统一标准化平台进行统一控制，设定采集开始时间与移动开始时间同步以确保采集精度。

A3：根据微透镜分布对光场图像进行平移、裁剪与对齐：

假设微透镜阵列分布均匀，且图像间偏移量较小，则根据连通域对单个微透镜进行划分得到中心微透镜与微透镜间距，以第一张光场图像作为基准对中心微透镜位置偏移量进行校准，并进行裁剪操作，使A3操作后所有光场图像长宽一致并微透镜位置对齐。

A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；

利用似然函数的KL散度作为损失函数：

其中，k为光场数据对应编号，k＝1,2,…,N，共有N组，以k为下标代表不同组相对应的数据。H为系统的点扩散函数的矩阵表达式，f为实际采集到的光场显微图像，b为假设的散粒噪声，其服从泊松分布，g为需要求解的深度方向上分辨率深度一致性强的三维体。

注意到第三项与g无关，因此优化目标为前两项。

A5：目标函数加入先验作为正则项，进行最大后验估计；

可加入的正则项包括L1、L2正则项与TV正则项，假设正则化项为f

其中λ为正则化参数，可以调节正则化效果。具体加入的正则化项与正则化参数可根据具体观测样本与情况来进行选择。

步骤A5中加入的先验概率，经过指数展开后可以看做是对于结果的正则化项，如L1、L2正则化项目、TV正则化项，分别对三维体进行不同效果的优化，相当于做了最大后验估计。

A6：将多光场反向投影平均结果作为迭代初始值：

使用多光场图像反向投影值作为迭代初始值，避免在迭代过程中由于初始值置零导致对应位置始终为零。

A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体：

计算梯度：

根据梯度下降公式：

取

如加入正则项，则迭代形式有相应变化。通过将三维反卷积算法运用到采集到的多张光场图片中，最后得到分辨率深度一致性更佳的重建三维体。

步骤A7中采用的梯度下降算法步长不固定，采取选择的步长，可以认为是Richardson-Lucy算法的多图像多点扩散函数扩展形式。采用Richardson-Lucy算法，采用的梯度下降算法步长不固定，与前一次的迭代结果相关。

根据本发明的思想，可以首先确定分辨率分布不均匀的原因，并基于原理与光场显微结构设计多张图像采集参数，并通过相机采集与电控平移台的匹配控制来采集数据；进一步地，可通过计算KL散度得到损失函数，使用反向投影作为初始值，扩展单图像重建方法，采用Richardson-Lucy算法进行三维反卷积操作，最终得到大深度下分辨率深度一致性高的三维体。在先前光场显微反卷积的基础上，相对于使用单张光场图像进行反卷积操作得到的三维体结果而言，本发明提出的方法可以有效克服单图像三维反卷积分辨率深度一致性差的缺陷，在深度方向上使得轴向分辨率与横向分辨率更一致，重建得到的三维体深度分辨率一致性明显增强，空间分辨率变化平缓，有效提高了光场显微镜观测大深度分布样本/厚样本的能力。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。