一种基于插值的光子计数非视域三维成像超分辨方法

摘要

本发明公开了一种基于插值的光子计数非视域三维成像超分辨方法。该方法包括以下两个步骤：步骤一：对低分辨率的采集数据选择合适的插值方法，完成数据插值，得到更新的采集数据；步骤二：根据非视域重建算法对更新后的采集数据进行反演重建，得到更高分辨率的三维图像；该方法可以有效地解决基于光子计数技术的非视域成像系统在进行高分辨率、高帧率成像时需要大量累积时间的问题。

说明书

技术领域

本发明涉及光电成像技术领域，特别涉及非视域成像领域，具体地说是一种基于插值的光子计数非视域三维成像超分辨方法。

背景技术

随着单光子探测技术的快速发展，利用时间相关光子计数(Time-correlatedSingle photoncounting,TCSPC)技术对非视域(Non-line-of-sight,NLOS)目标进行三维成像在近十年得到了快速的发展。相比于传统的光电探测手段，光子计数技术可探测的光电流强度比光电探测器本身在室温下的热噪声水平还要低(10

式中，K代表扫描过程中单像素上的累积脉冲数，PRF代表脉冲激光器的重复频率，S代表成像帧率(单位：帧/秒)，M×M代表成像分辨率，也即采样点数。

由此可见，为了保证单个像素具有足够的回波光子(即足够的累积脉冲数)，且需要保证较高的成像分辨率，就要极大降低成像帧率(即单帧图像的成像时间大大加长)。例如文献Lindell D B,Wetzstein G,O'Toole M.Wave-based non-line-of-sight imagingusing fast f-k migration[J].ACM Transactions on Graphics(TOG),2019,38(4):1-13.，Lindell D B等人开发的成像系统在室内暗环境下展示了较低分辨率下的实时成像(64×64/2Hz；32×32/4Hz)，然而为了对室外场景中的目标进行128×128的三维成像，需要花费50分钟采集数据，其原因在于：一、作为一种极弱光成像，室外环境中极强的背景噪声严重降低了信噪比，因此每个像素就需要大量的累计脉冲来提高回波信号的信噪比；二、高分辨率的成像意味着采样点数的急剧增加，也即总的数据采集时间增加，其他类似典型案如文献O'Toole M,Lindell D B,Wetzstein G.Confocal non-line-of-sight imagingbased on the light-cone transform[J].Nature,2018,555(7696):338-341与Liu X,Guillen I,La Manna M,et al.Non-line-of-sight imaging using phasor-fieldvirtual wave optics[J].Nature,2019,572(7771):620-623.。

针对这一问题，一种很好的解决方案采用面阵式单光子探测器，即通过一个尺寸为M×M的探测器阵列，通过一次照射，而不需要耗时长久的扫描过程，可以获得同样的成像分辨率。在已有的工作中，文献Nam J H,Brandt E,Bauer S,et al.Real-time Non-line-of-Sight imaging of dynamic scenes[J].arXiv preprint arXiv:2010.12737,2020.采用16×1的阵列探测器，辅以特殊的扫描方式，实现了实时级的非视域成像。然而受限于大尺寸阵列探测器的制造工艺和成本，采用这种方案进行高分辨率、高帧率的非视域成像技术还有很大的困难。

发明内容

本发明的目的是提供光子计数非视域三维成像超分辨方法，以解决基于单点式单光子探测器的非视域成像系统在进行高分辨率、高帧率成像时需要大量累积时间的问题。主要操作过程为在成像系统完成数据采集之后，对采集的三维数据进行一倍或多倍插值，即通过插值计算来替代系统的部分采样过程，再使用反演算法对插值后的数据进行解析，完成对目标的高分辨率重构。

本发明的技术解决方案是提供一种光子计数非视域三维成像超分辨方法，其特殊之处在于，包括以下步骤：

步骤一、对由成像系统采集的尺寸为M×M×t的原始回波光子分布数据进行插值，得到尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的回波光子分布数据；其中M×M表示数据采样点，t表示时间，N为插值次数；

步骤二、将尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的回波光子分布数据作为三维重建算法的输入，得到更高分辨率的三维像。

进一步地，所述步骤一可采用最邻近插值算法，具体为：

步骤1.1、对由成像系统采集的尺寸为M×M×t的原始回波光子分布数据，选择其中任意一个四邻域采样点，所对应的回波光子分布数据分别记为：

步骤1.2、对四邻域采样点内部进行N次插值，原四邻域采样点对应的尺寸为2×2×t的回波光子分布数据经插值后得到新的尺寸为(2+N)×(2+N)×t的回波光子分布数据；根据最邻近插值原理，以距离插值点最近的采样点为依据进行赋值；记新的尺寸为(2+N)×(2+N)×t的回波光子分布数据中第i行、第j列的插值数据为

步骤1.3、遍历尺寸为M×M×t的原始回波光子分布数据中所有的四邻域采样点，完成对整个采集数据的插值，得到尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的回波光子分布数据。

进一步地，步骤一还可以采用双线性插值算法，具体为：

步骤1.1、对由成像系统采集的尺寸为M×M×t的原始回波光子分布数据，选择其中任意一个四邻域采样点，所对应的回波光子分布数据分别记为：

步骤1.2、对四邻域采样点内部进行N次插值，原四邻域采样点对应的尺寸为2×2×t的回波光子分布数据经插值后得到新的尺寸为(2+N)×(2+N)×t的回波光子分布数据；根据双线性插值原理，根据四个邻域采样点到插值点的距离不同，赋予不同的权重，对四个邻域采样点对应的回波光子分布数据加权平均得到插值点对应的回波光子分布数据；记新的尺寸为(2+N)×(2+N)×t的回波光子分布数据中第i行、第j列的插值数据为

步骤1.3、遍历尺寸为M×M×t的原始回波光子分布数据中所有的四邻域采样点，完成对整个采集数据的插值，得到尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的回波光子分布数据。

进一步地，步骤一还可以采用双三次插值算法，具体为：

步骤1.1、选取BiCubic基函数以描述十六邻域内各采样数据的权重系数，其中BiCubic基函数形式如下：

式中，a＝-0.5；

步骤1.2、对由成像系统采集的尺寸为M×M×t的原始回波光子分布数据，选择其中任意一个四邻域采样点，所对应的回波光子分布数据分别记为：

步骤1.3、对四邻域采样点内部进行N次插值，原四邻域采样点对应的尺寸为2×2×t的回波光子分布数据经插值后得到新的尺寸为(2+N)×(2+N)×t的回波光子分布数据；根据双三次插值原理，根据十六个邻域采样点(4×4)到插值点的距离不同，赋予不同的权重，对十六邻域采样点对应的回波光子分布数据加权平均得到插值点数据；记新的尺寸为(2+N)×(2+N)×t的回波光子分布数据中第i行、第j列的插值数据为

其中m为I-1至I+2的整数，n为J-1至J+2的整数；

对位于边界上的四邻域采样点，在进行三线性插值时会出现参考采样点数不足的情况，此时对4×4参考点中缺失的采样点赋值为零；

步骤1.4、遍历尺寸为M×M×t的原始回波光子分布数据中所有的四邻域采样点，完成对整个采集数据的插值，得到尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的回波光子分布数据。

进一步地，步骤二中，三维重建算法可以采用频率-波数(f-k)偏移算法、光锥变换(LCT)算法、滤波反投影(FBP)算法等。

本发明的有益效果是：

1、本发明所公开的光子计数非视域三维成像超分辨方法，能够有效地解决非视域成像过程中的成像时间和成像分辨率难以平衡的问题，在高分辨率成像场景具有更加显著的效果；

2、在需求趋向于成像实时性的场合，可以通过减少成像系统的采样点(降低成像时间)，以本发明所述的方法对采集数据进行插值，能够在不明显降低成像质量的前提下，获得较高分辨率的成像效果；

3、在需求趋向于成像分辨率的场合，以本发明所述的方法对采集数据进行插值，能够获得更高的成像分辨率；同理也有助于采用阵列探测器的成像系统提升分辨率。

附图说明

图1为光子计数非视域三维成像技术的像素插值原理示意图；

图2为实施例一中基于最邻近插值方法的原理示意图；其中(a)表示的是从原始采集数据M×M×t中任意选出的四邻域采样点，(b)表示的是以该四个采样点为样本、采用最邻近插值原理对该四邻域内部进行插值，其中大圆斑点表示系统采样点，小圆斑点表示插值点；

图3为实施例二中基于双线性插值方法的原理示意图；其中(a)表示的是从原始采集数据M×M×t中任意选出的四邻域采样点，(b)表示的是以该四个采样点为样本、采用双线性插值原理对该四邻域内部进行插值，其中大圆斑点表示系统采样点，小圆斑点表示插值点；

图4为实施例三中基于双三次插值方法的原理示意图；其中(a)表示的是从原始采集数据M×M×t中任意选出的十六邻域采样点，(b)表示的是以该十六个采样点为样本、采用最双三次插值原理对该四邻域内部进行插值，其中大圆斑点表示系统采样点，小圆斑点表示插值点；

图5是本发明实施例应用效果的三维仿真示意图；其中，(a)是对一个三维兔子进行32×32分辨率成像的结果，成像时间为60s；(b)至(d)依次是采用最邻近插值、双线性插值、双三次插值对(a)的数据进行单插值(N＝1)得到的63×63的三维图像；(e)是由成像系统直接采集63×63的三维成像，该图像的成像时间约为240s；

图6是本发明实施例应用效果的量化展示；(a)至(e)分别是图5中(a)至(e)所对应的正视图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图对本发明所提供的方法做进一步的描述。

本发明提供一种基于插值的光子计数非视域三维成像超分辨方法，如图1所示，相比传统的数据采集——解析重建，本发明在数据获取之后、解析重构之前增加了对采集数据的插值过程，能够在不明显降低成像质量的前提下，有效的增加成像分辨率。所述基于插值的光子计数非视域三维成像超分辨方法，包括：

步骤一：对由成像系统采集的三维回波光子分布数据进行插值；

步骤二：将插值后的数据作为重建算法的输入，得到更高分辨率的三维像。

光子计数非视域成像所获取的回波光子分布数据是一个形如M×M×t的三维矩阵，M×M表示数据采样点(也即成像分辨率)，t表示时间。每一个数据采样点的回波光子分布数据表示了光子飞行时间以及对应的回波光子数。在非视域成像过程中，每个采样点的回波光子分布数据都携带了目标大部分的三维几何信息，因此通过领域采样点的信息进行数据插值可以很有效地实现分辨率的提升。

实施例一

本实施例中，像素插值方法采用最邻近插值算法，结合图2说明，其具体步骤如下：

步骤1：如图2中(a)所示，对原始回波光子分布数据M×M×t，选择其中任意一个四邻域采样点，所对应的回波光子分布数据分别记为：

步骤2：如图2中(b)所示，对四邻域采样点内部进行N次插值，原四邻域采样点对应的尺寸为2×2×t的回波光子分布数据经插值后得到新的尺寸为(2+N)×(2+N)×t的回波光子分布数据。根据最邻近插值原理，以距离插值点最近的采样点为依据进行赋值，记(2+N)×(2+N)×t中第i行、第j列的回波光子分布数据为

步骤3：遍历采集数据M×M×t中所有的四邻域采样点，完成对整个采集数据的插值，原尺寸为M×M×t的采样数据得到尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的新数据。

将插值后的数据作为重建算法的输入，得到更高分辨率的三维成像，三维重建算法可以采用频率-波数(f-k)偏移算法、光锥变换(LCT)算法、滤波反投影(FBP)算法等。

实施例二

本实施例中，像素插值方法采用双线性插值算法，结合图3说明，其具体步骤如下：

步骤1：如图3中(a)所示，对原始回波光子分布数据M×M×t，选择其中任意一个四邻域采样点，所对应的回波光子分布数据分别记为：

步骤2：如图3中(b)所示，对四邻域采样点内部进行N次插值，即原四邻域采样点对应的尺寸为2×2×t的回波光子分布数据经插值后得到新的尺寸为(2+N)×(2+N)×t的回波光子分布数据。根据双线性插值原理，根据四个邻域采样点到插值点的距离不同，赋予不同的权重，对四个邻域采样点对应的回波光子分布数据加权平均得到插值点对应的回波光子分布数据。记(2+N)×(2+N)×t中第i行、第j列的回波光子分布数据为

步骤3：遍历采集数据M×M×t中所有的四邻域，完成对整个采集数据的插值，原尺寸为M×M×t的采样数据得到尺寸为[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的新数据。

将插值后的数据作为重建算法的输入，得到更高分辨率的三维成像，三维重建算法可以采用频率-波数(f-k)偏移算法、光锥变换(LCT)算法、滤波反投影(FBP)算法等。

实施例三

本实施例中，像素插值方法采用双三次插值算法，结合图4说明，其具体步骤如下：

步骤1：定义BiCubic基函数以描述十六邻域内各采样点的权重系数，形式如下：

式中，a＝-0.5；

步骤2：如图4中(a)，对原始回波光子分布数据M×M×t，选择其中任意一个四邻域采样点，所对应的回波光子分布数据分别记为：

步骤3：如图4中(b)，对四邻域采样点内部进行N次插值，即原四邻域采样点对应的尺寸为2×2×t的回波光子分布数据经插值后得到新的尺寸为(2+N)×(2+N)×t的回波光子分布数据。根据双三次插值原理，根据十六个邻域采样点到插值点的距离不同，赋予不同的权重，对十六邻域采样点对应的回波光子分布数据加权平均得到插值点数据。记(2+N)×(2+N)×t中第i行、第j列的回波光子分布数据为

其中m为I-1至I+2的整数，n为J-1至J+2的整数；

特别地，对位于边界上的四邻域采样点，在进行三线性插值时会出现参考采样点数不足的情况，此时对4×4参考点中缺失的采样点赋值为零。

步骤4：遍历采集数据M×M×t中所有的四邻域，完成对整个采集数据的插值，由原采样数据M×M×t得到一个[(M-1)×(N+1)+1]×[(M-1)×(N+1)+1]×t的数据。

将插值后的数据作为重建算法的输入，得到更高分辨率的三维成像，三维重建算法可以采用频率-波数(f-k)偏移算法、光锥变换(LCT)算法、滤波反投影(FBP)算法等。

本发明利用三维仿真对上述实施例效果进行了验证，如图5所示，其中，(a)是对一个三维兔子进行32×32分辨率成像的结果，成像时间为60s；(b)至(d)依次是采用最邻近插值、双线性插值、双三次插值对(a)的数据进行单插值(N＝1)得到的63×63的三维图像；(e)是由成像系统直接采集63×63的三维成像，该图像的成像时间约为240s。图6是本发明实施例应用效果的量化展示，(a)至(e)分别是图5中(a)至(e)所对应的正视图，为了表征经本发明实施例插值后的成像效果，采用结构相似度(Structural Similarity，SSIM)和峰值信噪比(Peak signal-to-noise Ratio,PSNR)两种图像质量评价指标，对比由插值所得的63×63(图5中(b)-(d))与实际63×63(图5中(e))分辨率，结果如下表：

结合图5与图6可以看出，经过本发明所述的方法对原32×32分辨率图像进行超分辨获取的63×63(即5中(b)-(d))图像，与实际63×63(图5中(e))图像，SSIM均达到0.8以上，PSNR达到25dB以上，但是采集时间能够从240s缩短到60s。