一种实现实时距离选通三维成像系统及成像方法

摘要

本发明公开了一种实现实时距离选通三维成像系统及方法，解决现有距离选通三维成像无法实现实时成像的问题。本发明中利用距离选通成像技术，在时序控制器输出的ABAB模式工作时序控制下，实现图像传感器、选通门和脉冲激光器的同步工作，获取空间感兴趣区的A-B型二维选通视频流，该视频流中A型帧和B型帧帧间相邻，利用相邻帧间的时空相关性，建立当前帧与上一帧图像空间交叠区像素灰度比与距离能量比的映射关系，通过当前帧与上一帧动态在线解调的方式，采用距离选通超分辨率三维成像算法重建二维选通图像中丢失的距离信息，实现实时三维成像。本发明适应性好，灵活性强，无需增加新的硬件成本。

说明书

技术领域

本发明属于三维成像技术领域，具体涉及一种实现实时距离选通三维 成像的方法。

背景技术

远距离、实时、高分辨率三维成像在智能监控、地形勘察、海事搜救、 航天器软着陆、交会对接、避障导航、反伪装侦察以及姿态无关图像制导 等领域具有迫切需求和广泛应用前景。传统的激光扫描雷达实时性差，而 目前新兴的闪光激光成像雷达(Flash LIDAR)空间分辨率低(像元数不 大于128×128)，均无法满足远距离、实时、高分辨率的应用需求。

距离选通三维成像是一种新型的三维成像技术，可获取高质量的二维 选通图像，并可在此基础上实现高分辨率三维成像，像素数(大于1000 ×1000)远高于闪光激光成像雷达，从而利于实现大视场、高分辨率的三 维重建，增强环境感知能力，易于发现目标。目前距离选通三维成像主要 有步进延时扫描三维成像、增益调制三维成像和超分辨率三维成像。步进 延时扫描三维成像是利用距离选通成像在距离向上小步长步进获取不同 距离下的选通图像，然后通过大量的选通图像反演出目标的距离；增益调 制三维成像是分别获取感兴趣区选通门增益为固定值及选通门增益线性 调制时的两幅选通图像，根据两幅图像间的距离增益变化引起能量变化反 演出目标距离信息；超分辨率三维成像则包括梯形包络超分辨率三维成像 和三角形包络超分辨率三维成像，两者都是通过激光脉冲和选通脉冲的卷 积作用获取两幅具有特定几何形状距离能量包络的选通图像，通过建立像 素灰度比与距离能量比的映射关系，反演获得目标的三维信息。对于步进 延时扫描三维成像，本质上仍是一种扫描机制的成像方法，欲获得高的距 离分辨率，需在较小的延时步进步长下获取目标大量的选通图像，然后处 理大量数据，因此，该方法实时性较差。增益调制三维成像和超分辨率三 维成像都是通过两幅图实现三维反演的，但是前者工作过程中，需要对选 通门的增益进行调制，因此，比较适合大景深三维成像，对于小景深成像， 由于选通门宽较小，则往往无法响应快速的增益调制，从而无法有效工作。 超分辨率三维成像则可以突破选通门宽的限制，实现距离向超分辨率成 像，因此，具有更大的应用潜力。但是，无论是增益调制三维成像还是超 分辨率三维成像，在实时三维成像方面，国内外目前还无相关报道。目前 还缺少实现实时距离选通三维成像的有效方法。能否实现实时距离选通三 维成像关系着距离选通三维成像技术的应用前景和技术生命力。

发明内容

针对上述现有技术存在的不足之处，本发明的主要目的在于提出一种 实现实时距离选通三维成像的帧间相关法，以达到实现实时距离选通三维 成像的目的。

为达到上述目的，本发明提供了一种实现实时距离选通三维成像的方 法，其包括：

步骤1、时序控制器产生ABAB模式工作时序，所述ABAB模式工作 时序包括分别触发图像传感器、脉冲激光器和选通门的三路时序控制信 号；

步骤2、在所述触发图像传感器时序控制信号的作用下，所述脉冲激 光器按照时序控制器产生的脉冲激光器时序控制信号发射激光脉冲，对目 标进行照明；所述选通门按照时序控制器产生的选通门时序控制信号开启 工作，生成选通脉冲，一个选通脉冲对应一个激光脉冲，构成脉冲对；所 述图像传感器按照时序控制器产生的图像传感器时序控制信号以给定的 曝光时间及帧频采集由脉冲对产生的目标回波信号，并输出图像；所输出 的图像构成A型帧和B型帧交替循环出现的二维图像序列；其中，形成 所述A型帧和B型帧的脉冲对内的激光脉冲和选通脉冲间的选通延时不 同；

步骤3、对所述二维图像序列，利用距离选通超分辨率三维成像算法 进行动态在线解调，每个当前帧与其上一帧解调后形成一帧三维图像，动 态输出形成的三维图像序列。

本发明还提供了一种实现实时距离选通三维成像的系统，其包括：

时序控制器，其产生ABAB模式工作时序，所述ABAB模式工作时 序包括分别触发图像传感器、脉冲激光器和选通门的三路时序控制信号；

脉冲激光器，在所述触发图像传感器时序控制信号的作用下，所述脉 冲激光器按照时序控制器产生的脉冲激光器时序控制信号发射激光脉冲， 对目标进行照明；

选通门，所述选通门按照时序控制器产生的选通门时序控制信号开启 工作，生成选通脉冲，一个选通脉冲对应一个激光脉冲，构成脉冲对；

图像传感器，所述图像传感器按照时序控制器产生的图像传感器时序 控制信号以给定的曝光时间及帧频采集由脉冲对产生的目标回波信号，并 输出图像；所输出的图像构成A型帧和B型帧交替循环出现的二维图像 序列；其中，形成所述A型帧和B型帧的脉冲对内的激光脉冲和选通脉 冲间的选通延时不同；

动态在线解调装置，其对所述二维图像序列，利用距离选通超分辨率 三维成像算法进行动态在线解调，每个当前帧与其上一帧解调后形成一帧 三维图像，动态输出形成的三维图像序列。

从上述技术方案可以看出，本发明具有以下有益效果：

1、利用本发明，由于考虑到距离选通超分辨率三维成像基于两幅图 像可实现三维成像的特点，通过设计ABAB模式工作时序产生A型帧和B 型帧交替循环出现的二维图像序列，所以，本发明实现了距离选通超分辨 率三维成像所需的空间交叠图像的动态实时获取。

2、利用本发明，由于利用相邻帧间的时空相关性采用距离选通超分 辨率三维成像算法动态在线解调，所以，可实现实时三维成像，输出的三 维图像的帧频与图像传感器的二维图像帧频一致。

3、利用本发明，由于基于距离选通三维成像技术采用帧间相关法实 现了实时三维成像，所以，本发明为远距离、实时、高分辨率三维成像提 供了新的技术手段，同时，有益于拓展距离选通三维成像新的应用领域， 发挥距离选通三维成像在动目标3D监控等方面的技术潜力。

附图说明

图1是本发明中实现实时距离选通三维成像系统的工作原理示意图： (a)为帧间相关法实现相邻帧间的动态在线解调，(b)为相邻帧间采用 的距离选通超分辨率三维成像解调算法；

图2为本发明中时序控制器产生的ABAB模式工作时序示意图；

图中主要元件符号说明：

1时序控制器，2脉冲激光器，3选通门，4图像传感器，5激光脉冲， 6选通脉冲。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明作进一步的详细说明。

在此公开本发明结构实施例和方法的描述。可以了解的是并不意图将 本发明限制在特定公开的实施例中，而是本发明可以通过使用其它特征， 元件方法和实施例来加以实施。不同实施例中的相似元件通常会标示相似 的号码。

图1示出了本发明中实现实时距离选通三维成像系统的工作原理示意 图。参见图1，本发明公开了一种实现实时距离选通三维成像的方法，其 包括：

步骤1、时序控制器1产生ABAB模式工作时序，所述ABAB模式工 作时序包括分别触发图像传感器4、脉冲激光器2和选通门3的三路时序 控制信号；

步骤2、在所述触发图像传感器时序控制信号的作用下，所述图像传 感器按照时序控制器产生的图像传感器时序控制信号以给定的曝光时间 及帧频采集由脉冲对产生的目标回波信号，实现每帧M个脉冲对产生的 目标回波信号的积累，输出图像，M≥1；所述脉冲激光器按照时序控制 器产生的脉冲激光器时序控制信号发射激光脉冲，对目标进行照明，在图 像传感器每帧曝光时间里含M个激光脉冲；所述选通门按照时序控制器 产生的选通门时序控制信号开启工作，生成选通脉冲，每个选通脉冲对应 一个激光脉冲，相应的在图像传感器每帧曝光时间里形成M个脉冲对， 对于图像传感器相邻帧间脉冲对内的激光脉冲和选通脉冲具有不同的选 通延时，即如果当前帧内脉冲对的选通延时为τ_A，则当前帧为A型帧，上 一帧的选通延时则为τ_B，对应B型帧，下一帧的选通延时也为τ_B，对应B 型帧，如果当前帧内脉冲对的选通延时为τ_B，则当前帧为B型帧，相应地， 上一帧和下一帧均为A型帧，从而图像传感器输出的图像具有A型帧和B 型帧交替循环出现的A-B型二维选通视频流；所述A-B型二维选通视频 流为通过匹配激光脉冲和选通脉冲间的选通延时，并以图像传感器的帧周 期为单位输出的A型帧和B型帧交替循环出现的二维图像序列，其中A 型帧内M个脉冲对的选通延时均为τ_A，B型帧内的M个脉冲对的选通延 时均为τ_B；

步骤3、对所述A-B型二维选通视频流，利用距离选通超分辨率三维 成像算法进行动态在线解调，每个当前帧与其上一帧解调后形成一帧三维 图像，动态输出形成的三维图像序列。动态在线解调原理及过程为，在 ABAB模式工作时序下，若图像传感器4输出的当前帧为A型帧，则上一 帧必然为B型帧，若当前帧为B型帧，则上一帧必然为A型帧，因此， 工作过程中，当前帧与上一帧必然可采用距离选通超分辨率三维成像算法 进行三维反演解调，实现每个当前帧与每个上一帧的动态式解调。当A-B 型二维选通视频流中的选通图像的距离能量包络为梯形时，应采用梯形距 离选通超分辨率三维成像算法进行三维反演解调；当A-B型二维选通视频 流中的选通图像的距离能量包络为三角形时，应采用三角形距离选通超分 辨率三维成像算法进行三维反演解调。在工作过程中，采用当前帧与上一 帧进行动态在线解调后，输出的三维图像的帧频与图像传感器4的帧频一 致，达到实时三维成像的效果。

在该方法中，利用距离选通成像技术，在时序控制器1输出的ABAB 模式工作时序控制下，实现图像传感器4、脉冲激光器2和选通门3的同 步工作，获取空间感兴趣区的A-B型二维选通视频流，如图1(a)所示， 该视频流中A型帧和B型帧帧间相邻，利用相邻帧间的时空相关性，建立 当前帧与上一帧图像空间交叠区像素灰度比与距离能量比的映射关系，通 过当前帧与上一帧动态在线解调的方式，采用距离选通超分辨率三维成像 算法重建二维选通图像中丢失的距离信息，如图1(b)所示，解调输出三 维选通图像序列，实现实时三维成像。

本发明中使用的距离选通成像技术，采用脉冲激光器2作为照明光源， 采用配有选通门3的图像传感器4作为成像器件，通过时序控制器1控制 激光脉冲5和选通脉冲6间的选通延时，实现对空间感兴趣区的切片成像。 工作过程中，时序控制器1产生ABAB模式工作时序，输出三路TTL信号， 分别触发图像传感器4、脉冲激光器2和选通门3实现同步工作，如图2 所示。该时序控制器1可基于FPGA实现。在ABAB模式工作时序中，整个 工作时序以图像传感器4的帧周期为单位可分为A型帧和B型帧，并具有 ABAB……周期性循环的特点，在图像传感器4每帧的曝光时间里包含M个 脉冲对，每个脉冲对内含一个激光脉冲5和一个选通脉冲6，通过控制激 光脉冲5和选通脉冲6间选通延时可实现选通成像，其中，A型帧内激光 脉冲和选通脉冲间的选通延时为τ_A，B型帧内激光脉冲和选通脉冲间的选 通延时为τ_B，两者间满足

τ_B＝τ_A+t_L    (1)

公式(1)中t_L为激光脉冲5的脉宽。

在利用A型帧和B型帧进行三维重建时，当欲采用梯形包络距离选 通超分辨率三维成像算法时，选通门宽和激光脉宽满足关系

t_g＝2t_L    (2)

当欲采用三角形包络距离选通超分辨率三维成像算法时，选通门宽和 激光脉宽满足关系

t_g＝t_L     (3)

公式(2)和(3)中，t_L为激光脉冲5的脉宽，t_g为选通快门的选通 脉冲6的脉宽，即选通门宽。

图像传感器每帧曝光时间里的脉冲对数M值可由用户设置，当每帧 曝光时间为t_exp时，M值应满足

在ABAB模式工作时序下，A型帧获取由选通延时τ_A确定的空间感兴 趣区的A型选通图像，B型帧获取由选通延时τ_B确定的空间感兴趣区的B 型选通图像，从而输出与ABAB模式工作时序对应的A型选通图像和B 型选通图像形成的以帧周期为间隔的二维选通图像序列，即A-B型二维选 通视频流。在该视频流中，相邻帧间具有时空相关性，包括时间相关性和 空间相关性。所谓时间相关性是指相对于动目标而言图像传感器具有较高 的帧频，使得产生的A-B型二维选通视频流中相邻帧间动目标像素位移变 化量小于预设阈值ΔP，从而可视为静目标，该预设阈值ΔP可由用户定义， 满足关系和其中v_//和v_⊥分别为目标的相对于系统光 轴的水平方向和垂直方向运动速度分量，ε_//和ε_⊥为图像水平向和垂直向的 像素空间分辨率，f_FPS为图像传感器的帧频；所谓空间相关性是指在A-B 型二维选通视频流中相邻帧间必然为A型帧和B型帧，A型帧对应的成 像区间为[(τ_A-t_L)c/2，(τ_A+t_g)c/2]，B型帧对应的成像区间为[(τ_B-t_L)c/2， (τ_B+t_g)c/2]所成的选通切片像，其中，c为光在空气中的传播速度，t_L为激 光脉冲5的脉宽，t_g为选通门宽，τ_A和τ_B分别为A型帧和B型帧的选通延 时，两者间满足τ_B＝τ_A+t_L，因此，A型帧和B型帧的成像区间存在空间交 叠区[τ_Ac/2，τ_Bc/2]，从而使得A-B型二维选通视频流中相邻帧间的空间 交叠区具有很强的空间相关性。

显然，在ABAB模式工作时序下，若图像传感器4输出的当前帧为A 型帧，则上一帧必然为B型帧，若当前帧为B型帧，则上一帧必然为A 型帧，因此，工作过程中，当前帧与上一帧必然可采用距离选通超分辨率 三维成像算法进行三维反演解调，实现每个当前帧与每个上一帧的动态式 解调。当A-B型二维选通视频流中的选通图像的距离能量包络为梯形时， 应采用梯形距离选通超分辨率三维成像算法进行三维反演解调；当A-B型 二维选通视频流中的选通图像的距离能量包络为三角形时，应采用三角形 距离选通超分辨率三维成像算法进行三维反演解调。在工作过程中，采用 当前帧与上一帧进行动态在线解调后，输出的三维图像的帧频与图像传感 器4的帧频一致，达到实时三维成像的效果。

本实施例的具体步骤如下：

步骤一：设值ABAB模式工作时序参数，包括图像传感器的帧频及每 个周期的曝光时间、A型帧和B型帧的选通延时，激光脉宽，选通门宽， 每帧曝光时间里包含的脉冲对数M值。

步骤二：在ABAB模式工作时序下，获取A-B型二维选通视频流。

步骤三：对A-B型二维选通视频流，利用距离选通超分辨率三维成像 算法进行动态在线解调，每个当前帧与其上一帧解调后形成一帧三维图 像，动态输出可形成三维图像序列，实现实时三维成像。

为了进一步说明本发明的方法，以下给出一具体示例。设置图像传感 器的帧频为15fps，每帧的曝光时间为39ms，欲采用三角形包络超分辨率 三维成像算法进行解调，对[750,900]m感兴趣区间进行成像，则根据公式 (1)和(3)，A型帧的选通延时为5us，B型帧的选通延时为6us，激光 脉宽和选通门宽均为1us。每帧曝光时间里的脉冲对数M值应满足 M＜5571，此处设置该值为500。按照上述参数设置后的ABAB模式工作 时序为，帧频15fps，图像传感器每帧曝光时间39ms，A型帧和B型帧的 选通延时分别为6us和7us，激光脉宽和选通门宽分别为1us。在此工作时 序下，可实现对[750,900]m区间三维成像，三维成像景深为150m，三维 成像的帧频为15fps。

本发明还提供了一种实现实时距离选通三维成像的系统，其包括：

时序控制器，其产生ABAB模式工作时序，所述ABAB模式工作时 序包括分别触发图像传感器、脉冲激光器和选通门的三路时序控制信号；

脉冲激光器，在所述触发图像传感器时序控制信号的作用下，所述脉 冲激光器按照时序控制器产生的脉冲激光器时序控制信号发射激光脉冲， 对目标进行照明；

选通门，所述选通门按照时序控制器产生的选通门时序控制信号开启 工作，生成选通脉冲，一个选通脉冲对应一个激光脉冲，构成脉冲对；

图像传感器，所述图像传感器按照时序控制器产生的图像传感器时序 控制信号以给定的曝光时间及帧频采集由脉冲对产生的目标回波信号，并 输出图像；所输出的图像构成A型帧和B型帧交替循环出现的二维图像 序列；其中，形成所述A型帧和B型帧的脉冲对内的激光脉冲和选通脉 冲间的选通延时不同；

动态在线解调装置，其对所述二维图像序列，利用距离选通超分辨率 三维成像算法进行动态在线解调，每个当前帧与其上一帧解调后形成一帧 三维图像，动态输出形成的三维图像序列，该动态在线解调装置可基于工 控机实现。

该系统的具体实现细节在上述对方法的描述中已详细阐述，在此不再 赘述。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已， 并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。