公开/公告号CN112346141A
专利类型发明专利
公开/公告日2021-02-09
原文格式PDF
申请/专利权人 上海亨临光电科技有限公司;
申请/专利号CN202011223881.5
申请日2020-11-05
分类号G01V8/00(20060101);G01B11/24(20060101);G06T5/50(20060101);
代理机构32293 苏州国诚专利代理有限公司;
代理人陈君名
地址 201306 上海市浦东新区南汇新城镇天骄路336号1幢2层A205室
入库时间 2023-06-19 09:52:39
技术领域
本发明涉及太赫兹成像技术,尤其涉及一种太赫兹图像与可见光图像映射融合方法及系统。
背景技术
毫米波/太赫兹安检技术是近年来兴起的一种新型人体安检技术,该技术能够利用毫米波/太赫兹波对人体进行非接触式安检。但太赫兹图像因为成像特性原因,使得被检人的外貌特征丢失严重。可见光图像虽然不容易检测出隐匿物,但包含了丰富的外貌特征,如果将太赫兹图像的隐匿物信息与可见光图像的外貌信息融合,那将会使太赫兹安检仪的适用性更强。但是现有的毫米波/太赫兹安检设备大多是将可见光图像与太赫兹图像分开独立显示,未对其进行信息融合,一定程度上降低了安检人员的隐匿物检查感官感受。
此外,由于太赫兹安检仪与摄像头的安装位置以及视场角度不一致,导致两者得到的图像的大小、比例以及图像内容不完全一致,因此有必要进行校正,使其尽量相似。现有技术中存在着利用算法进行时空映射的方法,但是都较为复杂、计算量大,导致检测存在延时。
发明内容
本发明的目的在于提供一种简单高效的太赫兹图像与可见光图像映射融合方法及系统。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
根据本发明的一方面,提供了一种太赫兹图像与可见光图像映射融合方法,包括以下步骤:获得目标的可见光图像和第一太赫兹图像;获得目标到安检仪的距离;从预设的不同距离单映性矩阵组中选择与目标最接近的单映性矩阵;通过选定的单映性矩阵对第一太赫兹图像进行映射,得到第二太赫兹图像;在第二太赫兹图像中找到目标轮廓,生成掩膜图像;将第二太赫兹图像和掩膜图像叠加到可见光图像上,完成融合。
在一实施例中,该方法中的预设的不同距离单映性矩阵组的获得方法为:在不同距离设置亮点阵列,所述亮点阵列包括至少4个亮点,采集各个距离下亮点阵列的太赫兹图像和可将光图像,计算获得每个距离的单映性矩阵。
在一实施例中,该方法中的在不同距离的设置亮点阵列包括:在当前安检仪的最佳成像距离范围内间隔第一距离设置亮点阵列。
在一实施例中,该方法中的所述最佳成像距离范围为距离安检仪1.7m~3.2m。
在一实施例中,该方法中的所述第一距离为5cm~20cm。
在一实施例中,该方法中的所述第一距离为10cm。
在一实施例中,该方法中的所述亮点阵列包括14~16个亮点。
在一实施例中,该方法中的所述亮点位于同一平面。
根据本发明的又一方面,还提供了一种太赫兹图像与可见光图像映射融合系统,包括太赫兹安检仪,用于采集目标的第一太赫兹图像;可将光摄像头,用于采集目标的可见光图像;测距仪,用于测量目标到安检仪的距离;存储器,用于存储第一太赫兹图像、可见光图像和目标到安检仪的距离;处理器,用于从预设的不同距离单映性矩阵组中选择与目标最接近的单映性矩阵;通过选定的单映性矩阵对第一太赫兹图像进行映射,得到第二太赫兹图像;在第二太赫兹图像中找到目标轮廓,生成掩膜图像;将第二太赫兹图像和掩膜图像叠加到可见光图像上,完成融合。
本发明实施例的有益效果是:通过单映性矩阵融合处理太赫兹图像和可见光图像,能够提高安检人员的隐匿物检查感官程度,从而可以准确定位可疑违禁品的位置,提高安检效率。同时,相较于现有技术中的复杂算法,本方法简洁高效、不会影响原系统的实时性。硬件上也只需要在原系统上增加一个测距仪,改造成本低。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
在结合以下附图阅读本公开的实施例的详细描述之后,能够更好地理解本发明的上述特征和优点。在附图中,各组件不一定是按比例绘制,并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1是本发明方法实施例的流程图;
图2是本发明系统实施例的工作原理示意图;
其中:201-太赫兹安检仪;202-可将光摄像头;203-测距仪;204-目标。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本发明的保护范围进行任何限制。
如图1所示,本实施例公开了一种太赫兹图像与可见光图像映射融合方法,包括以下步骤:
步骤101、获得目标的可见光图像和第一太赫兹图像;
其中,目标既包括人员,也包括人员身上的可疑违禁品。可见光图像即通常利用摄像头获取的视频图像文件,第一太赫兹图像即利用太赫兹安检仪获取的太赫兹视频图像文件。
步骤102、获得目标到安检仪的距离;
需要注意的是,该距离应当与目标的可见光图像和第一太赫兹图像同时获得。
步骤103、从预设的不同距离单映性矩阵组中选择与目标最接近的单映性矩阵;
即,预先存储有多个单映性矩阵,每个单映性矩阵对应一个距离。根据目标到安检仪的距离,选择与目标最接近的单映性矩阵。
步骤104、通过选定的单映性矩阵对第一太赫兹图像进行映射,得到第二太赫兹图像;
以某一距离下的太赫兹图像举例来说,将这幅图像上的处理结果(目标检测信息、隐匿物形状信息)拷贝到和此图大小完全一致的黑色空白图像上,使用此距离下的单映性矩阵将其映射成与可见光图像大小一致的图像。
步骤105、在第二太赫兹图像中找到目标轮廓,生成掩膜图像;
由于步骤104中映射得到的图上只包含从太赫兹图像上拷贝的内容,因此十分容易找到其目标轮廓,轮廓信息找到之后可以生成一张掩膜图像,大小与可见光图像大小一致,目标位置为黑,其余位置为白,即是一张除了映射目标的位置为黑色,其余为白色的黑白图像;
步骤106、将第二太赫兹图像和掩膜图像叠加到可见光图像上,完成融合。即以可见光图像、步骤104得到的映射结果图像(即第二太赫兹图像)、步骤105得到的掩膜图像作为输入做叠加操作,得到最终的结果图像。
本方法通过单映性矩阵实现对太赫兹图像的矫正,使其大小、比例、视角等与可见光图像尽量相似,从而能够实现太赫兹图像与可见光图像的叠加融合。根据目标距离的不同,从预设的单映性矩阵组中选择与目标最接近的单映性矩阵进行映射,能够最大程度的减小由于距离影响带来的误差。
进一步地,在上述方法中,预设的不同距离单映性矩阵组的获得方法为:在不同距离设置亮点阵列,亮点阵列包括至少4个亮点,采集各个距离下亮点阵列的太赫兹图像和可将光图像,计算获得每个距离的单映性矩阵,将各个距离的单映性矩阵存储。
优选地,为了获得较好的成像效果,可在当前安检仪的最佳成像距离范围内等距间隔设置亮点阵列。通常最佳成像距离范围为距离安检仪1.7m~3.2m,因此在本实施例中,在距离安检仪1.7m~3.2m的范围内,每隔一定间隔距离放置标定工具,在标定工具上设置有14个白炽灯泡作为亮点。相较于4个亮点,14~16个亮点能够提高单映性矩阵的映射精度。这些白炽灯应尽量位于同一平面,以降低采样误差。此外,应尽量使得这些灯泡亮点在可见光以及太赫兹图像中央部分,以方便寻找这些点的位置。
间隔距离可以根据需要设置,通常在5cm~20cm之间。间隔距离约小,映射精确度越高,但是计算量也越大。综合考虑到人员行进速度和步幅,在本实施例中,间隔10cm采样,因此在1.7m~3.2m的范围内,共有16组采样,得到16个对应的单映性矩阵。
如图2所示,本发明的另一实施例还提供了一种太赫兹图像与可见光图像映射融合系统,包括:太赫兹安检仪201,用于采集目标的第一太赫兹图像;可将光摄像头202,用于采集目标的可见光图像;测距仪203,用于测量目标到安检仪的距离;存储器,用于存储第一太赫兹图像、可见光图像和目标到安检仪的距离;处理器,用于从预设的不同距离单映性矩阵组中选择与目标最接近的单映性矩阵;通过选定的单映性矩阵对第一太赫兹图像进行映射,得到第二太赫兹图像;在第二太赫兹图像中找到目标轮廓,生成掩膜图像;将第二太赫兹图像和掩膜图像叠加到可见光图像上,完成融合。
通常太赫兹安检仪设备本身带有电脑主机,因此存储器和处理器可直接采用太赫兹安检仪的存储器和处理器。因此,本系统硬件上只需要在现有太赫兹系统上加设测距仪即可,改装成本低。
当测距仪203测得目标204的距离D后,将距离D与各个单映性矩阵的距离进行比较,选择最接近的单映性矩阵(例如图中A
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的,且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此,本公开并非旨在被限定于本文中所描述的示例和设计,而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
以上所述仅为本申请的较佳实例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
机译: 用于太赫兹图像传感器的太赫兹图像传感器的像素阵列结构及其制造方法和包括该太赫兹图像传感器的图像设备
机译: 用于太赫兹图像传感器的太赫兹图像传感器的像素阵列结构及其制造方法和包括该太赫兹图像传感器的图像设备
机译: 感光多通道太赫兹接收天线,接收器,太赫兹系统和太赫兹方法