首页> 中国专利> 一种抛物检测方法及抛物检测系统

一种抛物检测方法及抛物检测系统

摘要

本申请公开了一种抛物检测方法及抛物检测系统。方法包括:获得对目标场景基于相机的抛物检测结果和基于激光雷达的抛物检测结果;融合基于相机的抛物检测结果和基于激光雷达的抛物检测结果,得到对目标场景的抛物检测融合结果。由于两部分抛物检测结果分别包含了抛物曲线和置信度,置信度能够辅助提升融合结果的准确率。该方案发挥了两种传感器的优势,提升抛物检测的覆盖范围,不仅能弥补人工监控易存在监控漏洞的不足,也能减少人员巡视工作量,提升抛物检测场景中的管理效率,降低巡视与管理成本。

著录项

  • 公开/公告号CN112926446A

    专利类型发明专利

  • 公开/公告日2021-06-08

    原文格式PDF

  • 申请/专利权人 北京爱笔科技有限公司;

    申请/专利号CN202110206045.4

  • 发明设计人 翁仁亮;钱扬;程鉴张;

    申请日2021-02-24

  • 分类号G06K9/00(20060101);G06T7/246(20170101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人柳欣

  • 地址 100094 北京市海淀区北清路81号二区1号楼12层1202室、13层整层

  • 入库时间 2023-06-19 11:19:16

说明书

技术领域

本申请涉及计算机视觉技术领域,特别是涉及一种抛物检测方法及抛物检测系统。

背景技术

在公共场所中,异常抛物是一种极其危险的行为。以机场为例,在机场航站楼上向隔离区抛掷违禁物品,轻则可能妨害机场的运行秩序,重则可能造成重大安全事故。目前,主要基于部署在公共场所中的监控摄像头拍摄的图像,检测公共场所中是否存在此类抛物行为。

国内外目前与抛物检测相关的研究不多。现有技术普遍只能事后基于摄像头拍摄的视频进行抛物行为解析分析,难以基于摄像头拍摄的视频实时地检测相关场所中是否存在抛物行为,因此难以及时地针对相关场所中发生的抛物行为报警,降低抛物行为所造成的损失。另外有采用激光对射方式监测物品侵入的一些研究,主要是以激光作为光源的周界入侵报警探测器。利用单传感器进行抛物检测,在实际应用中仍存在大量的误报和漏报问题。

发明内容

基于上述问题,本申请提供了一种抛物检测方法及抛物检测系统,提升抛物检测的覆盖范围并提升检测的准确率。

本申请实施例公开了如下技术方案:

第一方面,本申请提供了一种抛物检测方法,包括:

获得对目标场景基于相机的抛物检测结果和基于激光雷达的抛物检测结果;所述基于相机的抛物检测结果包括:基于相机拍摄的二维图像识别出的第一抛物曲线和所述第一抛物曲线对应的第一抛物置信度;所述基于激光雷达的抛物检测结果包括:基于激光雷达探测的三维点云识别出的第二抛物曲线和所述第二抛物曲线对应的第二抛物置信度;

融合所述基于相机的抛物检测结果和所述基于激光雷达的抛物检测结果,得到对所述目标场景的抛物检测融合结果。

可选地,所述融合所述基于相机的抛物检测结果和所述基于激光雷达的抛物检测结果进行融合,得到对所述目标场景的抛物检测融合结果,包括:

当所述第一抛物置信度和所述第二抛物置信度均大于第一置信度阈值且小于第二置信度阈值时,获得所述第一抛物曲线与所述第二抛物曲线的距离;所述第一置信度阈值小于所述第二置信度阈值;

当所述距离小于预设距离阈值时,确定所述第一抛物曲线和所述第二抛物曲线匹配,判定所述目标场景中发生了抛物行为,将所述第一抛物曲线或所述第二抛物曲线作为抛物行为对应的抛物曲线。

可选地,所述获得所述第一抛物曲线与所述第二抛物曲线的距离,包括:

利用所述二维图像的坐标系和所述三维点云的坐标系之间的变换矩阵,将所述第二抛物曲线映射到所述二维图像的坐标系中,获得所述第一抛物曲线与映射后的第二抛物曲线的距离。

可选地,所述基于相机的抛物检测结果还包括:第一抛物时间,所述第一抛物时间为所述第一抛物曲线对应的最早抛物时间;所述基于激光雷达的抛物检测结果还包括:第二抛物时间,所述第二抛物时间为所述第二抛物曲线对应的最早抛物时间;

在所述确定所述第一抛物曲线和所述第二抛物曲线匹配之后,所述方法还包括:

将所述第一抛物时间和所述第二抛物时间二者中最早的抛物时间作为融合后的抛物时间。

可选地,在所述确定所述第一抛物曲线和所述第二抛物曲线匹配之后,所述方法还包括:

将所述第一抛物置信度和所述第二抛物置信度二者中最大的置信度作为融合后的抛物置信度。

可选地,方法还包括:

当所述第一抛物置信度和/或所述第二抛物置信度大于或等于所述第二置信度阈值时,判定所述目标场景中发生了抛物行为,将所述第一抛物曲线和所述第二抛物曲线中抛物置信度最大的曲线作为抛物行为对应的抛物曲线。

可选地,方法还包括:

对所述二维图像的坐标系和所述三维点云的坐标系进行联合标定,获得所述二维图像的坐标系和所述三维点云的坐标系之间的变换矩阵。

可选地,获得所述基于相机的抛物检测结果,包括:

获得所述相机拍摄的所述目标场景的二维图像;

对所述二维图像进行运动检测,生成轨迹图像;

对所述轨迹图像进行曲线检测,拟合得到第一抛物曲线;

对所述第一抛物曲线进行抛物判断,获得所述第一抛物曲线对应的第一抛物置信度。

可选地,获得所述基于激光雷达的抛物检测结果,包括:

获得激光雷达探测的所述目标场景的三维点云;

对所述三维点云进行预处理,得到队列点云数据;

利用所述队列点云数据进行抛物线检测,拟合得到所述第二抛物曲线;

对所述第二抛物曲线进行抛物判断,获得所述第二抛物曲线对应的第二抛物置信度。

可选地,所述对所述三维点云进行预处理,得到队列点云数据,包括:

设置所述激光雷达对所述目标场景的监测区域内的感兴趣区域和非重点区域;

利用预设有效条件对所述三维点云的每一帧点云数据中的点进行筛查,将每一帧点云数据中不满足所述预设有效条件的点抛弃,将每一帧点云数据中剩余的点以帧为单位依照时序加入到目标队列中,形成队列点云数据;

所述预设有效条件包括:点位于所述感兴趣区域内且位于所述非重点区域外。

第二方面,本申请提供了一种抛物检测系统,包括:相机、激光雷达、处理器;

所述相机,用于拍摄所述目标场景的二维图像;

所述激光雷达,用于探测所述目标场景的三维点云;

所述处理器,用于根据所述二维图像获得对所述目标场景基于相机的抛物检测结果,以及根据所述三维点云获得对所述目标场景基于激光雷达的抛物检测结果;融合所述基于相机的抛物检测结果和所述基于激光雷达的抛物检测结果,得到对所述目标场景的抛物检测融合结果;

所述基于相机的抛物检测结果包括:基于相机拍摄的二维图像识别出的第一抛物曲线和所述第一抛物曲线对应的第一抛物置信度;所述基于激光雷达的抛物检测结果包括:基于激光雷达探测的三维点云识别出的第二抛物曲线和所述第二抛物曲线对应的第二抛物置信度。

可选地,系统还包括:

显示器,用于从所述处理器获得所述抛物检测融合结果;对所述抛物检测融合结果进行显示。

相较于现有技术,本申请具有以下有益效果:

本申请提供的抛物检测方法包括:获得对目标场景基于相机的抛物检测结果和基于激光雷达的抛物检测结果;融合基于相机的抛物检测结果和基于激光雷达的抛物检测结果,得到对目标场景的抛物检测融合结果。由于两部分抛物检测结果分别包含了抛物曲线和置信度,置信度能够辅助提升融合结果的准确率。该方案发挥了两种传感器的优势,提升抛物检测的覆盖范围,不仅能弥补人工监控易存在监控漏洞的不足,也能减少人员巡视工作量,提升抛物检测场景中的管理效率,降低巡视与管理成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种抛物检测方法流程图;

图2为本申请实施例提供的另一种抛物检测方法流程图;

图3为本申请实施例提供的一种抛物检测系统的结构示意图。

具体实施方式

正如前文描述,目前已有技术中通常单纯依赖一种传感器进行抛物检测。但是在抛物场景中,一种传感器较难满足抛物检测的准确性要求,同时,对检测场景的覆盖范围受到传感器探测方式的局限。为解决以上问题,发明人经过研究提供了一种新的抛物检测方法。该方法发挥了两种传感器的优势,提升抛物检测的覆盖范围,并通过融合两种传感器的抛物检测结果提升了抛物检测的准确性。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

参见图1,该图为本申请实施例提供的一种抛物检测方法流程图。如图1所示,该方法包括:

步骤101:获得对目标场景基于相机的抛物检测结果和基于激光雷达的抛物检测结果。

在本申请实施例提供的抛物检测方法中,具体利用基于两种传感器分别采集的数据获得的抛物检测结果进行融合。这两种传感器分别是相机和激光雷达。此处所指的相机可以是能够拍摄出RGB相机的任意型号的相机,本实施例不做限制。此处所指的激光雷达是能够探测场景中物体形成三维点云的任意型号的激光雷达,本实施例不做限制。

为了实现抛物检测结果的融合,在本步骤中,首先需要获得对目标场景基于相机的抛物检测结果,以及对目标场景基于激光雷达的抛物检测结果。实现方式可以是主动请求以获得上述两种抛物检测结果,还可以是接收上述两种抛物检测结果,此处对于获取上述两种检测结果的实现方式不做限制。

此外,步骤101具体实现时,可以先获得基于相机的抛物检测结果,再获得基于激光雷达的抛物检测结果;也可以是先获得基于激光雷达的抛物检测结果,再获得基于相机的抛物检测结果;还可以是同时获得以上两种抛物检测结果。此处对获得以上两种抛物检测结果的执行顺序也不做限制。

通过执行步骤101所获得的基于相机的抛物检测结果中,至少包括:基于相机拍摄的二维图像识别出的第一抛物曲线和第一抛物曲线对应的第一抛物置信度。其中,第一抛物置信度是指,以第一抛物曲线作为检测结果的可信程度。第一抛物置信度越高,则第一抛物曲线作为检测结果的可信程度越高。

通过执行步骤101所获得的基于激光雷达的抛物检测结果中,至少包括:基于激光雷达探测的三维点云识别出的第二抛物曲线和第二抛物曲线对应的第二抛物置信度。其中,第二抛物置信度是指,以第二抛物曲线作为检测结果的可信程度。第二抛物置信度越高,则第二抛物曲线作为检测结果的可信程度越高。

步骤102:融合基于相机的抛物检测结果和基于激光雷达的抛物检测结果,得到对目标场景的抛物检测融合结果。

在步骤102中,具体可以基于步骤101获得的两种抛物检测结果来进行融合。此处需要说明的是,融合两种抛物检测结果并不是采用直接数学运算方式操作,而是基于第一抛物置信度和第二抛物置信度来获得对目标场景的抛物检测融合结果。

在一种可能的实现方式中,预先设定了第一置信度阈值和第二置信度阈值,其中第一置信度阈值低于第二置信度阈值,且两个阈值均为正数。当抛物曲线的置信度小于或等于第一置信度阈值时,表示识别出的抛物曲线可信程度低;当抛物曲线的置信度大于或等于第二置信度阈值时,表示识别出的抛物曲线的可信程度中等;当抛物曲线的置信度大于或等于第二置信度阈值时,表示识别出的抛物曲线的可信程度高。

在本申请技术方案中,当第一抛物置信度和第二抛物置信度均大于第一置信度阈值且小于第二置信度阈值时,可以判断出第一抛物曲线和第二抛物曲线的可信程度均是中等,此时为了保证融合效果,需要对两条抛物曲线进行互相验证。并设定了距离阈值。

具体而言,可先获得第一抛物曲线与第二抛物曲线的距离,再将该距离与预设距离阈值进行比较:

当第一抛物曲线与第二抛物曲线的距离小于预设距离阈值时,确定第一抛物曲线和第二抛物曲线匹配,此时以第一抛物曲线验证了第二抛物曲线是可信的,并以第二抛物曲线验证了第一抛物曲线是可信的,可以判定目标场景中发生了抛物行为。由于第一抛物曲线与第二抛物曲线的距离小于预设距离阈值,因此可知第一抛物曲线与第二抛物曲线的相对偏差非常小,从而可以将第一抛物曲线或第二抛物曲线作为抛物行为对应的抛物曲线。而反之,如果第一抛物曲线和第二抛物曲线的距离大于或等于预设距离阈值时,则表示二者无法互相验证。从而,无法判定目标场景中发生抛物行为,无法得到高准确性的抛物检测结果。

当第一抛物置信度和第二抛物置信度二者中,有至少一个是大于或等于第二置信度阈值时,则表明有至少一条抛物曲线是即为可信的。此时不需要结合距离去验证,只需要依据置信度大小便可以确定出最符合目标场景抛物行为的抛物检测结果。具体地,判定目标场景中发生了抛物行为,将第一抛物曲线和第二抛物曲线中抛物置信度最大的曲线作为抛物行为对应的抛物曲线。例如,第一抛物曲线对应的第一抛物置信度大于第二置信度阈值,且第一抛物置信度大于第二抛物置信度,则可以将第一抛物曲线作为最终确定出的抛物曲线,以第一抛物曲线作为对该目标场景中所检测到的抛物行为的表达。

如果第一抛物置信度和第二抛物置信度均小于或等于第一置信度阈值,或者,第一抛物置信度和第二抛物置信度二者中的一个小于或等于第一置信度阈值,但是另一个大于第一置信度阈值且小于第二置信度阈值,则确定无足够可信的抛物曲线。不输出抛物检测融合结果,或者输出提示消息以报错。

在以上实施例提供的抛物检测方法中,包括:获得对目标场景基于相机的抛物检测结果和基于激光雷达的抛物检测结果;融合基于相机的抛物检测结果和基于激光雷达的抛物检测结果,得到对目标场景的抛物检测融合结果。由于两部分抛物检测结果分别包含了抛物曲线和置信度,置信度能够辅助提升融合结果的准确率。该方案发挥了两种传感器的优势,提升抛物检测的覆盖范围,不仅能弥补人工监控易存在监控漏洞的不足,也能减少人员巡视工作量,提升抛物检测场景中的管理效率,降低巡视与管理成本。

在前文介绍的抛物检测方法中,提及当第一抛物曲线的第一抛物置信度和第二抛物曲线的第二抛物置信度均大于第一置信度阈值且小于第二置信度阈值时,需要获得两条抛物曲线的距离。但是由于第一抛物曲线是二维坐标系中的曲线,第二抛物曲线是三维坐标系中的曲线,因此为了准确衡量距离,有必要将两种抛物曲线汇集在相同的坐标系下。为此,本申请实施例中还提供了另一种抛物检测方法,下面具体结合实施例和附图进行说明。

参见图2,该图为本申请实施例提供的另一种抛物检测方法流程图。如图2所示,抛物检测方法包括:

步骤201:获得对目标场景基于相机的抛物检测结果和基于激光雷达的抛物检测结果。

其中,基于相机的抛物检测结果包括第一抛物曲线和第一抛物曲线对应的第一抛物置信度,还包括第一抛物时间。其中,第一抛物时间为第一抛物曲线对应的最早抛物时间。基于激光雷达的抛物检测结果包括第二抛物曲线和第二抛物曲线对应的第二抛物置信度,还包括第二抛物时间。其中,第二抛物时间为第二抛物曲线对应的最早抛物时间。

步骤202:对二维图像的坐标系和三维点云的坐标系进行联合标定,获得二维图像的坐标系和三维点云的坐标系之间的变换矩阵。

本实施例中,对二维图像的坐标系和三维点云的坐标系进行联合标定,即是需要结合相机在三维空间中的位置、雷达在三维空间中的位置、相机拍摄的图像中像素点和三维空间中点的映射关系等来进行两种坐标系的转换关系的推算。从而,最终可以得到从三维点云的坐标系变化到二维图像的坐标系的变换矩阵。

步骤203:判断第一抛物置信度和第二抛物置信度是否均大于第一置信度阈值且小于第二置信度阈值,如果是,则进入步骤204;如果否,则进入步骤209。

步骤204:利用二维图像的坐标系和三维点云的坐标系之间的变换矩阵,将第二抛物曲线映射到二维图像的坐标系中,获得第一抛物曲线与映射后的第二抛物曲线的距离。

依据第二抛物曲线的表达式并结合步骤202获得的变换矩阵,即可将第二抛物曲线映射到二维图像的坐标系中,使映射后的第二抛物曲线与前述的第一抛物曲线处于相同的坐标系中。进而,有利于获得更加准确的曲线距离。

步骤205:判断第一抛物曲线与映射后的第二抛物曲线的距离是否小于预设距离阈值,如果是,则进入步骤206,如果否,则进入步骤211。

在步骤204获得了第一抛物曲线与映射后的第二抛物曲线的距离,为了确定两条抛物曲线是否能够互相验证,可以在本步骤中将该距离与预设距离阈值进行比较。该距离越小,越能够表明两条抛物曲线的匹配,进而表明两个不同的传感器(相机和激光雷达)对目标场景所检测出的抛物曲线非常接近,参见步骤206。而反之,则表明两条曲线无法互相验证,此时不能判定抛物行为的发生,且由于两条抛物曲线的置信度都没有到达第二置信度阈值,因此,也就不能从中确定出一条能够表达该抛物行为的曲线,参见步骤211。

步骤206:确定第一抛物曲线与映射后的第二抛物曲线匹配,判定所述目标场景中发生了抛物行为,将所述第一抛物曲线或第二抛物曲线作为抛物行为对应的抛物曲线。

其中,第一抛物曲线作为在二维图像坐标系中对抛物行为的表达;第二抛物曲线作为在三维点云坐标系下对抛物行为的表达。本步骤206相当于实现了对抛物曲线的融合。

步骤207:将第一抛物时间和第二抛物时间二者中最早的抛物时间作为融合后的抛物时间。

本步骤207相当于实现对抛物时间的融合。由于第一抛物时间为第一抛物曲线对应的最早抛物时间,第二抛物时间为第二抛物曲线对应的最早抛物时间,因此,此处第一抛物时间和第二抛物时间中最早的抛物时间就是相机和激光雷达两个传感器对抛物行为所识别出的最早发生的时间。通过捕捉抛物行为最早发生的时间,有助于及时发出告警提示,降低生命财产因抛物行为而受到损失破坏的几率。

步骤208:将第一抛物置信度和第二抛物置信度二者中最大的置信度作为融合后的抛物置信度。

本步骤208相当于实现抛物曲线置信度的融合。前面提到,第一抛物曲线和第二抛物曲线是相互匹配的,即二者完成互相验证,且互相验证成功。因此,置信度更高的抛物曲线验证了置信度更低的抛物曲线的可信度。因此,可以将两个置信度中最大的置信度作为融合后的抛物置信度,以表示经过验证的抛物曲线的最大可信程度。

通过如上步骤206-208,完成了在两条抛物曲线互相验证得出相互匹配的验证结果后,对抛物曲线、抛物时间以及抛物置信度的融合。抛物检测融合结果也包含上述三个部分的融合结果。

步骤209:判断第一抛物置信度和第二抛物置信度中是否存在至少一个是大于或等于第二置信度阈值的,如果是,则进入步骤210,如果否,则进入步骤211。

步骤210:当第一抛物置信度和/或第二抛物置信度大于或等于第二置信度阈值时,判定目标场景中发生了抛物行为,将第一抛物曲线和第二抛物曲线中抛物置信度最大的曲线作为抛物行为对应的抛物曲线。

步骤211:判定无抛物行为发生。

在以上实施例中,通过置信度的比较以及抛物曲线距离的比较,实现了对抛物曲线的验证。从而在验证成功时,执行抛物曲线、抛物时间以及抛物置信度的融合。该方法以相机和激光雷达双重检测抛物行为,增强了抛物检测的能力,使抛物结果的准确度提升,不易发生错检、漏检的问题。同时,通过实时高效的检测,以及得到抛物检测融合结果后及时输出,能够辅助目标场景的巡查工作,提升监管效率,降低事故发生的几率。例如,可以在得到抛物检测融合结果后进行物理拦截。

在以上实施例中介绍到,在进行融合之前,需要获得基于相机的抛物检测和基于激光雷达的抛物检测结果。下面介绍示例性的实现方式。

(一)获得基于相机的抛物检测结果,可以包括:

获得相机拍摄的目标场景的二维图像;

对二维图像进行运动检测,生成轨迹图像;

对轨迹图像进行曲线检测,拟合得到第一抛物曲线;

对第一抛物曲线进行抛物判断,获得第一抛物曲线对应的第一抛物置信度。

其中,对二维图像进行运动检测,生成轨迹图像,可以包括:

检测所述二维图像中包括的运动区域,并且根据所述二维图像在所述目标视频流中的顺序,为所述运动区域配置对应的时间信息;

基于多帧所述二维图像中包括的对应于同一运动目标的所述运动区域,生成所述运动目标对应的轨迹图像。

其中,对轨迹图像进行曲线检测,拟合得到第一抛物曲线,可以包括:

根据轨迹图像中各所述运动区域内的运动像素点,拟合所述运动目标对应的第一抛物曲线。该过程又可以细分为:

利用所述轨迹图像中各所述运动区域内的运动像素点,构成前景点集合;对所述前景点集合中的前景点进行采样,得到样本集合;所述样本集合中的样本包括第一预设数目个前景点;根据所述样本中包括的各所述前景点的位置,拟合所述样本对应的曲线;根据所述前景点集合中各个所述前景点与所述样本对应的曲线之间的相对位置,确定所述样本对应的适应值;根据所述样本集合中各所述样本各自对应的适应值,确定出第一抛物曲线。

其中,对第一抛物曲线进行抛物判断,获得第一抛物曲线对应的第一抛物置信度,可以包括:

通过抛物行为识别模型,根据所述第一抛物曲线上多个所述运动像素点各自对应的位置信息和时间信息,确定所述第一抛物曲线对应于抛物行为的置信度;所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息;根据所述置信度,确定所述运动目标是否对应于抛物行为。

(二)获得基于激光雷达的抛物检测结果,可以包括:

获得激光雷达探测的目标场景的三维点云;

对三维点云进行预处理,得到队列点云数据;

利用队列点云数据进行抛物线检测,拟合得到第二抛物曲线;

对第二抛物曲线进行抛物判断,获得第二抛物曲线对应的第二抛物置信度。

其中,利用队列点云数据进行抛物线检测,拟合得到第二抛物曲线;对第二抛物曲线进行抛物判断,获得第二抛物曲线对应的第二抛物置信度的操作,分别与上述第(一)部分相似,故不再赘述。请参照第(一)部分的描述。

下面,关于对三维点云进行预处理,得到队列点云数据的步骤的实现方式做出详细的说明。

首先,可以设置激光雷达对目标场景的监测区域内的感兴趣区域和非重点区域。其中,感兴趣区域是需要着重关注的区域,总在感兴趣区域的点云数据对于检测抛物曲线、识别抛物行为的作用和意义比较大;而非重点区域则可以忽略,落在非重点区域的点云数据对于检测抛物曲线、识别抛物行为的作用和意义非常小。接着,利用预设有效条件对三维点云的每一帧点云数据中的点进行筛查,将每一帧点云数据中不满足预设有效条件的点抛弃。其中,预设有效条件包括:点位于感兴趣区域内且位于非重点区域外。也就是说,对于三维点云,将其中位于感兴趣区域内且位于非重点区域外的点作为有效的点,保留下来,而不满足上述条件的点则抛用。如此,经过预设有效条件的筛选,仅保留下来有效的点。

这些点可以按照预设的时间长度作为“一帧”。例如,每20ms的有效的点云数据作为一帧。将每一帧点云数据中剩余的点以帧为单位依照时序加入到目标队列中。目标队列的长度可以根据先验知识进行设置,例如设置成长度L。L为正整数。如果需要加入到目标队列中的帧数量超出了L,则按照先进先出的原则,将最早进入目标队列的帧移出。最终,形成队列长度L的目标队列,其中的数据称为队列点云数据。

基于前述实施例提供的抛物检测方法,相应地,本申请还提供了一种抛物检测系统。以下结合实施例和附图对该抛物检测系统的实现方式进行介绍。

参见图3,该图为本申请实施例提供的一种抛物检测系统的结构示意图。如图3所示,抛物检测系统300,包括:相机301、激光雷达302、处理器303;

相机301,用于拍摄目标场景的二维图像;

激光雷达302,用于探测目标场景的三维点云;

处理器303,用于根据二维图像获得对目标场景基于相机301的抛物检测结果,以及根据三维点云获得对目标场景基于激光雷达302的抛物检测结果;融合基于相机301的抛物检测结果和基于激光雷达302的抛物检测结果,得到对目标场景的抛物检测融合结果;

基于相机301的抛物检测结果包括:基于相机301拍摄的二维图像识别出的第一抛物曲线和第一抛物曲线对应的第一抛物置信度;基于激光雷达302的抛物检测结果包括:基于激光雷达302探测的三维点云识别出的第二抛物曲线和第二抛物曲线对应的第二抛物置信度。

由于两部分抛物检测结果分别包含了抛物曲线和置信度,置信度能够辅助提升融合结果的准确率。该抛物检测系统300发挥了两种传感器的优势,提升抛物检测的覆盖范围,不仅能弥补人工监控易存在监控漏洞的不足,也能减少人员巡视工作量,提升抛物检测场景中的管理效率,降低巡视与管理成本。

在一种可能的实现方式中,处理器303具体用于:

当所述第一抛物置信度和所述第二抛物置信度均大于第一置信度阈值且小于第二置信度阈值时,获得所述第一抛物曲线与所述第二抛物曲线的距离;所述第一置信度阈值小于所述第二置信度阈值;

当所述距离小于预设距离阈值时,确定所述第一抛物曲线和所述第二抛物曲线匹配,判定所述目标场景中发生了抛物行为,将所述第一抛物曲线或所述第二抛物曲线作为抛物行为对应的抛物曲线。

在一种可能的实现方式中,处理器303具体用于:

利用所述二维图像的坐标系和所述三维点云的坐标系之间的变换矩阵,将所述第二抛物曲线映射到所述二维图像的坐标系中,获得所述第一抛物曲线与映射后的第二抛物曲线的距离。

在一种可能的实现方式中,所述基于相机的抛物检测结果还包括:第一抛物时间,所述第一抛物时间为所述第一抛物曲线对应的最早抛物时间;所述基于激光雷达的抛物检测结果还包括:第二抛物时间,所述第二抛物时间为所述第二抛物曲线对应的最早抛物时间;

处理器303还用于:

将所述第一抛物时间和所述第二抛物时间二者中最早的抛物时间作为融合后的抛物时间。

在一种可能的实现方式中,处理器303还用于:

将所述第一抛物置信度和所述第二抛物置信度二者中最大的置信度作为融合后的抛物置信度。

在一种可能的实现方式中,处理器303还用于:

当所述第一抛物置信度和/或所述第二抛物置信度大于或等于所述第二置信度阈值时,判定所述目标场景中发生了抛物行为,将所述第一抛物曲线和所述第二抛物曲线中抛物置信度最大的曲线作为抛物行为对应的抛物曲线。

在一种可能的实现方式中,处理器303还用于:

对所述二维图像的坐标系和所述三维点云的坐标系进行联合标定,获得所述二维图像的坐标系和所述三维点云的坐标系之间的变换矩阵。

在一种可能的实现方式中,处理器303具体用于:

获得所述相机拍摄的所述目标场景的二维图像;

对所述二维图像进行运动检测,生成轨迹图像;

对所述轨迹图像进行曲线检测,拟合得到第一抛物曲线;

对所述第一抛物曲线进行抛物判断,获得所述第一抛物曲线对应的第一抛物置信度。

在一种可能的实现方式中,处理器303具体用于:

获得激光雷达探测的所述目标场景的三维点云;

对所述三维点云进行预处理,得到队列点云数据;

利用所述队列点云数据进行抛物线检测,拟合得到所述第二抛物曲线;

对所述第二抛物曲线进行抛物判断,获得所述第二抛物曲线对应的第二抛物置信度。

在一种可能的实现方式中,处理器303具体用于:

设置所述激光雷达对所述目标场景的监测区域内的感兴趣区域和非重点区域;

利用预设有效条件对所述三维点云的每一帧点云数据中的点进行筛查,将每一帧点云数据中不满足所述预设有效条件的点抛弃,将每一帧点云数据中剩余的点以帧为单位依照时序加入到目标队列中,形成队列点云数据;

所述预设有效条件包括:点位于所述感兴趣区域内且位于所述非重点区域外。

抛物检测系统300还包括:

显示器304,用于从处理器303获得抛物检测融合结果;对抛物检测融合结果进行显示。通过显示器304对抛物检测融合结果进行显示,能够使用户(例如监控场景内抛物行为的人员)获知抛物行为的发生,了解抛物时间和抛物路径,从而提升了对场景中的管理效率,降低巡视与管理成本。通过在显示器304中的显示,使得用户对抛物行为的获知更加及时且准确。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元提示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。

以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号