首页> 中国专利> 一种停车场语义地图完善方法、装置、设备和介质

一种停车场语义地图完善方法、装置、设备和介质

摘要

本申请公开了一种停车场语义地图完善方法、装置、设备和介质,方法包括:根据预置相机图像‑路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像;将路面感兴趣区域图像作为目标上传图像,或,对路面感兴趣区域图像进行预处理,得到目标上传图像;将目标上传图像上传至云端,使得云端获取目标上传图像的路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。本申请改善了现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

著录项

  • 公开/公告号CN112966622A

    专利类型发明专利

  • 公开/公告日2021-06-15

    原文格式PDF

  • 申请/专利权人 广州小鹏自动驾驶科技有限公司;

    申请/专利号CN202110275368.9

  • 申请日2021-03-15

  • 分类号G06K9/00(20060101);G06K9/32(20060101);G06T3/40(20060101);G06T5/50(20060101);

  • 代理机构44285 深圳市深佳知识产权代理事务所(普通合伙);

  • 代理人王兆林

  • 地址 510000 广东省广州市黄埔区中新知识城亿创街1号406房之46

  • 入库时间 2023-06-19 11:26:00

说明书

技术领域

本申请涉及图像处理技术领域,尤其涉及一种停车场语义地图完善方法、装置、设备和介质。

背景技术

车端摄像头在车辆行驶过程中会持续采集图像,然后将采集的图像上传到云端,使得云端对车端采集的图像进行处理,例如构建地图。通常车端直接将采集的原始图像上传到云端,上传的图像数据量很大,使得车端上传流量消耗较大,增加了车端的资源负担。

发明内容

本申请提供了一种停车场语义地图完善方法、装置、设备和介质,用于改善现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

有鉴于此,本申请第一方面提供了一种停车场语义地图完善方法,包括:

根据预置相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像;

将所述路面感兴趣区域图像作为目标上传图像,或,对所述路面感兴趣区域图像进行预处理,得到目标上传图像;

将所述目标上传图像上传至云端,使得所述云端获取所述目标上传图像的路面语义信息,并将所述路面语义信息添加到所述目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

可选的,所述预置相机图像-路面俯瞰图映射表通过对所述车辆的摄像头进行相机标定得到的标定参数获取。

可选的,所述路面语义信息包括:停车位、车道线、箭头或减速带。

可选的,当将所述路面感兴趣区域图像作为目标上传图像时,所述将所述目标上传图像上传至云端,使得所述云端获取所述目标上传图像的路面语义信息,并将所述路面语义信息添加到所述目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图,包括:

将所述目标上传图像上传至云端,使得所述云端根据所述车辆的行驶路径对所述目标上传图像进行拼接得到路面拼接图像,通过深度学习模型对所述路面拼接图像进行检测得到路面语义信息,并将所述路面语义信息添加到所述目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

可选的,所述对所述路面感兴趣区域图像进行预处理,得到目标上传图像,包括:

根据所述车辆的行驶路径对所述路面感兴趣区域图像进行拼接,得到路面拼接图像;

对所述路面拼接图像进行区域划分,得到若干路面拼接子图像,将所述路面拼接子图像作为目标上传图像。

本申请第二方面提供了一种停车场语义地图完善装置,包括:

映射单元,用于根据预置相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像;

预处理单元,用于将所述路面感兴趣区域图像作为目标上传图像,或,对所述路面感兴趣区域图像进行预处理,得到目标上传图像;

上传单元,用于将所述目标上传图像上传至云端,使得所述云端获取所述目标上传图像的路面语义信息,并将所述路面语义信息添加到所述目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

可选的,所述预置相机图像-路面俯瞰图映射表通过对所述车辆的摄像头进行相机标定得到的标定参数获取。

可选的,当将所述路面感兴趣区域图像作为目标上传图像时,所述上传单元具体用于:

将所述目标上传图像上传至云端,使得所述云端根据所述车辆的行驶路径对所述目标上传图像进行拼接得到路面拼接图像,通过深度学习模型对所述路面拼接图像进行检测得到路面语义信息,并将所述路面语义信息添加到所述目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

可选的,所述预处理单元,具体用于:

将所述路面感兴趣区域图像作为目标上传图像;

或,

根据所述车辆的行驶路径对所述路面感兴趣区域图像进行拼接,得到路面拼接图像;

对所述路面拼接图像进行区域划分,得到若干路面拼接子图像,将所述路面拼接子图像作为目标上传图像。

本申请第三方面提供了一种停车场语义地图完善设备,所述设备包括处理器以及存储器;

所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的停车场语义地图完善方法。

本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行第一方面任一种所述的停车场语义地图完善方法。

从以上技术方案可以看出,本申请具有以下优点:

本申请提供了一种停车场语义地图完善方法,包括:根据预置相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像;将路面感兴趣区域图像作为目标上传图像,或,对路面感兴趣区域图像进行预处理,得到目标上传图像;将目标上传图像上传至云端,使得云端获取目标上传图像的路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

本申请中,考虑到车辆摄像头采集的停车场图像不仅包括路面区域,还有停车场环境,而在构建停车场地图需要用到的元素大都来源于路面,也就意味着,车辆采集的停车场图像并不都用于构建地图。因此,本申请根据预先建立好的相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像,然后直接将路面感兴趣区域图像上传至云端,或对其进行预处理后再上传至云端,保留了用于构建地图的路面信息,去除了对于构建地图无用的信息,减少了上传到云端的图像数据量,从而改善了现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种停车场语义地图完善方法的一个流程示意图;

图2为本申请实施例提供的车端摄像头采集的一个路面图像;

图3为本申请实施例提供的确定感兴趣区域后的路面图像;

图4为本申请实施例提供的对图3中的路面图像映射到地面后得到的路面感兴趣区域图像;

图5为本申请实施例提供的一种路面拼接图像;

图6为本申请实施例提供的一种停车场语义地图完善方法的另一个流程示意图;

图7为本申请实施例提供的一种停车场语义地图完善装置的一个结构示意图。

具体实施方式

本申请提供了一种停车场语义地图完善方法、装置、设备和介质,用于改善现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

为了便于理解,请参阅图1,本申请提供的一种停车场语义地图完善方法的一个实施例,包括:

步骤101、根据预置相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像。

可以参考图2提供的一张车辆采集的路面图像,该图像不仅包括路面信息,还包括路面周围环境信息,同样的,车辆摄像头采集的停车场图像也不仅包括路面区域,还有停车场环境。而在构建停车场地图需要用到的元素大都来源于路面,也就意味着,车辆采集的停车场图像的部分信息对于构建地图来说是无用的信息。基于此,本申请实施例根据车辆摄像头采集的停车场图片确定该图像的感兴趣区域,该感兴趣区域主要包括路面区域,感兴趣区域的大小可以根据实际情况进行设置,但为了减少车端上传流量的开销,该感兴趣区域的大小尽可能小。可以参考图3,图3中的矩形框区域即为该图像的感兴趣区域。

由于车辆摄像头与地面的角度的原因,使得采集的停车场图像中的元素存在一定的形变,例如,原本平行的车道线呈现一定的夹角,形变的存在会影响后续路面语义信息的提取。因此,本申请实施例获取到车辆在目标停车场行驶时采集的停车场图像后,建立预置相机图像-路面俯瞰图映射表,根据该映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像,即得到路面俯瞰图。可以将采集的停车场图像先转换为灰度图,再映射到地面,得到灰度的路面感兴趣区域图像。可以参考图4,通过将图3中的感兴趣区域映射到地面,得到如图4所示的路面感兴趣区域图像,得到的路面感兴趣区域图像只包括感兴趣区域,即路面区域,大大减少了上传的图像数据量,也节省了车端内存,减轻了车端的资源负担。

本申请实施例中的预置相机图像-路面俯瞰图映射表,可以通过对车辆的摄像头进行相机标定得到的标定参数获取。由于车辆的每个摄像头的位置是固定的,采集到的各停车场图像与地面的映射关系也是固定,感兴趣区域也是固定的。因此,可以构建映射表,使得每次映射时不需要再重复计算映射参数。具体的,可以通过张正友标定法等对车端的摄像头进行相机标定,得到摄像头对应的标定参数;根据该标定参数,通过图像逆透视映射方法可以确定停车场图像的感兴趣区域与地面的映射参数,得到预置相机图像-路面俯瞰图映射表。

步骤102、将路面感兴趣区域图像作为目标上传图像。

在获取到路面感兴趣区域图像后,可以将其作为目标上传图像直接上传至云端。

步骤103、将目标上传图像上传至云端,使得云端获取目标上传图像的路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

车端在获取到目标上传图像后,将其上传至云端,云端在接收到该图像数据后,获取目标上传图像的路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。其中,路面语义信息包括:停车位、车道线、箭头或减速带。

具体的,当将路面感兴趣区域图像作为目标上传图像时,云端根据车辆的行驶路径对目标上传图像进行拼接得到路面拼接图像,可以得到如图5所示的路面拼接图像;云端通过深度学习模型对路面拼接图像进行检测得到路面语义信息,由于路面拼接图像克服了摄像头采集的停车场图像的形变、扭曲等问题,通过将路面拼接图像输入到深度学习模型进行检测,相比于非路面图像的检测准确率更高;云端将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。其中,目标停车场的停车场语义地图为云端根据车端各传感器采集的目标停车场的停车场数据预先构建的三维地图,但该三维地图还不够完整,随着车辆在该目标停车场行驶次数和行驶路径的增多,该停车场语义地图也逐步完善。

本申请实施例中,考虑到车辆摄像头采集的停车场图像不仅包括路面区域,还有停车场环境,而在构建停车场地图需要用到的元素大都来源于路面,也就意味着,车辆采集的停车场图像并不都用于构建地图。因此,本申请根据预先建立好的相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像,然后直接将路面感兴趣区域图像上传至云端,保留了用于构建地图的路面信息,去除了对于构建地图无用的信息,减少了上传到云端的图像数据量,从而改善了现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

以上为本申请提供的一种停车场语义地图完善方法的一个实施例,以下为本申请提供的一种停车场语义地图完善方法的另一个实施例。

请参考图6,本申请实施例提供的一种停车场语义地图完善方法,包括:

步骤201、根据预置相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像。

步骤202、对路面感兴趣区域图像进行预处理,得到目标上传图像。

在本申请实施例中,车端在获取到路面感兴趣区域图像后,可以对其进行预处理得到目标上传图像。具体的,根据车辆的行驶路径对路面感兴趣区域图像进行拼接,得到路面拼接图像;对路面拼接图像进行区域划分,得到若干路面拼接子图像,将路面拼接子图像作为目标上传图像。

虽然设置小的感兴趣区域进行映射得到的路面感兴趣区域图像可以大大减少车端上传流量,但如果将停车场图像的感兴趣区域设置的太小,会影响云端拼接路面感兴趣区域图像后得到的路面拼接图像的拼接质量,使得后续检测效果不佳。为了平衡车端上传流量和图像拼接质量,本申请实施例通过车端实现路面感兴趣区域图像的拼接,这样车端可以不用设置太小的感兴趣区域,在保证路面拼接图像的拼接质量的基础上,可以选择合适大小的感兴趣区域,并将其映射到地面,得到合适大小的路面感兴趣区域图像。在上传图像之前,车端根据车辆的行驶路径的延伸方向对路面感兴趣区域图像进行图像拼接,得到完整的路面图像,即路面拼接图像,确保路面拼接图像的拼接质量。车端对路面拼接图像进行区域划分得到若干路面拼接子图像,车端将路面拼接子图像作为目标上传图像,最终上传至云端。

步骤203、将目标上传图像上传至云端,使得云端获取目标上传图像的路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

车端对路面拼接图像进行区域划分得到若干路面拼接子图像,车端将路面拼接子图像作为目标上传图像上传至云端,减少了车端上传的数据量,进而减少车端上传流量。云端通过深度学习模型对目标上传图像进行检测得到路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。云端不需要再进行图像拼接,也减轻了云端的负担。

本申请实施例中,考虑到车辆摄像头采集的停车场图像不仅包括路面区域,还有停车场环境,而在构建停车场地图需要用到的元素大都来源于路面,也就意味着,车辆采集的停车场图像并不都用于构建地图。因此,本申请根据预先建立好的相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像,对其进行预处理后再上传至云端,保留了用于构建地图的路面信息,去除了对于构建地图无用的信息,减少了上传到云端的图像数据量,从而改善了现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

进一步,本申请实施例考虑到虽然设置小的感兴趣区域进行映射得到的路面感兴趣区域图像可以大大减少车端上传流量,但如果将停车场图像的感兴趣区域设置的太小,会影响云端拼接路面感兴趣区域图像后得到的路面拼接图像的拼接质量,使得后续检测效果不佳。为了平衡车端上传流量和图像拼接质量,本申请实施例通过车端实现路面感兴趣区域图像的拼接,这样车端可以不用设置太小的感兴趣区域,在保证路面拼接图像的拼接质量的基础上,选择合适大小的感兴趣区域;对路面拼接图像进行区域划分后再上传路面拼接子图像至云端,减少了车端上传流量,且云端不需要再进行图像拼接,也减轻了云端的负担。

以上为本申请提供的一种停车场语义地图完善方法的另一个实施例,以下为本申请提供的一种停车场语义地图完善装置的一个实施例。

请参考图7,本申请实施例提供的一种停车场语义地图完善装置,包括:

映射单元,用于根据预置相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的若干停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像;

预处理单元,用于将路面感兴趣区域图像作为目标上传图像,或,对路面感兴趣区域图像进行预处理,得到目标上传图像;

上传单元,用于将目标上传图像上传至云端,使得云端获取目标上传图像的路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

作为进一步地改进,预置相机图像-路面俯瞰图映射表通过对车辆的摄像头进行相机标定得到的标定参数获取。

作为进一步地改进,当将路面感兴趣区域图像作为目标上传图像时,上传单元具体用于:

将目标上传图像上传至云端,使得云端根据车辆的行驶路径对目标上传图像进行拼接得到路面拼接图像,通过深度学习模型对路面拼接图像进行检测得到路面语义信息,并将路面语义信息添加到目标停车场对应的停车场语义地图中,得到完善后的停车场语义地图。

作为进一步地改进,预处理单元,具体用于:

将路面感兴趣区域图像作为目标上传图像;

或,

根据车辆的行驶路径对路面感兴趣区域图像进行拼接,得到路面拼接图像;

对路面拼接图像进行区域划分,得到若干路面拼接子图像,将路面拼接子图像作为目标上传图像。

本申请实施例中,考虑到车辆摄像头采集的停车场图像不仅包括路面区域,还有停车场环境,而在构建停车场地图需要用到的元素大都来源于路面,也就意味着,车辆采集的停车场图像并不都用于构建地图。因此,本申请根据预先建立好的相机图像-路面俯瞰图映射表,将车辆在目标停车场行驶时采集的停车场图像的感兴趣区域映射到地面,得到路面感兴趣区域图像,然后直接将路面感兴趣区域图像上传至云端,或对其进行预处理后再上传至云端,保留了用于构建地图的路面信息,去除了对于构建地图无用的信息,减少了上传到云端的图像数据量,从而改善了现有技术中车端直接将采集的原始图像上传到云端,上传的图像数据量很大,导致车端上传流量消耗较大,增加了车端的资源负担的技术问题。

进一步,本申请实施例考虑到虽然设置小的感兴趣区域进行映射得到的路面感兴趣区域图像可以大大减少车端上传流量,但如果将停车场图像的感兴趣区域设置的太小,会影响云端拼接路面感兴趣区域图像后得到的路面拼接图像的拼接质量,使得后续检测效果不佳。为了平衡车端上传流量和图像拼接质量,本申请实施例通过车端实现路面感兴趣区域图像的拼接,这样车端可以不用设置太小的感兴趣区域,在保证路面拼接图像的拼接质量的基础上,选择合适大小的感兴趣区域;对路面拼接图像进行区域划分后再上传路面拼接子图像至云端,减少了车端上传流量,且云端不需要再进行图像拼接,也减轻了云端的负担。

本申请实施例还提供了一种停车场语义地图完善设备,设备包括处理器以及存储器;

存储器用于存储程序代码,并将程序代码传输给处理器;

处理器用于根据程序代码中的指令执行前述方法实施例中的停车场语义地图完善方法。

本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,程序代码用于执行前述方法实施例中的停车场语义地图完善方法。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以通过一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号