一种基于车载摄像头五视角拼接立体全景图像的拼接方法

摘要

本发明提供一种基于车载摄像头五视角拼接立体全景图像的拼接方法，包括以下步骤：S1，获取车辆前方、车辆后方、车辆左方、车辆右方以及车辆上空的实时图像；S2，根据的车辆行进方式，将车辆前方实时图像或车辆后方实时图像存储作为路面参考图像；S3，在路面参考图像中预设车辆预定位置，车辆预定位置位于车辆的行进方向上；车辆预定位置占参考图像中的大小根据车辆底部面积在参考路面呈像中的大小进行设定；S4，将预定位置设定为车辆下方实时图像；S5，将车辆前方、车辆后方、车辆左方、车辆右方的实时图像、车辆下方实时图像以及车辆上空的实时图像拼接呈以车辆为中心的第一人称环式图像。

说明书

技术领域

本发明涉及汽车电子技术领域，尤其涉及一种基于车载摄像头五视角拼接立体全景图像的拼接方法。

背景技术

现有的大多车载360°显示系统，拼接出来的图像仅仅只是车辆四周的基于车辆左方、右方、前方、后方的景象；并不是真正意义上的360°显示，并且少量的包括路面以及天空图像呈现的车载360°显示系统，均是单纯的采用增设硬件摄像头的方式以增加车上方、车下方的视角呈像，其增设视角的方式单一，且在车下方视角的呈像显示上，效果也并不理想。

发明内容

本发明的目的在于克服现有技术存在的不足，提供一种基于车载摄像头五视角拼接立体全景图像的拼接方法，包括以下步骤：

S1，获取车辆前方、车辆后方、车辆左方、车辆右方以及车辆上空的实时图像；

S2，根据所述的车辆行进方式，将所述车辆前方实时图像或所述车辆后方实时图像存储作为路面参考图像；

S3，在所述路面参考图像中预设车辆预定位置，所述车辆预定位置位于所述车辆的行进方向上；所述车辆预定位置占所述参考图像中的大小根据所述车辆底部面积在所述参考路面呈像中的大小进行设定；

S4，将所述预定位置设定为所述车辆下方实时图像；

S5，将所述车辆前方、所述车辆后方、所述车辆左方、所述车辆右方的实时图像以及所述车辆下方实时图像拼接呈以所述车辆为中心的第一人称环式图像。

作为进一步改进，在步骤S5之后进一步包括：

S6，以所述车辆上空实时图像与所述车辆下方实时图像作为参照，建构以所述车辆为中心的鸟瞰视角；

S7，通过将所述第一人称环式图像与所述鸟瞰视角相结合，形成以车辆为中心的第三人称全景图像。

作为进一步改进，S21，当所述车辆处于倒车档时，将所述车辆后方实时图像存储为所述路面参考图像；当所述车辆档位处于前进档时，将所述车辆前方实时图像存储为所述路面参考图像。

作为进一步改进，在步骤S3中，进一步包括S31，

S31，当所述车辆进行转弯时，方向盘转动；根据所述方向盘偏转方向，所述车辆预定位置以所述车辆预定位置的后车部为中心点进行偏转，所述车辆预定位置的偏转的方向与所述方向盘偏转的方向相同。

作为进一步改进，所述方向盘转动角度与所述车辆预定位置偏转的角度关系为：所述方向盘转动15°时所述车辆预定位置偏转1°。

作为进一步改进，所述车辆预定位置的车尾部距离所述车辆车头部的距离范围为10cm-30cm。

作为进一步改进，通过设置在所述车辆前车部的外景摄像头所述获取车辆前方的实时图像、通过设置在所述车辆后车部的外景摄像头所述获取车辆后方的实时图像、通过设置在所述车辆左侧倒车镜的外景摄像头所述获取车辆左方的实时图像、通过设置在所述车辆右侧倒车镜的外景摄像头所述获取车辆右方的实时图像、通过设置在所述车辆后视镜上行车记录仪的摄像头获取车辆上空图像。

作为进一步改进：所述车辆各方位的外景摄像头的数量均为1个；每一外景摄像头为广角摄像头，所述广角摄像头的视角为150°-180°。

作为进一步改进，每一外景摄像头为广角摄像头，所述广角摄像头的视角为165°-175°。

10.根据权利要求8所述的基于车载摄像头五视角拼接立体全景图像的拼接方法，其特征在于：每一外景摄像头为广角摄像头，所述广角摄像头的视角为170°。

相较于现有，本发明的有益效果为：

本发明通过位置预判拼接方式，通过检测车辆档位以及方向盘转动的方向、角度得到车辆的行进方式以及行进方向；

基于车辆的行进方式以及行进方向，从车辆前方实时图像与车辆后方实时图像中，选取出正确的参考图像；在参考图像中，设有车辆预定位置，当车辆到达预定位置时将预定位置导入作为车辆下方实时图像；综上所述，在不增设硬件摄像头的基础上，完成了真正意义上的车辆360°全景图像；

不仅如此，基于本发明得到的车辆360°全景图像相较于增设硬件摄像头的方法，尤其是在车辆下方设置摄像头获取车辆下方实时图像的方式，更为准确。因为车辆的底盘高度尤其是小型轿车、跑车的底盘普遍不高，受底盘的高度限制，即使是180度广角的摄像头也不足以覆盖车辆下方路面的全部区域。

另外在本发明中，将车辆上空实时图像与车辆下方实时图像相结合，构成鸟瞰视角，再结合原本获得的以车辆为第一人称的环式视图拼接呈以车辆为第三人称的视图，解决了现有技术中以车辆作为第一人称的全景视图提供的各方为信息，并不能被驾驶员迅速解读的难题，例如在第一人称中，看左边的实时图像就要调整视角到左边，右边的就会成为盲区，反之亦然，给驾驶员提供了方便获取实时图像信息的视觉角度，大大增加了360°车载摄像头的实用性。

在不增设摄像头硬件的基础上，仅通过5个摄像头，得到真正意义上的全景摄像图。

附图说明

图1为本发明一种基于车载摄像头五视角拼接立体全景图像拼接方法的总体流程图。

图2为本发明一种基于车载摄像头五视角拼接立体全景图像拼接方法中通过外景摄像头获取的各实时图像位置示意图。

图3为本发明一种基于车载摄像头五视角拼接立体全景图像的拼接方法中车辆转向的示意图。

图4为本发明一种基于车载摄像头五视角拼接立体全景图像的拼接方法中通过行车记录仪获取的车辆上空实时图像示意图。

元件符号说明

10车辆实际位置

10A车辆预定位置

A1车辆前方实时图像

A2车辆右方实时图像

A3车辆后方实时图像

A4车辆左方实时图像

A5车辆上空实时图像

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1-图4所示，提供本发明一种基于车载摄像头五视角拼接立体全景图像的拼接方法的一种实施例:

S0，在CPU中预存有车辆参数，所述车辆参数包括车身底部面积以及车身长度；

S1，通过设在车辆各方位上的外景摄像头获取车辆前方、车辆后方、车辆左方、车辆右方以及车辆上空的实时图像；将各实时图像数据传输至图像处理介质FPGA中。

具体的，通过设置在所述车辆前车部(车辆最前沿)的外景摄像头所述获取车辆前方的实时图像、通过设置在所述车辆后车部(车辆最后方)的外景摄像头所述获取车辆后方的实时图像、通过设置在所述车辆左侧倒车镜的外景摄像头所述获取车辆左方的实时图像、通过设置在所述车辆右侧倒车镜的外景摄像头所述获取车辆右方的实时图像、通过设置在所述车辆后视镜上行车记录仪的摄像头获取车辆上空图像。

S2，根据所述的车辆行进方式，将所述车辆前方实时图像或所述车辆后方实时图像存储作为路面参考图像，所述路面参考图像存储至非易失存储器中，存储在非易失存储器中的原因是因需要将路面参考图像需要进行筛选处理(关于筛选处理具体可参照S3)、得到车辆下方实时图像。而其余的实时图像并不需要做筛选处理，故存储在易失存储器中或其他存储介质中即可。

在步骤S2中考虑到了车辆的行进方式分为两种情况(分别是前进以及后退)，在不同的行进方式下需要根据行进方式的不同切换参考图像的获取源(车辆前方实时图像、车辆后方实时图像)。通过这种方式能得到与行进方式相符合的参考图像，为之后车辆下方图像的选择奠定基础。

在本实施例中关于车辆的行进方式判定，由步骤S21进行，具体的，

S21，当所述车辆处于倒车档时，将所述车辆后方实时图像存储为所述路面参考图像；当所述车辆档位处于前进档时，将所述车辆前方实时图像存储为所述路面参考图像。本实施例中，这种通过档位判断行进方式方便且准确。

S3，在所述路面参考图像中预设车辆预定位置(预定位置在FPGA中设定)，所述车辆预定位置位于所述车辆的行进方向上；所述车辆预定位置占所述参考图像中的大小(面积)根据所述车辆底部面积在所述参考路面呈像中的大小(面积)进行设定；

在步骤S3中，考虑到路面参考图像中关于路面的图片信息范围很广，而车辆的行进路线在路面参考图像中占的范围有限制；为了能准确的将路面的参考图像转化为车辆下方的实时图像，需要对车辆的行进路线进行限定，从而产生了“车辆预定位置”的概念。

由于车辆预定位置与车辆的实际位置存在距离上的间隔，并且外景摄像头获取的路面参考图像也会因距离产生形状上的差异(例如，实际中竖直的道路，在图像中呈现时是八字形)，为了获取准确的车辆下方实时图像，车辆预定位置的大小、形状也会通过CPU处理进行转换。

如图3所示，基于“车辆预定位置”的概念，本实施例还考虑到在弯道路面情况下，待转换为车辆下方实时图像的车辆预定位置图像，与实际的路面参考图像会存在偏差，进一步导致车辆下方实时图像的不准确。而本实施例中的S31，可以有效的减少这种偏差，

S31，当所述车辆进行转弯时，方向盘转动；

根据所述方向盘偏转方向，所述车辆预定位置以所述车辆预定位置的后车部为中心点进行偏转，所述车辆预定位置的偏转的方向与所述方向盘偏转的方向相同。上述方向盘偏转方向与车辆预定位置的偏转方向均可以通过图3直观的得到；

而关于车辆预定位置的偏转为何是以车辆预定位置的后车部为中心点，是鉴于实际车辆转向中的物理现象.

在本实施例中，为了提升车辆预定位置的图像与实际车辆下方图像相对应，对所述方向盘转动角度与所述车辆预定位置偏转的角度关系进行总结，提高准确度：具体的，所述方向盘转动15°时所述车辆预定位置偏转1°。

并且，本实施例还对，所述车辆预定位置的车尾部距离所述车辆车头部的距离进行了考量，其距离范围为10cm-30cm；

所述车辆预定位置的车尾部距离所述车辆车头部的距离考量是为了解决，在车辆预定位置的图像和实际车辆距离太远，并且车速低的时候，车辆下方的实时图像会存在一段真空期(无车辆下方实时图像)，并且即时当车辆到达了车辆预定位置的地点时，由于车速过低，其呈现的车辆下方图像也与实际的车辆下方图像存在一定延时。

具体的考量因素，需要外景摄像头的视线范围能最大限度的容纳所述车辆预定位置的车尾部宽度。这样在完成获取车辆预定位置图像的同时，也最大限度减少了呈像真空期以及延时的问题。

S4，将所述预定位置设定为所述车辆下方实时图像；

S5，将所述车辆前方、所述车辆后方、所述车辆左方、所述车辆右方的实时图像、所述车辆下方实时图像以及所述车辆上空的实时图像通过图像处理介质FPGA，拼接呈以所述车辆为中心的第一人称环式图像。

FPGA预设有传统计算机视觉算法或深度学习算法，本实施例图像的拼接步骤就基于预设有传统计算机视觉算法或深度学习算法的FPGA进行拼接。

在本实施例S0-S5的步骤已经达成了不仅可以环式车身四周还有即时路面信息以及车辆上空信息的360°环景的图像，

但考虑到以车辆作为第一人称展现的环式图像，不利于将信息直观的传达给驾驶员(第一人称环式图像最终要传达至车辆的显示屏上，在驾驶的过程中有可能会造成驾驶员注意力不集中的现象)，为了使得车辆显示屏上的图片信息能够更直观的传达至驾驶员，本实施例提出了将以车辆为中心的第一人称环式图像转为以车辆为中心的第三人称全景图像的概念(关于为何第三人称全景图像的信息传达方式优于第一人称环式图像，可以参考3D游戏中，第一人称视角和第三人称视角的既视感，第三人称视角提供的周边环境有效信息明显多于第一人称视角提供的周边环境有效信息)。

本实施例中，为了实现这种第一人称至第三人称的转换，在步骤S5之后进一步包括：S6以及S7，具体的；

S6，以所述车辆上空实时图像与所述车辆下方实时图像作为参照，将所述车辆上空实时图像与所述车辆下方实时图像输入至图像处理介质FPGA中，通过传统计算机视觉算法或深度学习算法建构以所述车辆为中心的鸟瞰视角；

S7，通过图像处理介质FPGA将所述第一人称环式图像与所述鸟瞰视角相结合，形成以车辆为中心的第三人称全景图像，这种方法现有的传统计算机视觉算法或深度学习算法均可以实现，可以简单的理解为在原本平面的基础上，曾加了以个Z轴坐标系，使其立体。

所述车辆各方位的外景摄像头的数量均为1个；为了实现各方位实时图像的完整拼接，每一外景摄像头选为广角摄像头，所述广角摄像头的视角为150°-180°。为适应不同的车型，(车宽度，长度等)，外景摄像头的视角也需要进行调整；并且当广角过大时，拍摄出的实时图像会扭曲；优选的选取所述广角摄像头的视角为165°-175°，其中所述广角摄像头的视角为170°的情况时，能符合大多数中小型车辆的视野覆盖范围，并且画面扭曲的程度较低。

所述获取车辆上空的摄像头采用车载行车记录仪的摄像头，虽然车辆的外景摄像头能记录到一定的天空视图，但是其天空视图获取呈像以及高度有限，并不利于建立出结合实际天空情况的Z轴坐标系，故采用车载摄像头获取的车辆上空实时图像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。