基于百核微处理器控制的汽车视觉图像处理系统及方法

摘要

本发明提供了一种基于百核微处理器控制的汽车视觉图像处理系统及方法，该系统包括：数据采集装置和百核微处理器，其中，该数据采集装置采集汽车周边的图像数据，并将图像数据信息传输至百核微处理器；图像数据包括：汽车周围的数据图像信息及传感信息；百核微处理器接收数据图像信息，对数据图像信息进行并行处理，生成汽车周边的全景视图。通过本发明实施例，系统由百核微处理器控制，有效的降低了芯片的功耗，且处理器为并行执行，可有效提高系统处理器和内存的利用率。

说明书

技术领域

本发明涉及汽车图像处理领域，具体涉及一种基于百核微处理器控制的汽车视觉图像处理系统及方法。

背景技术

随着人性化技术在汽车上的应用越来越成熟，汽车产业在不断提高安全性的趋势下，车辆需要整合越来越多的外围摄像机(包含：摄像头、传感器、数据采集器、硬件接口和网络接口)和智能图像软件处理技术，以便实现先进的汽车实时全景图像处理系统，如车道偏离警告、避免碰撞、盲点监视、先进的倒车摄影,以及具有物体识别功能的整车全景视图系统等。其主要目标是为车辆驾驶者创建安全的驾驶环境，为了推动这一共同发展的目标的，目前汽车全景视觉图像处理系统的研发，越来越多的得到人们关注和重视。

目前汽车电子系统由单个电子控制单元控制，芯片功耗较高，且处理器为串行执行，系统处理器和内存的利用率低。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的由单个电子控制单元控制，芯片功耗较高，且处理器为串行执行，系统处理器和内存的利用率低的缺陷，从而提供一种基于百核微处理器控制的汽车视觉图像处理系统及方法。

为了实现上述目的，本发明提供一种基于百核微处理器控制的汽车视觉图像处理系统，包括：数据采集装置和百核微处理器，其中，所述数据采集装置采集汽车周边的图像数据，并将所述图像数据信息传输至所述百核微处理器；所述图像数据包括：汽车周围的数据图像信息及传感信息；所述百核微处理器接收所述数据图像信息，对所述数据图像信息进行并行处理，生成所述汽车周边的全景视图。

在一实施例中，上述的方法还包括：所述数据采集装置包括：摄像头、传感器、数据采集器，摄像头用于摄制汽车周围的所述数据图像信息；传感器获取汽车周围的所述传感信息；数据采集器采集所述数据图像信息及所述传感信息，并将所述数据图像信息及所述传感信息传送至所述百核微处理器。

在一实施例中，上述的百核微处理器生成所述汽车周边的全景视图的步骤，包括：根据所数据图像信息生成汽车周边的真实数据图像；对汽车周边物体与汽车行动轨迹进行3D图像计算，将所述真实数据图像转换成数字图像，形成汽车周边的全景视图。

在一实施例中，所述百核微处理器还用于并行处理以下步骤：根据所述数据图像信息及所述传感信息判断汽车在行驶过程中与周边物体的距离是否达到第一预设距离，当汽车与周边物体的距离达到所述第一预设距离时，进行报警；根据所述数据图像信息及所述传感信息判断汽车与车道线的距离是否达到第二预设距离，当汽车与车道线的距离达到所述第二预设距离时，进行报警；根据所述数据图像信息及所述传感信息判断是否有其他汽车进入所述汽车的盲区，并进行提示；根据所述数据图像信息及所述传感信息判断汽车在停车过程中与周边物体的距离是否达到第三预设距离，当汽车与周边物体的距离达到所述第三预设距离时，进行报警。

在一实施例中，上述的方法还包括：根据所述数据图像信息及所述传感信息判断有其他汽车进入盲区时，以第一报警模式进行报警；根据所述数据图像信息及所述传感信息判断有其他汽车进入所述汽车的盲区，且所述汽车打开对应进入盲区的汽车一侧的转向灯时，以第二报警模式进行报警。

本发明实施例还提供一种汽车视觉图像处理方法，包括：获取汽车周边的图像数据，所述图像数据包括：汽车周围的数据图像信息及传感信息；对所述数据图像信息进行并行处理，生成所述汽车周边的全景视图。

在一实施例中，上述的生成所述汽车周边的全景视图，包括：根据所述数据图像信息生成汽车周边的真实数据图像；对汽车周边物体与汽车行动轨迹进行3D图像计算，将所述真实数据图像转换成数字图像，形成汽车周边的全景视图。

在一实施例中，上述的汽车视觉图像处理方法还包括：并行执行的以下步骤：根据所述数据图像信息及所述传感信息判断汽车在行驶过程中与周边物体的距离是否达到第一预设距离，当汽车与周边物体的距离达到所述第一预设距离时，进行报警；根据所述数据图像信息及所述传感信息判断汽车与车道线的距离是否达到第二预设距离，当汽车与车道线的距离达到所述第二预设距离时，进行报警；根据所述数据图像信息及所述传感信息判断是否有其他汽车进入所述汽车的盲区，并进行提示；根据所述数据图像信息及所述传感信息判断汽车在停车过程中与周边物体的距离是否达到第三预设距离，当汽车与周边物体的距离达到所述第三预设距离时，进行报警。

在一实施例中，上述的根据所述数据图像信息及所述传感信息判断是否有其他汽车进入所述汽车的盲区，并进行提示，包括：根据所述数据图像信息及所述传感信息判断有其他汽车进入盲区时，以第一报警模式进行报警；根据所述数据图像信息及所述传感信息判断有其他汽车进入所述汽车的盲区，且所述汽车打开对应进入盲区的汽车一侧的转向灯时，以第二报警模式进行报警。

本发明实施例的有益效果在于，通过本发明实施例的结构，汽车视觉图像处理过程由百核微处理器控制，有效的降低了芯片的功耗，且处理器为并行执行，可有效提高系统处理器和内存的利用率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中基于百核微处理器的汽车视觉图像处理系统的一个具体示例的结构示意图；

图2为本发明实施例1中数据采集装置的一个具体示例的结构示意图；

图3A为本发明实施例1中基于百核微处理器的汽车视觉图像处理系统的另一个具体示例的结构示意图；

图3B为本发明实施例1中基于百核微处理器的汽车视觉图像处理系统的系统接口和操作显示界面的示意图；

图4为本发明实施例1中百核微处理器的一个具体架构的局部示意图；

图5为本发明实施例2中汽车视觉图像处理方法的一个具体示例的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种用百核微处理器控制的汽车视觉图像处理系统，如图1所示，该汽车视觉图像处理系统主要包括：数据采集装置1和百核微处理器2等。

其中，上述的数据采集装置1采集汽车周边的图像数据，并将图像数据信息传输至百核微处理器2；该图像数据主要包括：汽车周围的数据图像信息及传感信息等。

该百核微处理器2接收数据图像信息，对数据图像信息进行并行处理，生成汽车周边的全景视图。

本发明实施例的基于百核微处理器控制的汽车视觉图像处理系统，由百核微处理器2控制汽车视觉图像处理过程，有效的降低了芯片的功耗，且处理器为并行执行，可有效提高系统处理器和内存的利用率。

以下结合具体示例，对本发明实施例的用百核微处理器控制的汽车视觉图像处理系统的各个组成部分及其功能做详细说明。

上述的数据采集装置1采集汽车周边的图像数据，并将图像数据信息传输至百核微处理器2；图像数据包括：汽车周围的数据图像信息及传感信息。

具体地，如图2所示，上述的数据采集装置1包括：摄像头101、传感器102、数据采集器103，其中，摄像头101用于摄制汽车周围的所述数据图像信息，传感器102用于获取汽车周围的所述传感信息，数据采集器103用于采集所述数据图像信息及所述传感信息，并将所述数据图像信息及所述传感信息传送至所述百核微处理器。

在一较佳实施例中，如图3A及图3B所示，上述的摄像头101可具体包括：前摄像头301、后摄像头302、左摄像头303及右摄像头304，并与上述的各个摄像头对应设置有传感器、数据采集器及各种接口。

在具体实施时，该汽车视觉图像处理系统的接口及操作界面可以如图3A及图3B所示，其中，包括：触摸显示屏305，显示距离窗口306，电源灯307，SD卡插口308，电源接口309，喇叭310，USB接口311，摄像机入口312，报警灯313，触摸按钮314等。其中，触摸显示屏305用于显示汽车周围的全景视图；显示距离窗口306用于显示汽车和障碍物或车道线的距离；电源灯307用于显示该汽车视觉图像处理系统接入电源的状态；SD卡插口308用于插入作为存储介质的SD卡；电源接口309用于接入电源线，为整个系统提供电源；喇叭310用于向驾驶员发出声音进行提示；USB接口311用于接入即插即用设备的USB接口；摄像机入口312接入上述的不同方位的摄像头；报警灯313用于显示不同的报警状态(例如，正常状态显示绿灯、需警示情况显示黄灯、紧急情况显示红灯等)；触摸按钮314可包含多种按钮，例如对应各方位摄像头的按钮，用于切换各个方向的全景视图；触发摄像头“照相或录像”功能的按钮；播放摄像头所录视频内容的播放按钮等，本发明并不以此为限。

上述的百核微处理器2，接收数据图像信息，对数据图像信息进行并行处理，生成汽车周边的全景视图。

在实际应用中，上述的百核微处理器2可以是hx3100^TM微处理器，如图4所示，其内有100个处理单元(PE)401，总功耗25毫瓦至2.5瓦，处理器被封装在一个27毫米、984针、0.8毫米间距的封装里；100处理单元(PE)阵列被划分为四个象限，分别供电象限编号为0、1、2、和3；每个PE有4kb程序存储器、500MHz的时钟变量、8、16、nx16整数、32位浮点运算、50，000(每秒百万条指令)和50位的50个累加运算、32位浮点运算和15(每秒千兆次浮点运算)；处理器内还有121个数据存储路由器DMR>

需要说明的是，上述的百核微处理器2的型号及其内部构成，仅为举例说明，而并非用以限制本发明。

本发明实施例的汽车视觉图像处理系统中，利用百核微处理器2的低功耗、100个处理单元、多I/O通道等功能和特点，通过对汽车前后左右的车载数据采集装置1(包含：摄像头、传感器、数据采集器、硬件接口和网络接口)摄制的数据图像信息，进行真实而有效地3D(三维)图像、并行处理和并行计算，从而形成车辆四周的全景数据图像并显示在屏幕上。它能帮助驾驶员在正常行驶、车道保持、盲区监测、泊车/停车等过程中，清楚查看车辆周边是否存在静态或动态的障碍物，并了解静态或动态障碍物与车辆的位置(显示屏)和距离(显示距离窗口)。

在一较佳实施例中，本发明实施例的百核微处理器2对汽车视觉图像进行并行处理和并行计算的过程主要包括以下步骤：

步骤S1：根据数据图像信息及传感信息判断汽车在行驶过程中与周边物体的距离是否达到第一预设距离，当汽车与周边物体的距离达到第一预设距离时，进行报警；

步骤S2：根据数据图像信息及传感信息判断汽车与车道线的距离是否达到第二预设距离，当汽车与车道线的距离达到第二预设距离时，进行报警；

步骤S3：根据数据图像信息及传感信息判断是否有其他汽车进入汽车的盲区，并进行提示；

步骤S4：根据数据图像信息及传感信息判断汽车在停车过程中与周边物体的距离是否达到第三预设距离，当汽车与周边物体的距离达到第三预设距离时，进行报警。

其中，上述步骤S1是用于对汽车行驶过程中，对汽车周边的车辆情况进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对汽车周边的车辆进行监控，为驾驶者提供辅助提醒功能。驾驶员在高速路或城市道路上行驶时，车辆的速度主要包括以下几种：第一种是10km/h至30km/h属低速行驶；第二种是60km/h至90km/h属经济时速行驶；第三种是100km/h至120km/h属快速行驶。

驾驶员在第一种至第三种情况下行驶时，如车辆(前侧、后侧、左侧、右侧)遇到行人、物体(静止或活动)时，通过百核微处理器2生成车辆周边的静态或动态物体与车辆行动轨迹的3D(三维)图像，并结合该3D图像，对车辆周边的情况进行监控，当车辆与周边的人或物体距离较近时，通过显示屏的显示窗口加报警喇叭鸣响提醒驾驶员。具体地，是从数据采集装置1(前侧、后侧、左侧、右侧)至物体(静止或活动)相对距离而定，正常情况下指示绿灯常亮；当前数据采集装置1相距人和物体(静止或活动)50米、后数据采集装置1相距20米、左右数据采集装置1相距5米时，需要开启报警喇叭和黄色指示灯，距离越近(显示窗口)报警声越短促；距离相距0米时(显示窗口)指示红灯常亮，报警喇叭声变频消失。

其中，上述步骤S2是用于对汽车行驶过程中，对汽车与车道线的距离进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对车辆与车道线距离的监控，为驾驶者提供辅助提醒。当车辆行驶在时速60km/h至120km/h之间时，正常情况下指示绿灯常亮。如果车辆已行驶到靠近(例如车辆距两侧车道线的距离小于0.5米时)已监测的车道线时(驾驶员没有使用相应的转向灯)，应开启报警喇叭和指示黄灯。当车辆越过车道线应发出车道偏离的指示红灯闪烁和报警喇叭鸣响警告。如果左侧、右侧数据采集装置1已经采集到驾驶员已打左、右转向灯，就不需要发出车道偏离的指示红灯闪烁和报警喇叭鸣响的警告。

在实际应用中，当车辆行驶在高速公路或城市道路中时，如果道路无车道或道路中间某一段无车道时，此项功能可暂时关闭，等待有车道时再启动。

其中，上述步骤S3是用于对汽车行驶过程中，对汽车盲区的车辆情况进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对汽车盲区的车辆情况进行监控，为驾驶者提供辅助提醒功能。车辆行驶在时速60km/h至120km/h之间时，其左右两侧3米、后方3至5米的区域，极易形成车外后视镜上的视觉盲区，并对车辆造成潜在的危险，因此需要实时监测车辆后方道路情况，正常情况下指示绿灯常亮。当后方、左侧、右侧3米至5米期间，数据采集装置1监测到汽车的后方、左侧、右侧等有车辆在盲区或接近驶向盲区时，对应的报警喇叭和指示黄灯开启；如果数据采集装置1监测到汽车的后方、左侧、右侧等有车辆在盲区或接近驶向盲区，并且设置于车辆后方、左侧、右侧的数据采集装置1采集到驾驶员打开对应有车辆在盲区或接近驶向盲区一侧的转向灯时，马上发出指示红灯连续闪烁和短促的报警喇叭声，作为提醒驾驶员不要转向的强烈警告。

其中，上述步骤S4是用于在汽车泊车/停车时对周边的车辆情况进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对汽车停车情况进行监控，为驾驶者提供辅助提醒功能。当驾驶员行驶到停车场或停车区域时，通过车辆左侧、右侧及后方设置的数据采集装置1采集车辆周围的图像信息，包括停车位置、停车道及本车辆左侧、右侧和后面的物体(静止或活动)等，经车辆行动轨迹与静态和动态物体的计算，采集的图像信息真实地显示在显示屏上。当本车辆与左侧、右侧物体(静止或活动)相距0.5至1.5米之间时(显示窗口)，报警喇叭鸣响并指示红灯闪烁，距离越近报警声越短促并指示红灯闪烁越频繁，相距0米时(显示窗口)指示红灯常亮，报警喇叭声变频消失。当后方设置的数据采集装置1采集车辆后面的物体(静止或活动)时，需要从数据采集装置1至物体(静止或活动)相距2.0米(显示窗口)开始报警喇叭鸣响并指示红灯闪烁，距离越近报警声越短促并指示红灯闪烁越频繁，相距0米时(显示窗口)指示红灯常亮，报警喇叭声变频消失。

需要说明的是，上述的过程中，对于与各摄像头相距的距离限定的具体数值，仅为举例说明，可根据实际需要进行调整，本发明并不以此为限。

实施例2

本发明实施例提供一种汽车视觉图像处理方法，如图5所示，该汽车视觉图像处理方法主要包括以下步骤：

步骤S501：获取汽车周边的图像数据。其中，该图像数据主要包括：汽车周围的数据图像信息及传感信息；

步骤S502：对数据图像信息进行并行处理，生成汽车周边的全景视图。

在一实施例中，可以使用上述实施例1的百核微处理器来执行上述的汽车视觉图像处理方法，通过对汽车前后左右的车载摄像机(包含：摄像头、传感器、数据采集器、硬件接口和网络接口)摄制的数据图像信息，进行真实而有效地3D(三维)图像、并行处理和并行计算，从而形成车辆四周的全景数据图像并显示在屏幕上。它能帮助驾驶员在正常行驶、车道保持、盲区监测、泊车/停车等过程中，清楚查看车辆周边是否存在静态或动态的障碍物，并了解静态或动态障碍物与车辆的位置(显示屏)和距离(显示距离窗口)。

在一较佳实施例中，对汽车视觉图像进行并行处理和并行计算的过程主要包括以下步骤：

步骤S1：根据数据图像信息及传感信息判断汽车在行驶过程中与周边物体的距离是否达到第一预设距离，当汽车与周边物体的距离达到第一预设距离时，进行报警；

步骤S2：根据数据图像信息及传感信息判断汽车与车道线的距离是否达到第二预设距离，当汽车与车道线的距离达到第二预设距离时，进行报警；

步骤S3：根据数据图像信息及传感信息判断是否有其他汽车进入汽车的盲区，并进行提示；

步骤S4：根据数据图像信息及传感信息判断汽车在停车过程中与周边物体的距离是否达到第三预设距离，当汽车与周边物体的距离达到第三预设距离时，进行报警。

其中，上述步骤S1是用于对汽车行驶过程中，对汽车周边的车辆情况进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对汽车周边的车辆进行监控，为驾驶者提供辅助提醒功能。驾驶员在高速路或城市道路上行驶时，车辆的速度主要包括以下几种：第一种是10km/h至30km/h属低速行驶；第二种是60km/h至90km/h属经济时速行驶；第三种是100km/h至120km/h属快速行驶。

驾驶员在第一种至第三种情况下行驶时，如车辆(前侧、后侧、左侧、右侧)遇到行人、物体(静止或活动)时，通过百核微处理器2生成车辆周边的静态或动态物体与车辆行动轨迹的3D(三维)图像，并结合该3D图像，对车辆周边的情况进行监控，当车辆与周边的人或物体距离较近时，通过显示屏的显示窗口加报警喇叭鸣响提醒驾驶员。具体地，是从数据采集装置1(前侧、后侧、左侧、右侧)至物体(静止或活动)相对距离而定，正常情况下指示绿灯常亮；当前数据采集装置1相距人和物体(静止或活动)50米、后数据采集装置1相距20米、左右数据采集装置1相距5米时，需要开启报警喇叭和黄色指示灯，距离越近(显示窗口)报警声越短促；距离相距0米时(显示窗口)指示红灯常亮，报警喇叭声变频消失。

其中，上述步骤S2是用于对汽车行驶过程中，对汽车与车道线的距离进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对车辆与车道线距离的监控，为驾驶者提供辅助提醒。当车辆行驶在时速60km/h至120km/h之间时，正常情况下指示绿灯常亮。如果车辆已行驶到靠近(例如车辆距两侧车道线的距离小于0.5米时)已监测的车道线时(驾驶员没有使用相应的转向灯)，应开启报警喇叭和指示黄灯。当车辆越过车道线应发出车道偏离的指示红灯闪烁和报警喇叭鸣响警告。如果左侧、右侧数据采集装置1已经采集到驾驶员已打左、右转向灯，就不需要发出车道偏离的指示红灯闪烁和报警喇叭鸣响的警告。

在实际应用中，当车辆行驶在高速公路或城市道路中时，如果道路无车道或道路中间某一段无车道时，此项功能可暂时关闭，等待有车道时再启动。

其中，上述步骤S3是用于对汽车行驶过程中，对汽车盲区的车辆情况进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对汽车盲区的车辆情况进行监控，为驾驶者提供辅助提醒功能。车辆行驶在时速60km/h至120km/h之间时，其左右两侧3米、后方3至5米的区域，极易形成车外后视镜上的视觉盲区，并对车辆造成潜在的危险，因此需要实时监测车辆后方道路情况，正常情况下指示绿灯常亮。当后方、左侧、右侧3米至5米期间，数据采集装置1监测到汽车的后方、左侧、右侧等有车辆在盲区或接近驶向盲区时，对应的报警喇叭和指示黄灯开启；如果数据采集装置1监测到汽车的后方、左侧、右侧等有车辆在盲区或接近驶向盲区，并且设置于车辆后方、左侧、右侧的数据采集装置1采集到驾驶员打开对应有车辆在盲区或接近驶向盲区一侧的转向灯时，马上发出指示红灯连续闪烁和短促的报警喇叭声，作为提醒驾驶员不要转向的强烈警告。

其中，上述步骤S4是用于在汽车泊车/停车时对周边的车辆情况进行监控。

在一较佳实施例中，车辆在正常行驶中，可通过对汽车停车情况进行监控，为驾驶者提供辅助提醒功能。当驾驶员行驶到停车场或停车区域时，通过车辆左侧、右侧及后方设置的数据采集装置1采集车辆周围的图像信息，包括停车位置、停车道及本车辆左侧、右侧和后面的物体(静止或活动)等，经车辆行动轨迹与静态和动态物体的计算，采集的图像信息真实地显示在显示屏上。当本车辆与左侧、右侧物体(静止或活动)相距0.5至1.5米之间时(显示窗口)，报警喇叭鸣响并指示红灯闪烁，距离越近报警声越短促并指示红灯闪烁越频繁，相距0米时(显示窗口)指示红灯常亮，报警喇叭声变频消失。当后方设置的数据采集装置1采集车辆后面的物体(静止或活动)时，需要从数据采集装置1至物体(静止或活动)相距2.0米(显示窗口)开始报警喇叭鸣响并指示红灯闪烁，距离越近报警声越短促并指示红灯闪烁越频繁，相距0米时(显示窗口)指示红灯常亮，报警喇叭声变频消失。

需要说明的是，上述的过程中，对于与各摄像头相距的距离限定的具体数值，仅为举例说明，可根据实际需要进行调整，本发明并不以此为限。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。