一种基于摄像头的智能汽车定位与道路标识识别系统及方法

摘要

本发明公开了一种基于摄像头的智能汽车定位与道路标识识别系统，包括图像采集模块、FPGA核心控制编码模块和数据处理模块，所述图像采集模块与FPGA核心控制编码模块，FPGA核心控制编码模块与数据处理模块相连；所述图像采集模块用于对车辆周围图像信息进行采集；所述FPGA核心控制编码模块用于对图像采集模块所采集的信息进行无损压缩，并将压缩后的视频传输至数据处理模块；数据处理模块对视频进行分割形成图像帧，对图像帧中的目标区域进行提取，并对车辆、行人及道路标识信息分别进行识别；根据目标的物理特性，判断目标与本车的距离。本发明系统结构紧凑，可适应各种类型的车辆，可根据相应的视频信息进一步深度开发，可扩展性强。

说明书

技术领域

本发明属于智能汽车技术领域，涉及一种基于摄像头的智能汽车定位与道路标识识别系统及方法。

背景技术

智能汽车一个重点就是环境感知问题，而图像传感器是智能汽车获取环境信息的重要手段。传统智能汽车携带大量各类传感器，这些传感器数据是控制智能汽车的信息来源。其中，激光雷达是最为重要的传感器之一。如谷歌智能车即是采用激光雷达对周边环境进行感知，从而为车辆控制提供充足的位置信息。激光雷达存在探测性能好、抗干扰能力强等优点。其对车辆周围信息的感知与检测以及车辆周边障碍物的发现有着较好的使用效果。如谷歌智能车能够绘制车辆周边的3D地图，供车辆进行避障、转弯、变道等操作。但激光雷达也存在许多不足之处。首先激光雷达价钱较为昂贵，其价格普遍高达数万元甚至数十万元。这使得采用激光雷达的智能车改装成本过于昂贵。且采用激光雷达的智能车感知系统对于道路标识的感知也存在相应的问题。由于激光雷达主要针对测量距离进行设计，采用激光雷达的智能车系统无法通过雷达本身对图像信息进行感知。故若需要获得道路标识信息，则必须额外增加摄像头对专门永远道路标识识别。此举不但将增加感知硬件设备的成本，还会大幅提高系统的计算量，增加系统的计算功耗。激光雷达本生的驱动程序以及计算系统对计算能力要求也较高。由于激光雷达信息具有庞大的信息流，要处理这种规模的信息要求计算能力更强的计算平台，例如64线3D激光雷达每秒产生一百三十万笔侦测资料，处理这样的数据车载对于处理器、内存、计算GPU都有很高的要求，否则难以保证计算的实时性。由于计算实时性难以得到保证，现在智能车的计算系统往往采用一些估计方法，这使得智能车只能以降低车速的方式来变相提高安全系数。此外激光雷达的红外线波受气候影响较大，在不同天气状态下，检测距离的精度易受影响。

发明内容

有鉴于此，本发明的目的是提供一种基于摄像头的智能汽车定位与道路标识识别系统及方法。

本发明的目的之一是通过以下技术方案来实现的，一种基于摄像头的智能汽车定位与道路标识识别系统，包括图像采集模块、FPGA核心控制编码模块和数据处理模块，所述图像采集模块与FPGA核心控制编码模块，FPGA核心控制编码模块与数据处理模块相连；所述图像采集模块用于对车辆周围图像信息进行采集；所述FPGA核心控制编码模块用于对图像采集模块所采集的信息进行无损压缩，并将压缩后的视频传输至数据处理模块；数据处理模块对视频进行分割形成图像帧，在数据处理模块中，对图像帧中的目标区域进行提取，并对车辆、行人及道路标识信息分别进行识别并提取车辆、行人及道路标识的位置信息；根据目标的物理特性，判断目标与本车的距离。

进一步，采用深度神经网络的方法对图像帧中的目标区域进行提取。

进一步，采用卷积神经网络对对车辆、行人及道路标识信息分别进行识别。

本发明的目的之二是通过以下技术方案来实现的，一种基于摄像头的智能汽车定位与道路标识识别方法，包括以下步骤：

S1采用图像采集模块对视频信息进行采集；

S2采用FPGA核心控制编码模块对图像采集模块所采集的信息进行无损压缩，并将压缩后的视频传输至数据处理模块；

S3数据处理模块对视频进行分割，对图像中目标区域进行提取，并对道路标识进行识别；

S4根据目标的物理特性，判断目标与本车的距离。

进一步，道路标识的识别包括以下步骤：

S51根据道路标识图像库，预先在数据处理模块中对深度神经网络进行学习，并将其导入车载存储模块中；

S52采用深度学习方法学习提取图像中目标区域信息特征，获取交通标志图像中的位置信息；

S53利用深度神经网络快速提取目标区域，提取目标特征信息；并通过预先存储在存储模块中的模型，实时识别目标的种类，对各类交通道路标识进行识别。

进一步，判断目标与本车的距离的方法包括以下步骤：

S51根据历史道路视频信息，在数据处理模块中，预先对深度神经网络进行学习，并将其导入车载存储模块之中；

S52根据深度神经网络的方法识别对图像中的目标进行识别分离；

S53调用预先学习的模型，采用深度神经网络的方法对道路障碍物进行识别，识别车辆、行人、车道的信息；

S54根据车道宽度、车辆与摄像头角度、车辆尺寸、道路行人信息对智能车位置信息进行计算。

由于采用了上述技术方案，本发明具有如下的优点：

(1)采用该方法可以充分利用视频信息量丰富的特点，对道路重要信息能够一次性充分采集，提升了车辆对道路信息采集的信息量。

(2)采用全新的目标识别算法方式，解决了算法复杂度高，实时性差的缺点，结合并行计算的相关方法进一步提高了系统的实时性，达到了视频信息实时处理的效果。

(3)本发明系统结构紧凑，可适应各种类型的车辆，可根据相应的视频信息进一步深度开发，可扩展性强。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明所述智能汽车感知系统的结构图；

图2为本发明所述智能汽车感知目标识别的系统流程图。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

如图1所示，一种基于摄像头的智能汽车定位与道路标识识别系统，包括图像采集模块、FPGA核心控制编码模块和数据处理模块，所述图像采集模块与FPGA核心控制编码模块，FPGA核心控制编码模块与数据处理模块相连；所述图像采集模块用于对车辆周围图像信息进行采集；所述FPGA核心控制编码模块用于对图像采集模块所采集的信息进行无损压缩，并将压缩后的视频传输至数据处理模块；数据处理模块对视频进行分割形成图像帧，在数据处理模块中，采用深度神经网络对图像帧中的目标区域进行提取，采用卷积神经网络对车辆、行人及道路标识信息分别进行识别并提取车辆、行人及道路标识的位置信息；根据目标的物理特性，判断目标与本车的距离。

本发明采用该方法可以充分利用视频信息量丰富的特点，对道路重要信息能够一次性充分采集，提升了车辆对道路信息采集的信息量；采用全新的目标识别算法方式，解决了算法复杂度高，实时性差的缺点，结合并行计算的相关方法进一步提高了系统的实时性，达到了视频信息实时处理的效果。

如图2所示，一种基于摄像头的智能汽车定位与道路标识识别方法，包括以下步骤：

(1)使用车载摄像头历史交通视频数据、交通标志数据、文字数据对车预设的卷积神经网络结构(CNN)进行预训练，得到相应的深度神经网络模型。

(2)在数据处理模块上构建对应的卷积神经网络结构，并导入训练后的神经网络参数。

(3)采用FPGA对摄像头参数进行初始设置。

(4)打开摄像头，采集视频信息1秒。

(5)根据摄像头视频信息亮度、对比度、边缘强度信息通过信息熵、对比度算子、sobel算子进行初步计算。

(6)根据识别算法对于边缘强度、亮度、对比度的要求通过FPGA控制板完成对摄像头的ISO，锐度进行相应的配置。

(7)采用图像采集模块对视频信息进行采集；

(8)采用FPGA核心控制编码模块对图像采集模块所采集的信息进行无损压缩，并将压缩后的视频传输至数据处理模块；

(9)数据处理模块对视频进行分割；

(10)使用深度神经网络(DNN)根据目标与背景信息的边缘差别，对目标区域，并记录目标坐标；

(11)根据目标坐标与摄像头的位置关系，对目标性质进行初步划分，将目标划分为道路目标与交通标识；

(12)根据初步目标划分的结果，对道路目标，对行人、车辆与车道进行识别；

(13)根据车辆、行人数目与道路宽度估计道路拥堵程度作为控制依据；

(14)根据车辆、行人在摄像头中所占像素点数目估计车辆与本车位置关系；

(15)根据车辆信息类型计算车辆与本车详细位置关系(包括本车与目标车的距离)，为车辆实时控制提供依据；

(16)此外对于被识别到的道路周边信息，将进行筛选，分辨其是否为道路标志牌信息；

(17)若为道路标志牌信息，则需识别其标志种类；

(18)对于记录道路地质，限速等信息的道路标志，采用基于深度学习的光学字符识别识别数字或文字信息；

(19)根据道路标志信息对道路行驶控制提供信息；

(20)对全部视频信息存入存储模块用以备份；

(21)对视频识别后的全部识别信息与备份信息全部一并存入存储模块之中进行备份；

在本发明中，道路标识的识别包括以下步骤：

S51根据道路标识图像库，预先在数据处理模块中对深度神经网络进行学习，并将其导入车载存储模块中；

S52采用深度学习方法学习提取图像中目标区域信息特征，获取交通标志图像中的位置信息；

S53利用深度神经网络快速提取目标区域，提取目标特征信息；并通过预先存储在存储模块中的模型，实时识别目标的种类，对各类交通道路标识进行识别。

在本发明中，判断目标与本车的距离的方法包括以下步骤：

S51根据历史道路视频信息，在数据处理模块中，预先对深度神经网络进行学习，并将其导入车载存储模块之中；

S52根据深度神经网络的方法识别对图像中的目标进行识别分离；

S53调用预先学习的模型，采用深度神经网络的方法对道路障碍物进行识别，识别车辆、行人、车道的信息；

S54根据车道宽度、车辆与摄像头角度、车辆尺寸、道路行人信息对智能车位置信息进行计算。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。