一种多传感器融合的无人车探测避障系统及避障方法

摘要

本发明提供了一种多传感器融合的无人车探测避障系统及避障方法，该避障系统包括多个单线激光雷达、双CCD摄像机、微波雷达、前后方盲区超声波传感器组和基于ARM+FPGA+NUC的三核控制器；多个单线激光雷达信号处理由NUC微型电脑处理，CCD摄像机的双目视觉图形数据由ARM+FPGA控制器共同处理，而盲区探测和避障、人机界面、路径规划、在线输出等功能交给STM32F767单独完成，ARM+FPGA控制器通过解码输出控制信号精确控制直流无刷伺服电机，驱动无人车行驶。本发明使得无人车可以全天候较远地发现复杂环境下的障碍物并快速实现有效避障，进而提高无人车高速行驶时的安全性和稳定性。

说明书

技术领域

本发明属于无人驾驶技术领域，具体涉及一种多传感器融合的无人车探测避障系统及避障方法。

背景技术

伴随着经济的快速发展，汽车已经成为了人们生活中越来越重要的组成部分。驾驶员们的疏忽大意会导致许多事故，因此，汽车制造商们集中精力设计能确保汽车安全的系统，安全是拉动无人驾驶车需求增长的主要因素之一；其次，我国大城市里严重的交通阻塞让开车并非那么美好，人工智能的无人车代替有人驾驶可以完全解决交通阻塞等问题；另外，糟糕的空气状况也是推广无人驾驶汽车的“催化剂”。

无人驾驶汽车是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。它是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。无人驾驶汽车集自动控制、体系结构、人工智能、视觉计算等众多技术于一体，是计算机科学、模式识别和智能控制技术高度发展的产物，也是衡量一个国家科研实力和工业水平的一个重要标志，在国防和国民经济领域具有广阔的应用前景。

目前，无人车发展还处于起步阶段，各国都相继开始了智能无人驾驶汽车的研究。无论是何种程度的智能驾驶，第一步都是感知，也就是感知车辆周边复杂的路况环境，在这个基础上才能做出相应的路径规划和驾驶行为决策，感知传感器的选择是无人车成功避障的前提。常用的测距感知传感器有：超声波测距传感器、红外测距传感器、CCD视觉系统、毫米波雷达、微波雷达和激光雷达等等。

激光雷达实际上是一种工作在光学波段(特殊波段)的雷达，激光雷达属于主动探测，不依赖于外界光照条件或目标本身的辐射特性，它只需发射自己的激光束，通过探测发射激光束的回波信号来获取目标信息。激光波长短，可发射发散角非常小的激光束，多路径效应小，可探测低空/超低空目标。单线激光雷达是激光雷达中的一种，由于只有一路发射和一路接收，结构相对简单，使用也比较方便；单线激光雷达扫描周期较短，对前进方向环境的扫描速度快，角度分辨率较高，雷达本身体积较小、重量相对较轻、功耗也比较低、可靠性较高、成本相对低廉；单线激光雷达探测范围相对较广，能提供大量环境扫描点距离信息，可以为控制决策提供较大的方便，以上优点使得单线激光雷达成为了无人车感知未知环境的一个优先选择。

一般普通的简易无人驾驶车结构如图1，探测和避障系统原理如图2。无人驾驶车由激光雷达传感器探测系统探测环境并输送给PC机，然后PC机经过编码处理，发送控制指令给基于单片机的下位机，单片机控制模块经过通讯解码后发送控制指令给直流无刷电机控制器，控制器驱动多个直流无刷电机运动；单片机控制系统根据外围环境的变化来调节电机的速度，进而控制无人车在实际环境中的位置，实现无人车在实际工况当中的行走和避障，现有的简易无人车控制系统均是由单个单片机控制单个单线激光雷达传感器或多线激光雷达传感器来实现上述功能的。现有的无人驾驶车在长时间运行中，存在着诸多问题，主要有：

(1)由于无人车受周围环境不稳定因素干扰，基于单片机的控制器抗干扰能力较差，经常会出现异常，引起无人车失控；

(2)现有的无人驾驶车均采用低级的DSP、ARM系列芯片，工作频率最大才100兆赫兹左右，无法满足无人车复杂数据的快速运算；

(3)受无人车PC机性能影响，无人车的传感器采集数据无法快速计算和储存；

(4)单线激光雷达获取的数据为2D数据，无法区别目标的高度等信息，一些小型物体会被忽略，最终成为障碍物，单一单线激光雷达传感器导航成为车载领域的瓶颈；

(5)单一的单线激光雷达无法获取路面信息，需要配合其它传感器对地面信息进行读取和判别；

(6)多线激光雷达虽然可以实现2.5D或3D数据，可以判断障碍物的高度，处理地面的信息等，但是价格相对比较昂贵，一台64束的激光雷达售价高达70万人民币，无法大面积推广使用；

(7)单一的单线激光雷达无法探测到弯角、路崖等信息，需要配合其它传感器使用才可以读取到周围障碍物信号或定位传感器标志；

(8)现有的无人车基本上只考虑前向探测和避障，均未考虑后方的障碍物信息，有的时候后方出现的障碍物会伤害到无人车本体，而无人车无法实现加速躲避；

(9)基于单一的单线激光雷达无人车在刚启动瞬间存在着一个探测盲区，一旦有障碍物处于盲区，易于产生交通事故；

(10)基于单一的单线激光雷达无人车在实际行驶过程中也会出现探测盲区，一旦在运动过程中有障碍物进入运动盲区也会产生交通事故；

(11)基于单线激光雷达的无人车对前方道路图像采集速度较慢，影响了无人车快速行进；

(12)在长距离行驶中，基于单线激光雷达的无人车对周围环境辨认较差，无法实现精确定位；

(13)在规则交通中，无人车行驶路径的地面上具有各种交通标志，但是单线激光雷达无法辨认，失去了无人车快速行进时的辅助导航；

(14)在规则交通中，无人车行驶路径的空中具有红绿灯等标志，但是单线激光雷达无法辨认，削弱了无人车快速行进时的安全性；

(15)受激光雷达价格和性能的影响，一般性价比比较高的激光雷达探测范围不足100米，这个距离不利于无人车快速行进障碍物的判断。

视觉传感器的原理和结构与人类的感官组织类似，并且视觉传感器具有体积小、成本低、安装方便、隐蔽性好、探测范围广和包含的信息量大等优点。在无人车环境探测系统中加入摄像头可以实时感应周围的环境、收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，可以预先让控制器察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性；激光雷达和视觉传感器存在的缺点为：

(1)受单目视觉本身缺陷影响，无人车传感器探测系统相对单线激光雷达有所提高，但是这个距离不利于无人车高速行驶；

(2)基于CCD的单目视觉障碍物判别需要一个数据容量较大的特征库，一旦某个物体没有特征库数据与之匹配，就会导致障碍物无法判别，从而也无法准确估算这些目标的距离，不利于无人车高速行驶；

(3)无论是单线激光雷达、多线激光雷达或摄像机对有雨雾、灰尘、烟雾的天气非常敏感，雨雾、灰尘、烟雾对激光雷达和视频采集吸收很厉害，所以在雨雾、灰尘、烟雾的天气，激光雷达和视频信号性能会大大下降，对无人车的安全性造成较大的影响；

(4)无论是单线激光雷达、多线激光雷达或摄像机对有强光的天气非常敏感，强烈的阳光有时候可以使激光雷达和摄像机性能会大大下降，有时候甚至没有信号输出，对无人车的安全性造成较大的影响。

微波是波长很短的无线电波，微波的方向性很好、速度等于光速，微波遇到障碍物立即被反射回来，可以被雷达计接收，微波雷达根据电磁波往返时间测得障碍物的距离。与红外、激光等光学导引相比，微波穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。

发明内容

针对现有技术中存在不足，本发明提供了一种多传感器融合的无人车探测避障系统及避障方法，使得无人车可以全天候较远地发现复杂环境下的障碍物并快速实现有效避障，进而提高无人车高速行驶时的安全性。

本发明是通过以下技术手段实现上述技术目的的。

一种多传感器融合的无人车探测避障方法，具体为：

车载电脑NUC通过控制总站调取无人车行驶路径和导航地图信息，ARM+FPGA控制器由前方盲区超声波传感器组确定运动盲区无障碍物时，无人车开始自动加速；

无人车开始启动瞬间，根据天气情况进入工况选择模式：如果天气良好，微波雷达、单线激光雷达传感器以及CCD摄像机均工作，CCD摄像机和微波雷达向ARM+FPGA控制器传输远距离障碍物信息，单线激光雷达传感器向NUC传输近距离障碍物信息，所述障碍物信息经处理后，作为无人车自主导航的反馈距离信号；如果天气恶劣，只有微波雷达工作，无人车根据反馈距离信号开始降速自主导航行驶；

无人车进入运动路线后，如果天气良好，ARM+FPGA由接收的道路标志点，调整无人车进行正常行驶前的位姿，根据车载地图信息正常行驶，向远距离障碍物的前进方向靠近并实施避障；如果天气恶劣，无人车进行中远距离避障。

进一步，所述无人车在向远距离障碍物靠近时，位于无人车前方和顶部的微波雷达与单线激光雷达配合，进行避障，具体为：微波雷达MR1和单线激光雷达L1配合探测前方道路的起伏，MR1先进行中远距离探测，单线激光雷达L1进一步精确确认，确定起伏的深度和宽度；微波雷达MR1、MR2和单线激光雷达L1、L3配合，确定正前方是否存在障碍物：微波雷达MR2先进行中远距离探测，发现疑似障碍物后由微波雷达MR1进行二次确认，疑似障碍物大致确定后再由单线激光雷达L1、L3进行精确位置确认；微波雷达MR1、MR2和单线激光雷达L3、L2配合，确定左前方是否存在障碍物：微波雷达MR2先进行中远距离探测，发现疑似障碍物后由微波雷达MR1进行二次确认，疑似障碍物大致确定后再由单线激光雷达L3、L2进行精确位置确认；微波雷达MR1、MR2和单线激光雷达L3、L4配合，确定右前方是否存在障碍物：微波雷达MR2先进行中远距离探测，发现疑似障碍物后由微波雷达MR1进行二次确认，疑似障碍物大致确定后再由单线激光雷达L3、L4进行精确位置确认。

更进一步，当单线激光雷达L3探测到障碍物信息，进入单线激光雷达精确定位导航模式：

如果单线激光雷达L3和L1探测到前方道路存在起伏，若起伏的高度和宽度超过了无人车越过的要求，无人车进行前方躲避保护；如果起伏的高度和宽度在无人车能够越过的范围内，将按照设定的正常速度进行行驶；

如果单线激光雷达L1和L3探测到前方运动路径中存在障碍物，无人车进行向左或向右的紧急避障让行；如果没有障碍物，无人车将加速至设定的正常速度行驶；

如果单线激光雷达L2和L3探测到左前方运动路径中存在障碍物，无人车进行向右的紧急避障让行；如果没有障碍物，无人车将加速至设定的正常速度行驶；

如果单线激光雷达L4和L3探测到右前方运动路径中存在障碍物，无人车进行向左的紧急避障让行；如果没有障碍物，无人车将加速至设定的正常速度行驶。

进一步，所述无人车进入运动路线后，无人车后方的单线激光雷达和微波雷达时刻检测后方的环境，若判断后方存在障碍物向无人车靠近，进行后方避障保护。

进一步，所述无人车进入运动路线后，前方盲区超声波传感器组和后方盲区超声波传感器组时刻检测盲区的环境，若判断有临时的障碍物向无人车盲区靠近，进行盲区避障保护。

进一步，所述CCD摄像机在无人车正常运行时，对运动方向两边的各种导航标志进行读取，ARM+FPGA控制器处理后，作为高速无人车运行的导航标志。

进一步，所述CCD摄像机在无人车正常运行时，对无人车到达的站点标志进行读取，实现无人车的自动行走、位置追踪和调度。

一种多传感器融合的无人车探测避障系统，包括多个单线激光雷达、双CCD摄像机、微波雷达、前方盲区超声波传感器组、后方盲区超声波传感器组和基于ARM+FPGA+NUC的三核控制器，多个单线激光雷达与NUC进行通讯，双CCD摄像机、微波雷达、前方盲区超声波传感器组、后方盲区超声波传感器组均与ARM+FPGA控制器通讯，NUC与ARM+FPGA控制器通讯。

上述技术方案中，所述多个单线激光雷达包括设置在无人车车顶、且与水平面夹角为α的单线激光雷达L1，所述α为5～15°。

上述技术方案中，所述单线激光雷达还包括设置在无人车前方的单线激光雷达组和设置在无人车后方的单线激光雷达组，所述单线激光雷达组之间均设有微波雷达。

本发明具有的有益效果为：

(1)由NUC处理无人车的多个单线激光雷达的数据融合，使得控制比较简单，大大提高了运算速度，解决了单ARM软运行较慢的瓶颈，缩短了开发周期短，并且程序可移植能力强。

(2)本发明完全实现了无人车的单板控制，节省了控制板占用空间，而且还实现了无人车多个独立区域的有效探测和避障，有利于提高无人车系统的稳定性和动态性能。

(3)由于本发明中控制器采用NUC处理多个单线激光雷达传感器的数据与算法，并充分考虑了周围的干扰源，把ARM从繁重的工作量中解脱出来，有效地防止了运动控制主程序的“跑飞”，无人车抗干扰能力大大增强。

(4)本发明的FPGA内部的同步采集系统保证了双CCD摄像头数据采集的同步，保证了后续距离计算的准确性。

(5)由于本发明中控制器采用FPGA处理大量双目视觉的图像数据，并充分考虑了周围的干扰源，把ARM从繁重的图像处理工作中解脱出来，不仅提高了运算速度，而且有效地防止了运动控制主程序的“跑飞”，无人车抗干扰能力大大增强。

(6)本发明中的CCD摄像机图像数据采集比经济实用型单线激光雷达探测的距离远，使得无人车障碍物探测范围更广，同时微波雷达的存在填补了CCD摄像机和单线激光雷达探测距离之间的一个空白区域，有利于障碍物的追踪和距离的确定，利于无人车的加速和减速，提高了无人车的动态性能。

(7)本发明中双目视觉没有识别率的限制，而且对所有障碍物采用视差原理对物体直接进行测量，测量精度比单目视觉高，从而更精确估算出离障碍物的距离，提前实现避障预警。

(8)本发明中的CCD摄像机可有效探测出高速无人车运行方向周围凸出地面的障碍物，不仅可以提高避障的准确性，而且这些障碍物还可以为无人车导航提供精确定位。

(9)本发明中的CCD摄像机可有效分辨出规则交通中的车道检测线、直行和转弯等道路标志，无人车可以依靠这些标志修正自己的位置和姿态，提高了无人车自由行驶时的自主导航的稳定性和精确性。

(10)本发明中的CCD摄像机可有效分辨出规则交通中的绿灯、黄灯和红灯等交通提示，无人车可以根据这些信息调整自身的速度满足快速行驶、快速停车等需要，提高了无人车自由行驶时的安全性和稳定性。

(11)本发明中单线激光雷达L1与地面具有一定的角度，这个角度可以帮助单线激光雷达L1进一步精确定位CCD摄像机发现的运动路面的起伏，防止路面破损所引起的深坑影响到无人车正常的行驶。

(12)本发明中单线激光雷达L1与地面具有一定的角度，这个角度可以帮助单线激光雷达L1进一步精确定位CCD摄像机发现运动路面临时遗落的小型障碍物，二次通知无人车控制系统实现紧急避让，保障了无人车正常的行驶。

(13)本发明中前方多个单线激光雷达与超声波传感器融合，可以精确定位CCD摄像机发现的障碍物所在位置，二次通知无人车控制系统实现避让，有利于提高无人车行驶的快速性和安全性。

(14)本发明中前方多个单线激光雷达与微波雷达融合，由于单线激光雷达和微波雷达的方向有交叉，可精确探测到CCD摄像机发现的两侧柱状物体，为无人车前进定位提供一定的帮助。

(15)本发明中前方多个单线激光雷达与微波雷达融合，由于单线激光雷达和微波雷达的方向有交叉，可精确探测到CCD摄像机发现的两侧空闲区域，为无人车前进转弯和避障提供一定的帮助。

(16)本发明中后方多个单线激光雷达与微波雷达融合，可有效探测到无人车与后方移动障碍物的距离，当遇到紧急情况时，无人车可以在控制器帮助下加速逃离危险区域，起到保护无人车本体的作用。

(17)本发明中的前盲区探测和避障系统可有效消除无人车刚启动向前加速时出现的近距离盲区，提高了无人车向前启动加速时的安全性和可靠性；同时可有效消除无人车正常行驶时实时出现的近距离盲区，进一步提高了无人车安全性和可靠性。

(18)本发明中的后盲区探测和避障系统可有效消除无人车刚启动倒车时出现的近距离盲区，提高了无人车倒车时的安全性和可靠性；且可有效消除无人车倒车时实时出现的近距离盲区，进一步提高了无人车安全性和可靠性。

(19)在有雨雾或烟雾或灰尘较多的天气状况下，启动本发明中的微波雷达对前进环境进行远距离和中距离探测，在激光雷达受到干扰的条件下采用微波雷达导航，有利于提高无人车恶劣环境下的安全性。

(20)对于本发明中的无人车来说，为了满足大范围多站点运行，加入了具有一定冗余度的站点传感器，不仅利于无人车的定位，而且也有利于总站对无人车的追踪。

(21)本发明中的双目视觉不需要ARM控制器进行庞大的样本特征库与之采集的图像进行对比，直接解决了由于数据特征库缺乏而导致的辨别失败，提高了高速无人车的安全性。

(22)本发明中的CCD摄像机可以在无人车遇到紧急情况时通过无线装置传输现场图像给控制总站，由控制总站预判做出需要紧急处理的方案；

(23)在运动过程中，充分考虑了电池在这个系统中的作用，基于ARM+FPGA+NUC三核控制器时刻都在对无人车的运行状态进行监测和运算，避免了大电流的产生，所以从根本上解决了大电流对电池的冲击，避免了由于大电流放电而引起的蓄电池过度老化现象的发生。

附图说明

图1为普通简易无人驾驶车二维结构图；

图2为普通无人车探测和避障系统原理图；

图3为本发明ARM与FPGA连接图像处理原理图；

图4为多传感器融合无人驾驶车二维结构图；

图5为前方多元雷达组排列二维结构图；

图6为基于双目视觉CCD黑白相机排列二维结构图；

图7为前方盲区超声波传感器组排列二维结构图；

图8为后方多元雷达组和后方盲区超声波传感器组排列二维结构图；

图9为多传感器融合无人车探测和避障系统原理图；

图10为多传感器融合无人车运行示意图；

图11为无人车运行加减速曲线图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

SICK公司的激光雷达采用成熟的激光-时间飞行原理及多重回波技术，非接触式检测，可以根据现场需要，设置各种图形的保护区域，且可以根据现场的需要，随时简单的修改图形，通过内部滤波及多重回波技术使得传感器具有可靠的抗干扰性能。LMS151和LMS122是SICK公司新推出的高性能、分别针对近距离探测的激光雷达，LMS151系列针对10％反射率的物体，距离可以达到50米，LMS122检测距离最远可到达20米。鉴于以上特点，本发明采用基于LMS1XXX系列的激光雷达组来组成无人车近距离前方和后方障碍物探测和保护系统：本发明采用一颗位置略高于车顶、与水平面的夹角为α(5～15°)、斜向下、位于车顶前部中心位置的LMS151-10100单线激光雷达L1(图4、5)，配合一组离地大概40cm、且与水平面平行的LMS151-10100单线激光雷达组FLT(一般为3颗，分别为L2、L3、L4，参见图4、5)组成精确的前方近距离探测和避障系统，其中L2、L4分别位于车头的左前部和右前部，它们中心方向远离运动方向均设有一个近似30°的夹角，可分别有效探测无人车左侧和右侧的障碍物，L3位于L2和L4的中心位置，其中心方向与运动方向一致；本发明采用一组离地大概40cm～60cm、且与水平面平行LMS122-10100单线激光雷达组BLT(一般为2颗，分别为L5、L6，参见图4、8)来组成无人车后方探测和保护系统。

双目CCD摄像采集系统的原理与人眼相似，基于CCD摄像机的双目视觉是在单目视觉上再加一个CCD摄像机，双目视觉可以感知物体的远近，物体距离越远，视差越小，反之，视差越大；双目视觉对所有的障碍物进行直接测量，测量精度比单目视觉高，直接利用视觉差计算距离，无需庞大的数据样本库。基于上述优点，本发明在无人车的前挡风玻璃上安装两颗(CCD1和CCD2)CCD摄像机来形成双目视觉(参见图4、图6)，进行远距离环境探测和避障。

德国英飞凌科技股份公司专一生产车用微波雷达：车用雷达系统发出无线电波，电波被前方的车辆或其他物体反射回来。英飞凌的雷达芯片负责发送和接收这些高频信号，并将它们传给雷达电控单元(ECU)，雷达ECU测出汽车与其它运动物体的间隔距离以及它们的速度，为有人和无人驾驶提供距离判据；英飞凌微波雷达主要有77GHz和24GHz两种，77GHz是自适应巡航控制和碰撞预警等雷达应用的标准频率范围，即使在能见度很低的情况下，77GHz雷达芯片也能让无人车“识别”250米距离内的障碍物和其他道路使用情况；24GHz雷达芯片也能“识别”100米距离内的障碍物和其他道路使用情况，此微波雷达是采用硅锗工艺和工作在24GHz ISM频段(24.0GHz至24.25GHz)的全新产品，配备了一个具有业界最高集成度的片上雷达收发器和一个仅用于接收的辅助芯片，使系统设计能灵活实现多种应用的低成本和高性能的设计目标。全新系列的三款器件分别为BGT24MTR11(单发射单接收通道)、BGT24MTR12(单发射双接收通道)和BGTMR2(双接收器)；由于性价比的原因，本发明采用BGT24MTR11进行中远距离探测，如图5所示，微波雷达MR1的设置位置和方式与单线激光雷达L1相同，其与水平面的夹角为β，且β＜α；微波雷达MR2设置在单线激光雷达L3旁，微波雷达MR3设置在单线激光雷达L5和单线激光雷达L6之间(图8)。

由于传感器组合的原因，无人车在启动向前行驶时一般在前方运动区域存在一个盲区，为了防止启动时发生碰撞，本发明在无人车的底部加入一组由超声波传感器US1、US2、US3、US4、US5组成的前盲区探测和避障系统(参见图7，即图4中的前方盲区超声波传感器组FBZT)。在无人车启动向前行驶瞬间，前盲区探测系统工作，如果在无人车启动加速向前行驶时安全区域不存在障碍，无人车会转入多传感器融合导航状态。由于传感器组合的原因，无人车在启动向后倒车时一般在后方运动区域存在一个盲区，为了防止启动时发生碰撞，本发明在无人车的底部加入一组由超声波传感器US6、US7、US8、US9、US10组成的后盲区探测和避障系统(参见图8，即图4中的后方盲区超声波传感器组BBZT)；在无人车启动向后倒车瞬间，后盲区探测系统工作，如果在无人车启动加速向后倒车时安全区域不存在障碍，无人车会转入多传感器融合导航状态。

STM公司生产的全新STM32F7 MCU系列产品，是全球第一个量产且拥有32位元ARMCortex-M7处理器的微控制器，产品都配备拥有浮点运算单位及DSP扩充功能的Cortex-M7核心，运算速度最高216MHz；具有面向内核、外设和存储器互连的AXI和多AHB总线矩阵，采用6级超标量流水线和浮点单元(Floating Point Unit，FPU)；两个通用DMA控制器和一个专用于图形加速器的DMA；外设速度独立于CPU速度(双时钟支持)，使得系统时钟变化不影响外设工作；相比之前的STM32系列，拥有更丰富的外设；上述出色的能效归功于意法半导体市场领先的90纳米制造工艺、独有的减少闪存访存时间、先进的主频和功耗优化技术，在所有寄存器和SRAM内容都能继续保持的停止模式下，具有100μA的典型电流消耗，同时STM32F7具有优良的指令与管脚兼容性：Cortex-M7向下兼容Cortex-M4指令集，STM32F7系列与STM32F4系列引脚兼容；STM32F7 MCU系列产品将ARM Cortex-M7效能超越早期核心(譬如Cortex-M4)的优势运用到极致，效能达到将近DSP两倍，上述特点使得STM32F7非常适合替代STM32F4系列芯片做无人车多传感器融合的数据处理。

图像处理大致可以分为低级处理和高级处理，低级处理的数据量大、算法简单，存在着较大的并行性；高级处理的算法复杂、数据量小。图像低级处理阶段，利用软件处理是一个很耗时的过程，但是利用硬件处理，就可以对大量数据进行并行处理，能够极大的提高处理速度。FPGA本身只是标准的单元阵列，没有一般的集成电路所具有的功能，但用户可以根据自己的设计需要，通过特定的布局布线工具对其内部进行重新组合连接，在最短的时间内设计出自己的专用集成电路，由于FPGA采用软件化的设计思想实现硬件电路的设计，这样就使得基于FPGA设计的系统具有良好的可复用和修改性，这种全新的设计思想已经逐渐应用在高性能的图像处理上并快速发展。

结合ARM和FPGA的优点，本发明双目视觉同步采集和图像数据分割处理等交给FPGA，而物体双目视觉距离计算交给ARM，二者数据处理连接如图3。

本发明为克服现有无人车稳定性差、快速性差和性价比较差的缺点，舍弃了国产无人车所采用的单一单线激光雷达或多线激光雷达工作模式，提出基于第七代NUC微型电脑+ARM(最新嵌入式STM32F767)+FPGA的全新三核控制模式。为了减少无人车的整体硬件成本和提高无人车探测的距离，采用多个单线激光雷达+双CCD摄像机+超声波传感器融合技术来实现障碍物的探测和避障。控制板以STM32F767为处理核心，实时接收基于NUC7(第七代NUC微型电脑)的上位机多传感器数字融合信号和基于FPGA的CCD摄像机采集的图像信号，并实时响应各种中断，实现与控制总站的数据通信和存储实时信号。

为了提高运算速度，保证无人车控制系统的快速性、稳定性和可靠性，本发明在基于STM32F767控制器中引入FPGA和英特尔的第七代NUC微型电脑，形成基于ARM+FPGA+NUC的三核控制器，此控制器把多个单线激光雷达探测和避障系统控制器系统集中设计，并充分考虑电池在这个系统的作用，实现无人车在各个区域的探测和避障。把无人车控制系统中工作量最大的多个单线激光雷达信号处理交给NUC微型电脑处理，充分发挥NUC微型电脑数据处理速度较快的特点，CCD摄像机的双目视觉图形数据处理交给ARM和FPGA共同处理，发挥各自在图像处理在不同阶段的优点，而盲区探测和避障、人机界面、路径规划、在线输出等功能交给STM32F767单独完成，这样就实现了ARM、FPGA、NUC微型电脑的分工，同时三者之间实时进行通讯进行数据交换和调用。

对于本发明设计的基于ARM+NUC+FPGA三核控制器，在电源打开状态下，ARM、FPGA和NUC首先完成初始化，然后车载电脑NUC通过无人车控制总站调取无人车行驶路径和地图信息，随后盲区超声波传感器组、基于CCD的双目视觉、微波雷达和多个单线激光雷达开始工作，ARM+FPGA控制器确定无障碍物进入工作区域后开启无人车行走模式，并实时计算双目CCD摄像机的图像采集数据和微波雷达数据，同时与NUC相互通讯，NUC实时接收多个单线激光雷达反馈信号并解码，然后与ARM+FPGA控制器通讯并传输控制信号给ARM+FPGA控制器，ARM+FPGA控制器通过解码输出控制信号精确控制直流无刷伺服电机，直流无刷伺服电机经机械装置变换动力后驱动无人车行驶，并实时反馈位移、速度和加速度等信号给ARM控制器。

参照图9，把无人车控制系统分为两部分：基于车载电脑NUC的上位机系统和基于STM32F767的ARM+FPGA下位机系统。其中基于车载电脑NUC上位机系统完成路径和地图输入、多传感器的数据融合和在线输出等功能；基于ARM+FPGA下位机控制系统完成无人车系统的伺服控制、CCD的双目视觉数据处理和微波雷达测距、I/O控制等功能，其中工作量最大的多轴直流无刷伺服系统控制、基于CCD的双目视觉数据处理和微波雷达测距由ARM+FPGA共同处理，充分发挥ARM+FPGA各自数据处理的优点，这样就实现了NUC与ARM+FPGA的分工，同时三者之间又可以进行通讯，实时进行数据交换和调用。

具体实现过程如下：

1)在无人车未接到运动命令之前，它一般在等待区域等待控制总站发出的出发命令，如果电压较低的话，无人车会自动与充电装置对接进行充电。

2)无人车在等待期间一旦接到出发任务后，车载电脑NUC通过控制总站调取无人车行驶路径和导航地图信息，随后ARM+FPGA控制器开启前方盲区超声波传感器US1～US5对前方盲区进行扫描，如果有障碍物进入运动盲区，ARM+FPGA控制器会发出警报，并等待障碍物的清除；如果无障碍物进入运动盲区，无人车开始自动加速。

3)无人车开始启动瞬间，根据天气情况进入工况选择模式：如果天气良好，开启微波雷达MR1～MR3、单线激光雷达传感器L1～L6以及CCD摄像机，CCD摄像机和MR1～MR3开始向ARM+FPGA控制器传输远距离障碍物信息，同时多个单线激光雷达开始向NUC传输近距离障碍物信息，ARM+FPGA控制器和NUC开始解码这些障碍物信息并转化为障碍物与无人车的距离信号并相互通讯，无人车借助这些反馈距离信号开始自主导航，沿着规定路线开始行驶；如果天气恶劣，ARM+FPGA控制器将禁止双目CCD摄像机和单线激光雷达传感器L1～L6工作，只开启微波雷达MR1～MR3，MR1～MR3开始向基于ARM+FPGA控制器传输中远距离障碍物信息，同时ARM+FPGA控制器和NUC相互通讯，无人车借助MR1～MR3反馈距离信号开始降速自主导航，沿着规定路线开始行驶。

4)无人车进入运动路线后，如果天气良好，CCD摄像机的第一个任务就是结合已有的道路地图信息寻找道路的标志点：这个标志点可能是道路的尽头，也有可能是转弯的地点，也可能是某些停靠站点，CCD摄像机发现这些标志点后与FPGA通讯，FPGA对CCD摄像机的图像进行解码然后与ARM通讯，ARM根据内部算法继续处理标志点数据信息，然后转化为直流无刷伺服电机的PWM控制信号，驱动无人车进行正常行驶前的定位和姿态调整；无人车结合CCD摄像机图像采集完成定位和姿态调整后，将根据车载地图信息正常行驶，在行驶过程中CCD摄像机通过FPGA同步采集系统将实时图像传输给FPGA，FPGA解码处理后传输数据给ARM，ARM控制器利用内部算法把实时解码图像数据转化为无人车与障碍物的距离，然后ARM+FPGA控制器开始微调直流无刷伺服电机的控制，使无人车开始自主导航向远离障碍物的前进方向靠近并实施避障。如果天气恶劣，CCD摄像机将被禁止工作，无人车将舍弃远距离避障模式，只能依靠微波雷达MR1～MR3首先实现中远距离避障。

无人车在向远距离障碍物靠近时，中远距离探测微波雷达MR1、MR2分别配合前方近距离探测单线激光雷达L1和L2、L3、L4时刻检测前方的环境，无人车开始实施避障。L1和MR1可单独工作，由于具有一定的倾斜角度，MR1和L1配合可以很好探测到前方道路的起伏，先由MR1对中远距离进行探测，然后由L1进行进一步精确确认，MR1和L1很容易发现起伏的深度和宽度；MR1、MR2、L1和L3配合主要探测正前方障碍物的存在与否：先由MR2对中远距离探测，发现疑似障碍物后由MR1进行二次确认，疑似障碍物大致确定后再有L1和L3进行精确位置确认；MR1、MR2、L3和L2配合检测左前方障碍物的存在与否：先由MR2对中远距离探测，发现疑似障碍物后由MR1进行二次确认，疑似障碍物大致确定后再由L3和L2进行精确位置确认；MR1、MR2、L3和L4检测右前方障碍物的存在与否：先由MR2对中远距离探测，发现疑似障碍物后由MR1进行二次确认，疑似障碍物大致确定后再由L3和L4进行精确位置确认。

在正常行驶过程中，MR2时刻对行驶方向上的中远距离进行探测，探测信号输入ARM控制器进行解码，得到障碍物大致距离，然后当障碍物进入MR1的探测范围后，MR2和MR1的探测信号会同时输送给ARM控制器进行解码，进一步得到障碍物的距离信息等。如果无障碍物进入运动方向，无人车按照原有的速度继续行驶；如果确实有疑似障碍物存在，无人车按照图11的速度控制模式减速至低速进入中远距离探测和避障模式，ARM+FPGA时刻与NUC通讯。如果传感器探测到天气情况非常恶劣，此时多个单线激光雷达将受到严重干扰，ARM+FPGA控制器将继续接收微波雷达MR2和MR1信号而舍弃NUC传输的多个单线激光雷达L1～L6反馈信号，同时无人车开启低速行驶模式，继续以MR2和MR1作为前进导航传感器靠近障碍物并依靠微波雷达信号进行避障；如果天气情况良好，此时微波信号和多个单线激光雷达信号良好，ARM+FPGA控制器将继续接收微波雷达MR2和MR1信号，且NUC接收多个单线激光雷达L1～L6反馈信号，无人车进入微波雷达信号和单线激光雷达信号交接区域，一旦单线激光雷达L3探测到障碍物信息，此时微波雷达的采集信号将作为辅助信号，控制器进入单线激光雷达精确定位导航模式：

如果L3和L1探测到前方运动路径中存在一定高度的起伏小坑，若高度和宽度超过了无人车越过的要求，将向ARM+FPGA控制器中的STM32F767发出中断请求同时把起伏小坑的数据传输给NUC和ARM+FPGA进行处理，STM32F767会对中断优先处理并进入前方躲避保护子程序；如果起伏小坑的高度和宽度在无人车容忍范围，无人车将按照设定的正常速度进行行驶；

如果L1和L3探测到前方运动路径中存在障碍物，将向ARM+FPGA控制器中的STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理，STM32F767会对中断优先处理并进入紧急前方避障保护子程序：STM32F767根据NUC通讯的数据进入向左或向右的紧急避障让行；如果没有障碍物进入运行范围，无人车将按照图11的速度控制模式加速至设定的正常速度行驶。

如果L2和L3探测到左前方运动路径中存在障碍物，将向ARM+FPGA控制器中的STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理，STM32F767会对中断优先处理并进入紧急左前避障保护子程序：STM32F767根据NUC通讯的数据进入向右的紧急避障让行；如果没有障碍物进入运行范围，无人车将按照图11的速度控制模式加速至设定的正常速度行驶；

如果L4和L3探测到右前方运动路径中存在障碍物，将向ARM+FPGA控制器中的STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理，STM32F767会对中断优先处理并进入紧急右前避障保护子程序：STM32F767根据NUC通讯的数据进入向左的紧急避障让行；如果没有障碍物进入运行范围，无人车将按照图11的速度控制模式加速至设定的正常速度行驶。

5)无人车进入运动路线后，单线激光雷达L5、L6和微波雷达MR3时刻检测后方的环境，MR3、L5或L6判断后方存在障碍物向无人车靠近时，将向ARM+FPGA控制器中的STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理，STM32F767会对中断优先处理，然后进入后方避障保护子程序并发出警报；如果后方没有障碍物进入保护范围，无人车将按照设定的正常速度进行行驶。

6)无人车进入运动路线后，前方盲区超声波传感器US1～US5和后方盲区超声波传感器US6～US10时刻检测盲区的环境，如果US1～US5或US6～US10判断有临时的障碍物向无人车盲区靠近时，将向STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理，STM32F767会对中断优先处理，无人车然后进入盲区避障保护子程序并发出警报；如果盲区没有障碍物进入保护范围，无人车将按照设定的正常速度进行行驶。

7)在无人车进入轨道正常运行速度达到要求的条件下，其单线激光雷达L1～L6、超声波传感器US1～US10、双目CCD摄像机和微波雷达MR1～MR3将实时采集外围信号，并把回馈信号输送给NUC或ARM+FPGA控制器，先由NUC进行激光雷达数据融合处理、FPGA对双目CCD图像数据处理、ARM对微波雷达数据处理和响应各种中断保护，然后三者相互通讯，由STM32F767根据传感器融合解码信号生成控制信号给直流无刷伺服电机，控制器通过调节伺服电机的运动来实现无人车的运动速度和运动方向改变，使得无人车可以轻松的跟随车载输入路径。

8)在无人车进入轨道正常运行时，双目CCD摄像机实时对运动方向两边的一些重点标志区域的地面各种导航标志进行读取，然后将采集图像直接传输给FPGA，经FPGA解码处理后传输给ARM，STM32F767将对这些图像解码的数据进行处理后作为高速无人车快速前进、停车、启动和转弯等任务的导航标志之一，并进行二次姿态调整。

9)由于无人车在多数情况下，不是一站式服务模式，到达的地方较多，为了能够实现无人车的站点功能，本发明在站点位置加入了地面标志，当无人车将要到达站点时，ARM+FPGA控制器会通过双目CCD摄像机对站点标志进行读取，当站点读取后将自动累加，为了实现无人车的自动行走循环功能，无人车达到最后一个站点后会自动清零并重新从站点1计数。

10)当无人车进入停靠站点后，ARM控制器存储生成进站信息记录表，然后通过无线装置发送给控制总站，有利于控制总站对无人车位置的追踪和无人车的调度。

11)为了能够满足无人车在风景区等特殊情况下的实际功能需要，本发明加入了停靠站选择功能：在无人车运行初期，控制总站可以自由设置无人车需要去的停靠站，然后无人车依靠自身的传感器可以独立完成这个设定，如果在运行过程中遇到紧急情况控制总站需要更改运行路径或停靠站点，控制主站通过无线装置与无人车ARM+FPGA+NUC三核控制器进行通讯，并通过无线向车载电脑NUC发送更改行走信息，无人车车载电脑NUC会接收并自动更新路径和停靠站点信息并与ARM+FPGA控制器通讯，驱动器驱动无人车按照新的要求完成任务。

12)当无人车按固定路径行驶时，系统上的多种声光报警系统将工作，很容易提醒周围行人无人车的存在，当无人车与主站失去通讯时，ARM+FPGA控制器会发出自动停车信号，直接原地锁死无人车的运动伺服电机，这样就不易与其他无人车发生碰撞，此时控制主站由于无法收集到无人车的传输信息，将根据上一个停靠站点信息进行快速追踪，并解决故障问题。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。