一种基于行为识别的智能车辆运行控制系统和方法

摘要

本发明涉及一种基于行为识别的智能车辆运行控制系统和方法，所述控制系统包括人体行为识别装置、中央控制端和车辆运动控制装置，其中，人体行为识别装置：获取交通指挥动作图像并分析识别指挥行为；中央控制端：获取并对比所述指挥行为和车辆运动实时姿态信息，生成调整车辆动作姿态的控制信息，并传输给所述车辆运动控制装置；车辆运动控制装置：获取并发送车辆运动实时姿态信息，并基于所述控制信息调整车辆动作姿态。与现有技术相比，本发明提高了交警指挥动作识别的准确性和实时性，可服务于无人驾驶车辆领域。

说明书

技术领域

本发明涉及人工智能中的计算机视觉领域，涉及一种基于深度神经网络的人体姿态估计和基于机器学习的行为识别分类器训练，尤其是涉及一种基于行为识别的智能车辆运行控制系统和方法。

背景技术

日趋严重的城市交通拥堵现象要求传统的交警指挥交通不可被代替，而随着无人车进入人们的视线，让无人车能够正确及时地识别交警指挥动作并做出反应是无人车投入使用必须解决的问题。在识别交警指挥动作时不仅要考虑识别交警指挥动作的准确度，还要考虑识别交警指挥动作并做出反应的时间。

公开号为CN101739834A的中国发明专利公开了基于手势识别的多功能无线交警手势识别系统，依靠佩戴式手套获取交警手部挥动时产生的加速度信号识别交警手势，使得司机在远处能获取交警执法信息，该方法仅仅是显示了交警手势但并未真正识别交警手势并做出反应。公开号为CN105893951A的中国专利公开了一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统，通过识别道口交警手势朝向和手势指令，再将道口地理位置坐标、交警指令、交警指令朝向经无线传输至道口附近的无人驾驶汽车，由无人驾驶汽车接受指令并响应，该方法不要求交警穿戴，但需要在道口安装深度传感器，且需要通过无线传播。公开号为CN111881802A的中国专利公开了基于双分支时空图卷积网络的交警手势识别方法，包括采用深度卷积网络对交警关节点以及骨架进行提取以及使用信息表征方法来双路表征时空图卷积网络的输入信息。该方法可以克服由于交警的身高、衣着，交通场景光照以及复杂度等因素的影响，有效提升交警手势检测精度，但因网络深度因素导致实时性略显不足。

发明内容

本发明的目的就是克服上述现有技术存在的缺陷而提出一种基于行为识别的智能车辆运行控制系统和方法，该系统和方法提高了交警指挥动作的准确性和实时性，可服务于无人驾驶车辆领域。

本发明的目的可以通过以下技术方案来实现：

一种基于行为识别的智能车辆运行控制系统，包括人体行为识别装置、中央控制端和车辆运动控制装置，其中，

人体行为识别装置：获取交通指挥动作图像并分析识别指挥行为；

中央控制端：获取并对比所述指挥行为和车辆运动实时姿态信息，生成调整车辆动作姿态的控制信息，并传输给所述车辆运动控制装置；

车辆运动控制装置：获取并发送车辆运动实时姿态信息，并基于所述控制信息调整车辆动作姿态。

优选地，所述人体行为识别装置包括：

摄像头模块：拍摄和获取交通指挥动作图像；

姿态估计模块：利用OpenPose多人人体姿态估计算法对所述交通指挥动作图像进行人体骨架关键点的标定，并获取和归一化人体关键点在图像中的二维像素坐标；

分类模块：利用SVM分类模型对归一化后的人体关键点的所述二维像素坐标进行分类，识别指挥行为。

优选地，所述车辆运动控制装置包括：

IMU模块：获取和处理车辆运动实时姿态信息；

电机及驱动模块：基于所述控制信息调整车辆动作姿态。

优选地，所述中央控制端采用通过PID闭环负反馈控制方法生成所述控制信息。

优选地，所述指挥行为包括前进、加速、停止、左转及右转。

本发明还提供一种基于行为识别的智能车辆运行控制方法，包括如下步骤：

步骤S1：采集交通指挥动作图像并分析识别指挥行为；

步骤S2：获取车辆运动实时姿态信息，对比所述指挥行为和车辆运动实时姿态信息，生成调整车辆动作姿态的控制信息；

步骤S3：基于所述控制信息调整车辆动作姿态。

优选地，所述步骤S1包括：

步骤S101：拍摄获取交通指挥动作图像；

步骤S102：利用OpenPose多人人体姿态估计算法对所述交通指挥动作图像进行人体骨架关键点的标定，并获取和归一化人体关键点在图像中的二维像素坐标；

步骤S103：利用SVM分类模型对归一化后的人体关键点的所述二维像素坐标进行分类，识别指挥行为。

优选地，所述的步骤S2中，通过PID闭环负反馈控制方法生成所述控制信息。

优选地，所述指挥行为包括前进、加速、停止、左转及右转。

优选地，所述车辆运动实时姿态信息为经卡尔曼滤波方法处理后的信息。

与现有技术相比，本发明具有如下有益效果：

1.本发明通过进行车辆智能决策的模拟实验，搭建基于行为识别的智能车辆控制系统，该系统提高了交警指挥动作识别的准确性和实时性；

2.本发明将机器视觉同交通指挥结合，提供了通过人体行为识别控制无人车辆运动状态的方法；

3.本发明在搭建的智能车辆平台基础上，利用多线程并行的方式进行行为识别及车辆决策与控制程序的编写，根据行为分类结果进行车辆的智能决策，在能够达成实时性要求的基础上按既定动作控制车辆的左转、右转、加速、停止、行进运动；

4.本发明首先进行人体姿态估计的研究，通过骨架拟合提取特征进而获得特征向量，有效解决人体体格大小不一和图像所占尺寸不同的问题；

5.本发明在利用IMU模块获得的车辆姿态数据基础上，利用卡尔曼滤波算法进行数据处理，将得到的数据与预期指定数据比较，利用PID控制方法实现车辆闭环控制，控制车辆轨迹。

附图说明

图1为本发明整体系统框架图；

图2为训练数据集五种行为示例图；

图3为人体指挥动作行为识别框图；

图4为车辆运动控制原理框图；

图5为人体姿态骨架关键点拟合示例；

图6为SVM准确率曲线图；

图7为SVM损失曲线图；

图8为人体行为识别部分设计流程图；

图9为实施例中车辆运动控制流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明中的一些术语解释如下：

术语1：OpenPose多人人体姿态估计算法

OpenPose是目前最流行的几种多人人体姿态估计算法之一，是在卷积神经网络CNN的基础上加以改造，并在监督学习的模式下对人体骨骼关键点进行检测的网络。它可以实现人的面部表情、躯干和四肢甚至手指的跟踪，既适用于单人检测也适用于多人检测，并具有较好的鲁棒性。它实现了基于深度学习的实时多人二维姿态估计，为机器理解人的行为提供了一个高质量的信息维度。

术语2：MLP神经网络

MLP(Multi-Layer Perceptron，多层感知器)神经网络是常见的ANN(ArtificialNeural Network，人工神经网络)算法，它由一个输入层，一个输出层和一个或多个隐藏层组成。每个神经元都有几个输入(连接前一层)神经元和输出(连接后一层)神经元，该神经元会将相同值传递给与之相连的多个输出神经元。一个神经网络训练网将一个特征向量作为输入，将该向量传递到隐藏层，然后通过权重和激励函数来计算结果，并将结果传递给下一层，直到最后传递给输出层才结束。通过训练ANN算法来计算和学习每一层的权重、突触以及神经元。

术语3：SVM分类算法

SVM(Support Vector Machines，支持向量机)多分类器的原理和传统用于二分类问题的支持向量机分类算法有区别，主要有两类方法。第一类方法主要思想是在优化公式的同时考虑所有的类别数据。该算法在经典的SVM理论的基础上，重新构造多类分类型，同时考虑多个类别,然后将问题也转化为一个解决二次规划问题，从而实现多分类。该算法由于涉及到的变量繁多，选取的目标函数复杂，实现起来比较困难，计算复杂度高。

术语4：IMU

IMU全称为惯性导航系统(Inertial Measurement Unit)，主要元件有陀螺仪、加速度计和磁力计。其中陀螺仪可以得到各个轴的加速度，而加速度计能得到x，y，z方向的加速度，而磁力计能获得周围磁场的信息。主要的工作便是将三个传感器的数据融合得到较为准确的姿态信息。

术语5：卡尔曼滤波

卡尔曼滤波是以系统的观测量作为滤波器的输入量，以系统状态量的估计值作为滤波器的输出量，利用系统噪声和观测噪声的统计特性进行最优估计的数据处理方法。

术语6：PID控制算法

PID控制算法是结合比例、积分和微分三种环节于一体的控制算法，它是连续系统中技术最为成熟、应用最为广泛的一种控制算法，该控制算法出现于20世纪30至40年代，适用于对被控对象模型了解不清楚的场合。PID控制的实质就是根据输入的偏差值，按照比例、积分、微分的函数关系进行运算，运算结果用以控制输出。比例控制的意义：得到信号的负反馈后，可以计算出输出值和期望值的差值，该差值可以通过比例换算得到控制量的输出进行消除。比例系数影响偏差下降的快慢，和偏差下降的速度成正比，偏差急速下降时，系统有可能发生超调，从而导致系统波动。积分控制用于补偿积分所引起的误差，从而达到消除误差的目的。误差值和误差存在的时间会影响到积分控制的结果。微分控制是控制偏差的改变方向，能够先补偿对误差大小，系统输出响应所用的时间将会缩短，系统相应最大偏离量与终值之间的比率将会下降。

实施例1

由于道路基础设施条件、政策条件、技术条件等的限制，道路无法大规模改造和加装传感器，大规模无人驾驶车辆的普及还比较遥远，道路上的人流密集情况和交警指挥交通的形式在较长的一段时间内不会改变。在这种前提下，如何使无人驾驶车辆在具有交警指挥交通的真实环境下，排除行人干扰，识别交警指示并控制自身的运动，对无人驾驶技术的落地应用有重要意义。

本实施例提供一种基于行为识别的智能车辆运行控制系统，如图1所示，包括人体行为识别装置M1、中央控制端M2和车辆运动控制装置M3，其中，

人体行为识别装置M1：获取交通指挥动作图像并分析识别指挥行为；

中央控制端M2：获取并对比所述指挥行为和车辆运动实时姿态信息，生成调整车辆动作姿态的控制信息，并传输给所述车辆运动控制装置；

车辆运动控制装置M3：获取并发送车辆运动实时姿态信息，并基于所述控制信息调整车辆动作姿态。

具体地，如图3所示，所述人体行为识别装置M1包括摄像头模块M101、姿态估计模块M102和分类模块M103，其中，摄像头模块M101包括车载摄像头，拍摄和获取交通指挥动作图像，姿态估计模块M102利用OpenPose多人人体姿态估计算法对交通指挥动作图像进行人体骨架关键点的标定，并获取人和归一化体关键点在图像中的二维像素坐标；分类模块M103利用SVM分类模型对归一化后的人体关键点像素坐标进行分类，识别指挥行为。本实施例中，指挥行为包括前进、加速、停止、左转及右转等五种动作，如图2所示。

姿态估计模块M102中存储有预先训练获得的基于机器学习的OpenPose多人人体姿态估计模型和SVM分类模型，以采集常用的交通指挥动作图片构成训练集，训练过程中从车辆的实际行为与期望行为比较得出准确度，获得优化的模型。

具体地，中央控制端M2采用PID闭环负反馈控制方法生成所述控制信息。

具体地，所述车辆运动控制装置M3包括IMU模块M301和电机及驱动模块M302，IMU模块M301用于获取和处理车辆运动实时姿态信息，其中处理方法包括卡尔曼滤波方法等，提高信息准确度；电机及驱动模块M302用于根据中央控制端M2生成的控制信息调整车辆动作姿态。IMU模块M301包括陀螺仪、加速度计和磁力计，分别实时获取车辆的角速度、加速度和磁场强度信息，最终和处理获得车辆的运动姿态信息。本实施名，IMU模块采用利用搭载MPU9250芯片的JY-901模块。

本发明针对根据交通指挥中的动作识别，对智能车辆的运动控制进行研究，在对智能车辆体系结构和功能结构进行研究的基础上，搭建了一种智能车辆典型行为识别系统，采集常用的交通指挥动作图片构成训练集，并采用OpenPose模型对训练集进行人体关键点标定，利用机器学习模型SVM对不同行为进行分类学习，利用IMU器件采集数据，对智能车辆的运动进行闭环控制。通过上述基于行为识别的智能车辆运行控制系统能够通过摄像头模块获取的视频流中截取的交警的帧图像自动识别获得交警的指挥动作，基于该指挥动作与采集的车辆运动实时姿态信息的比对结果，获得控制车辆运动的控制量，实时车辆运动的闭环控制，全程自动化，控制精确高，解决通过单目摄像头对人体上半身姿势的识别分类技术问题，实现了通过检测人体骨架动作控制车辆运行的功能。

本装置运用深度神经网络和机器学习等技术，通过姿态估计方法，识别交警的各种姿态，车辆按其指示含义进行自主运动，模拟真实环境下的行车情况，可服务于无人驾驶车辆领域。

实施例2

本实施例提供一种基于行为识别的智能车辆运行控制系统方法，包括：

步骤S1：采集交通指挥动作图像并分析指挥动作行为信息；

步骤S2：获取并对比所述指挥行为和车辆运动实时姿态信息，生成调整车辆动作姿态的控制信息，并传输给所述车辆运动控制装置；

步骤S3：基于所述控制信息调整车辆动作姿态。

所述步骤S1的人体行为识别过程如图8所示，具体包括：

步骤S101：拍摄和获取交通指挥动作图像；

步骤S102：经OpenCV库函数处理得视频流和帧图像；

步骤S103：压缩图像；

步骤S104：利用OpenPose多人人体姿态估计算法对交通指挥动作图像进行人体骨架关键点的标定，并获取人和归一化体关键点在图像中的二维像素坐标，保存为JSON格式文件；

步骤S105：利用SVM分类模型对归一化后的人体关键点的所述二维像素坐标进行分类，识别不同的指挥行为；

步骤S106：输出识别结果；

步骤S107：判断是否需要退出，若是，则退出结束流程，若否，则返回步骤S101。

步骤S2采用基于机器学习的OpenPose多人人体姿态估计模型和SVM分类模型实现，以采集常用的交通指挥动作图片构成训练集，获得优化的模型。本实施例中选择了20位参与者，分别就前进、左转、右转、停止和加速五种动作，每种动作每人采集五张图片，共计500张图片。在对部分图片进行处理后，共计1000张图片。在拍摄过程中，拍摄设备摆放角度固定，人和手部正对镜头。最后将该1000张图片作为原始数据集图片。

OpenPose姿态估计方法采用骨架拟合提取特征，主要分为四步，首先输入图像进入两个分支的在卷积神经网络CNN基础上改造的网络，其次同步进行身体部位关键点的检测及根据PAFs对身体部位肢体点的连接；然后利用二分图匹配算法将同一个人的身体部位关键点连接起来；最后在输出结果中将所有人的全部身体姿态连接起来。本实施例利用在微软COCO数据集中训练好的OpenPose模型，采集到的18个人体关键点数据，分别为耳、肩膀、手臂、膝等。由于本实施例中交通指挥动作主要是上身动作的变换，因此主要利用的是上半身的8个点。本文实施例采集的数据为上述18个关键节点经过OpenPose处理之后得到的二维相对坐标数据。所提取的姿态骨架关键点拟合示例如附图5所示。

具体地，所述步骤S103利用SVM分类模型的分类结果，其学习曲线图如图6-7所示，参考图6，SVM分类的准确率高于91％；参考图7，SVM分类的损失函数值较低，总体分类结果良好。

具体地，步骤S2中的车辆运动实时姿态信息为经卡尔曼滤波方法处理后的信息。利用卡尔曼滤波算法对车辆运动信息进行处理，将陀螺仪测量的原始角速度数据和磁力计测量的磁感应强度数据进行滤波，并对角度姿态数据进行融合处理，得到当前角度的最优估计。所述的步骤S2采用PID闭环负反馈控制方法生成控制信息，具体是将得到的精确实际姿态信息和根据指挥行为获得的指定车辆动作相比较，控制车辆进行姿态调整以减小车辆姿态误差。

本实施例以控制车辆直线行驶为例，考虑到车辆主要在二维平面运动，故而本实施例中需识别的车辆运动实时姿态信息为车辆的偏航角。在短距离直线运动过程中，需控制车辆偏航角与初始时刻保持一致，因此本实施例中通过获取车辆当前角度计算其与初始时刻偏航角的误差，获取控制量改变车辆左右轮速，来达到控制车辆偏航角使之保持直线行驶的效果。本实施例的车辆运动控制流程图如附图9所示，

在S201中，获取车辆的初始偏航角度；

在S202中，判断程序是否终止，如果终止结束程序，否则执行S203；

在S203中，获取当前角度；

在S204中，计算误差；

在S205中，采用PID闭环负反馈控制方法控制车辆轮速，将得到的实际角度最优估计及指定动作角度信息输入控制器，控制车辆调整动作姿态，使车辆尽可能按照指定角度进行动作，返回S202。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。