一种司机分心驾驶检测方法

摘要

本发明涉及一种司机分心驾驶检测方法，步骤1、构建训练集和测试集；对多帧车辆驾驶室内的司机图像转化成灰度图像，并对灰度图像依次进行归一化处理、预处理和提取轮廓纹理，得到每帧司机图像所对应的第二图像，之后将第二图像分成训练集和测试集；步骤2、构建并训练卷积神经网络得到训练完成的卷积神经网络，其中构建的卷积神经网络的卷积核大小逐层减小；步骤3、在测试集中任意选择一帧待测试的司机图像所对应的第二图像，将其输入到步骤2中训练完成的卷积神经网络中，即得到待测试的司机图像所对应的动作类别。优点在于：通过提取轮廓纹理使学习的内容变得简单，另外通过逐层降低卷积核大小以实现快速提取司机信息和降低网络参数量。

说明书

技术领域

本发明涉及图像处理领域，特别涉及一种司机分心驾驶检测方法。

背景技术

近年来，随着私家车数量不断增加，交通事故也在不断增多，其中很大一部分是驾驶员分心驾驶造成的，例如：驾驶员在开车过程中接听电话、喝水、拿东西等分心动作都易发生交通事故。因此有必要对驾驶员的动作进行实时检测并对分心驾驶的司机做出及时提醒从而能有效避免安全事故的发生。

为了实现对司机分心驾驶进行检测，如有申请号为CN201910532626.X(申请公布号为CN110363093A)的中国发明专利公开了一种司机动作识别方法及装置，包括：通过获取当前司机的图像；将图像分别输入预先训练得到的二维卷积神经网络和三维卷积神经网络中，得到对司机动作的第一识别结果和第二识别结果；将第一识别结果和第二识别结果进行对比，确定所述司机动作所属的动作类型。通过二维卷积神经网络识别驾驶姿态的某一时刻的司机动作，三维卷积神经网络识别驾驶姿态的中间过程的司机动作，采用将二维卷积神经网络与三维卷积神经网络相结合的方法共同识别司机的驾驶姿态，提高了司机动作识别的准确性。但卷积神经网络庞大的网络参数量使得其训练模型难以用于实时检测，而且深层神经网络容易产生过拟合问题。

另外，现有的卷积神经网络中在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小，多个小的卷积核叠加使用要远比一个大的卷积核单独使用效果要好的多，例如，三层3×3的卷积层虽然也可以得到一层7×7的卷积层的感受野，但是三层3×3的卷积层的计算量比一层7×7的卷积层的计算量要低，因此现有的卷积神经网络中通常使用多个小的卷积核叠加使用代替一个大的卷积核，当然，卷积核也不是越小越好，对于特别稀疏的数据当使用较小的卷积核的时候无法表示其特征，如果采用较大的卷积核则会导致复杂度较大的增加。但是目前的卷积神经网络中并未对卷积层的卷积核进行限定，为了降低计算量大多都是选择3×3的卷积层，因此现有技术中的卷积神经网络并不能用于实时检测。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种通过减少网络参数量、提高准确度和提高图像处理能力以实现实时检测的司机分心驾驶检测方法。

本发明解决上述技术问题所采用的技术方案为：一种司机分心驾驶检测方法，其特征在于：包括以下步骤：

步骤1、构建训练集和测试集；具体步骤为：

步骤1-1、将多帧车辆驾驶室内的司机图像均转化成大小为N*M的灰度图像，N和M均为正整数；

步骤1-2、分别对步骤1-1中的每帧N*M的灰度图像依次进行归一化处理和预处理，得到每帧司机图像所对应的第一图像；

步骤1-3、提取每帧第一图像的轮廓纹理，得到每帧司机图像所对应的第二图像；

步骤1-4、将所有的第二图像分成训练集和测试集，其中，训练集中每个训练样本包括每帧司机图像所对应的第二图像以及该司机图像对应的动作类别标签；

步骤2、构建卷积神经网络并对卷积神经网络进行训练，得到训练完成的卷积神经网络，具体步骤为：

步骤2-1、构建的卷积神经网络包括q个依次相连接的卷积层；其中第i个卷积层的卷积核大小为m

步骤2-2、将训练集中的某一帧司机图像所对应的第二图像输入到步骤2-1中构建的卷积神经网络中，得到司机实际的动作类别；

步骤2-3、根据训练样本中该司机图像对应的动作类别标签与步骤2-2中得到的司机实际的动作类别，计算出卷积神经网络中的损失函数，并根据损失函数更新卷积神经网络中的初始化参数，得到训练更新后的卷积神经网络；

步骤2-4、依次选择其他的训练样本，并依次使用步骤2-2和步骤2-3中相同的方法对训练更新后的卷积神经网络再进行训练，最终得到训练完成的卷积神经网络；

步骤3、在测试集中任意选择一帧待测试的司机图像所对应的第二图像，将其输入到步骤2训练完成的卷积神经网络中，即得到待测试的司机图像所对应的动作类别。

优选的，所述步骤1-3中第二图像的获取方法为：对每帧第一图像提取HOG特征，得到每帧第一图像对应的HOG特征向量，并将每帧第一图像对应的HOG特征向量转换成图像，即得到包括有轮廓纹理的第二图像。

进一步的，所述步骤2-1中构建的卷积神经网络呈金字塔形状。金字塔形状的卷积神经网络随着网络层数的深入逐渐增加特征图的数量，同时降低学习到特征图的空间分辨率，从而保持特征图的信息。

为了避免卷积神经网络过拟合，所述步骤2-1中构建的卷积神经网络还包括与第q个卷积层相连接的Dropout层、全局均值池化层和Softmax分类层，其中，每个卷积层的后端还依次连接有激活层、批量正则化层和池化层。

优选的，所述激活层采用ReLU非线性激活函数，池化层采用最大池化方法。

与现有技术相比，本发明的优点在于：首先通过对司机图像进行灰度处理、归一化处理、预处理以及提取轮廓纹理过滤掉司机图像中的无用信息，使输入到卷积神经网络中学习的内容变得简单，另外通过较大的卷积核对只包括有轮廓纹理的图像进行处理，从而能获得较大的感受野，并通过逐层降低卷积核大小以实现快速提取司机信息和降低网络参数量。因此本方法中能够用于实时检测。

附图说明

图1为本发明实施例中对任意一张司机图像进行分心检测的框图；

图2为本发明实施例中GPU和CPU上单个卷积层的卷积核大小与该卷积层处理单张图像时所需的时间之间的关系图；

图3为本发明实施例中卷积层的层数与GPU上的卷积层处理单张图像时所需的时间之间的关系图；

图4为本发明实施例中卷积层的层数与CPU上的卷积层处理单张图像时所需的时间之间的关系图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，一种司机分心驾驶检测方法包括以下步骤：

步骤1、构建训练集和测试集；具体步骤为：

步骤1-1、将多帧车辆驾驶室内的司机图像均转化成大小为N*M的灰度图像，N和M均为正整数；上述司机图像可采用安装在车辆驾驶室的摄像头进行实时拍摄而成；

自然界中，颜色本身非常容易受到光照的影响，RGB变化很大，反而梯度信息能提供更本质的信息，而且三通道转为单通道后，运算量大大减少。司机驾驶车辆的环境经常受光线的影响，从而需要将司机图像转化为灰度图像，本实施例中，转化后的灰度图像的大小调整为224×224；

步骤1-2、分别对步骤1-1中的每帧N*M的灰度图像依次进行归一化处理和预处理，得到每帧司机图像所对应的第一图像；

本实施例中，为了提高训练效果，对样本进行了数据预处理和数据增强，如下：

(1)每个样本减去其平均值将其样本中心归0。即将每帧经过归一化处理的灰度图像中的每个像素点减去整帧图像中所有像素点的平均值；

(2)对每个样本进行正则化处理；

(3)运用基本的图像处理技术，例如应用高斯滤波器随机模糊图像，增加噪声数据，提高模型的鲁棒性。

(4)通过随机裁剪方法从原始图像中切出一系列的子区域作为新的训练样本，随机裁剪相当于建立每个因子特征与相应类别的权重关系，减弱背景(或噪音)因子的权重，可以产生更好的学习效果，增加模型稳定性。

通过以上数据增强的方法，可以在原有数据的基础上，创造出更多的数据，增加了训练的数据量，提高模型的泛化能力。

步骤1-3、提取每帧第一图像的轮廓纹理，得到每帧司机图像所对应的第二图像；

本实施例中，第二图像的获取方法为：对每帧第一图像提取HOG特征，得到每帧第一图像对应的HOG特征向量，并将每帧第一图像对应的HOG特征向量转换成图像，即得到包括有轮廓纹理的第二图像；上述HOG特征向量转换成图像的方法可直接调用现有的系统库中封装的函数，其中，第二图像的图像大小与司机图像所对应的灰度图像大小相同，也为224×224；

步骤1-4、将所有的第二图像分成训练集和测试集，其中，训练集中每个训练样本包括每帧司机图像所对应的第二图像以及该司机图像对应的动作类别标签；

司机图像对应的动作类别标签为通过人工识别的方法进行判断而标注的；

步骤2、构建卷积神经网络并对卷积神经网络进行训练，得到训练完成的卷积神经网络，具体步骤为：

步骤2-1、构建的卷积神经网络包括q个依次相连接的卷积层；其中第i个卷积层的卷积核大小为m

优选的，构建的卷积神经网络呈金字塔形状，即卷积核个数逐层增加，从而随着网络层数的深入逐层增加特征图的数量，同时降低学习到特征图的空间分辨率，从而保持特征图的信息；

构建的卷积神经网络还包括与第q个卷积层相连接的Dropout层、全局均值池化层和Softmax分类层，其中，每个卷积层的后端还依次连接有激活层、批量正则化层和池化层。

本实施例中，如图1所示，构建的卷积神经网络由4个卷积层组成：第一个卷积层为64个卷积核，卷积核大小为12×12，第二个卷积层为128个卷积核，卷积核大小为9×9；第三个卷积层为256个卷积核，卷积核大小为6×6；第四个卷积层为512个卷积核，卷积核大小为3×3。

每个卷积层其后紧跟着ReLU非线性激活函数、L2权重正则化和最大池化层，第四个卷积层的最大池化层后还设置有Dropout层；通过L2权重正则化，从而抑制卷积核参数过大导致过拟合；另外，由于神经网络层数越深越容易过拟合，因此增加的Dropout层用于避免网络过拟合，增强神经网络泛化能力，Dropout层的值为0.5，最后进行Softmax分类，得到最终的司机动作类别；

卷积神经网络的具体层数与参数根据实际的图像处理情况进行调整，以得到更好的处理效果；

步骤2-2、将训练集中的某一帧司机图像所对应的第二图像输入到步骤2-1中构建的卷积神经网络中，得到司机实际的动作类别；

步骤2-3、根据训练样本中该司机图像对应的动作类别标签与步骤2-2中得到的司机实际的动作类别，计算出卷积神经网络中的损失函数，并根据损失函数更新卷积神经网络中的初始化参数，得到训练更新后的卷积神经网络；

步骤2-4、依次选择其他的训练样本，并依次使用步骤2-2和步骤2-3中相同的方法对训练更新后的卷积神经网络再进行训练，最终得到训练完成的卷积神经网络；

步骤3、在测试集中任意选择一帧待测试的司机图像所对应的第二图像，将其输入到步骤2训练完成的卷积神经网络中，即得到待测试的司机图像所对应的动作类别。

上述测试集只是为了证明该训练完成的卷积神经网络的效果，当测试集的识别结果的准确率达到设定值时，则可以将上述训练完成的卷积神经网络用于对驾驶室内的司机进行实时检测，以实时了解司机的分心情况，并及时做出报警或警示，防止发生意外。

一方面，上述方法中由于原始司机图像中包含大量无用的背景信息，如衣服的颜色、车内光线的强弱，而我们只需要关注驾驶员的动作，因此首先通过提取出司机图像的轮廓纹理以减少网络参数量和提高准确度，例如：本实施例中，将对灰度图像提取HOG特征向量并转化为图像，转换后的图像可以过滤掉无用的背景信息，只保留司机的动作轮廓纹理，从而排除无用信息，这使得网络需要学习的内容变得简单，有利于训练神经网络；另一方面，根据HOG特征向量转换的图像存在大量空白无用空间的特性，因此本发明在构建卷积神经网络时需要最初使用较大的卷积核大小以确保网络具有较大的感受野，这有利于在浅层网络快速获取到驾驶员轮廓信息，将网络的关注点集中在轮廓信息上，随着网络层的加深，需要网络逐渐“仔细审查”，为下一层生成有效的特征信息，因此本发明通过逐渐线性减少了卷积核的大小，从而进行微调网络，这样做还可以降低网络参数量。

由于卷积神经网络的卷积层内在GPU(即：图像处理器)或CPU上是可以进行并行计算的，但卷积层与卷积层之间不能并行执行，另外由于驾驶员分心检测需要满足实时需求，因此选择较大卷积核来构建网络。但是较大的卷积核也存在不足，会导致过多的训练参数，也可能存在过拟合问题。因此本发明首先采用较大的卷积核来构建第一个卷积层，通过该卷积层对包含有司机轮廓纹理的第二图像进行处理，从而能快速提取出司机信息，并通过递减卷积核的网络结构降低了网络参数量，以提高图像处理速度，可以用于实时检测。

为了证明本发明中选择较大的卷积核来构造模型的第一层，然后逐层递减卷积核对只包含有轮廓纹理的图像进行处理的效果，使用PyTorch 1.7框架对MNIST数据集(该数据集为图像处理领域常用的数据集)进行处理，在GPU和CPU上具有256个卷积核的单个卷积层处理单张图像所需要的时间如图2所示，图2中随着卷积层上的卷积核大小的增大，在GPU上执行卷积的时间成本趋于平稳，在CPU上执行卷积的时间成本前段也变化不大，图2中横坐标上的3即对应为卷积核大小为3*3，其他的数字同理，因此卷积层内是可以进行并行计算的；另外，如图3和图4分别为GPU和CPU使用一层和多层卷积层处理单张图像所需时间成本，尽管三层3×3的卷积层便可以得到一层7×7的卷积层的感受野。但从图3和4可以看出，GPU上三层卷积核大小为3×3的卷积层的处理时间是大于单层卷积核大小为7×7的卷积层，原因是单个卷积层中可以并行计算，而卷积层与卷积层之间并不能并行计算，尤其是在GPU上。因此使用单层大卷积核的卷积层可以实现满足应用程序要求的快速处理速度，另外通过逐层递减卷积核能有效防止过拟合问题，能更快提取出有效的特征信息，从而满足实时检测的要求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。