驾驶员驾驶行为识别方法、装置、设备及可读存储介质

摘要

本发明公开了一种驾驶员驾驶行为识别方法、装置、设备及存储介质，方法包括：获取包含有驾驶员驾驶行为的驾驶员图像；采用随机裁剪的数据增强技术处理所述驾驶员图像，获得三维张量格式的第一图像数据；使用卷积神经网络处理所述三维张量格式的第一图像数据，以生成第二图像数据；将所述第二图像数据输入至构建好的CS_ResNet模型；在所述CS_ResNet模型中，信道注意力模块和空间注意力模块串行连接嵌入在残差网络中；将残差网络模型输出通过全连接层来融合各局部特征形成全局特征，然后使用分类器来计算每一类别的得分；根据每一类别的得分来获得驾驶员行为识别结果。本发明能够降低模型计算复杂度和提高系统识别准确率。

说明书

技术领域

本发明具体涉及人工智能领域，具体涉及一种驾驶员驾驶行为识别方法、装置、设备及可读存储介质。

背景技术

随着人们生活水平的改善，汽车已成为人民出行最为常见的代步工具。汽车给人们生活提供方便的同时，也产生了一系列问题，例如汽车道路交通事故、环境污染等，其中汽车道路交通事故由于关系到人们的生命安全，因此备受关注。

汽车交通事故的发生归因于驾驶员的分心、汽车失灵和恶劣的天气等，其中，80％以上的汽车交通事故与驾驶员分心行为造成。驾驶员分心行为是指驾驶员为了转移驾驶注意力而采取的行为，例如：打瞌睡、打电话、发短信和吸烟等。驾驶员行为是影响驾驶安全的主要方面，驾驶员分心行为是安全驾驶的研究热点。

国家疾病预防控制中心把驾驶员分心行为分为认知分心、视觉分心和手动分心。认知分心行为是指驾驶员的思维偏离驾驶。视觉分心行为意味着司机在驾驶过程中眼睛远离道路，如打瞌睡。手动分心行为是与驾驶员身体偏离驾驶设备有关的各种活动。例如：用左手或右手打电话时，司机的手离方向盘很远。司机转向与乘客交谈，他的头就会偏离车辆的前部。为了理解这些分散注意力的行为，必须捕捉司机的状态信息，如手的运动、眼睛的注视、头部的姿势和脚的动态。从数据集、模型和算法等方面对驾驶员行为识别进行了研究，以提高准确性。在现有的大多数方法中，特定的特征通常是预先从原始图像中提取的。例如，调整收音机的行为需要注意眼睛的凝视方向。在打电话的行为可能会集中在手的位置和手机的形状上。然而，这些特征并不总是容易获得的。

驾驶员分心行为识别在过去20年得到了广泛的研究。识别动作特征的方式是理解驾驶员行为的关键。从模型构建的角度来看，驾驶员行为识别的方法可以分为传统方法、浅层机器学习方法和深度学习方法。

在传统方法的研究中，研究人员主要集中在手动捕捉特征，包括头部姿势、眼睛凝视、面部表情、足部动力学、手部运动的生理信号。该系统用生理传感器检测驾驶员的生理信号，如脑电图(EEG)、心电图和眼电图。这些特征可以由领域专家设计，以便为特定任务选择性地提取。这种情况的发生是因为驾驶员的状态信息或驾驶员行为的特征包含了使用传统方法进行行为识别的重要线索。脑电图显示了其与驾驶员行为的密切关系，可用于识别驾驶员行为。在传统方法中，尺度不变特征变换(SIFT)和定向梯度直方图(HOG)是图像分类的著名二维特征描述符。对于行为识别，SIFT和HOG可以扩展到提取三维数据的特征，分别表示为SIFT-3D和HOG3D。虽然使用传统方法可以实现行为识别，但由于难以手动提取可变外观和姿势的特征，性能受到限制。

浅层机器学习方法是自动提取数据特征的机器学习方法，以提高行为识别的准确性。例如：随机森林(RF)分类器对驾驶员行为进行分类。该方法利用轮廓变换进行特征提取，采用PF分类器性能优于线性感知器、K-近邻和多层感知器(MLP)等分类器。Berri等人提出了一个支持向量机模型来检测面部和手的位置，以识别司机是否使用手机。Craye等人使用AdaBoost对驾驶员的分心进行分类，其中输入图像由Kinect传感器捕获。在照明条件变化的环境下，将HOG和AdaBoost分类器相结合的方法对手机的使用进行分类。Chiou等人提出了一种分层驾驶员监控系统(HDMS)，该系统使用基于部分时态脸描述符的稀疏表示。具有稀疏表示的第一层HDMS检测驾驶员在驾驶过程中的正常和异常行为，第二层HDMS确定驾驶行为是昏昏欲睡还是分心。分心驾驶员检测系统中使用堆叠组合学习者和集合组合规则的技术，取得了良好的效果。

近年来，随着深度学习在计算机视觉中的成功应用，开发了驾驶员行为识别的深度学习方法。例如：Xing等人提出了一种用于驾驶员相关活动识别的深度CNN模型，该模型能识别七个任务。该模型基于高斯混合模型的图像分割结果，并利用AlexNet、GoogleLeNet和ResNet等深层模型来检测驾驶员的行为。Yang等人提出了一种前馈神经网络(FFNN)来识别七种驾驶员行为。FFNN使用RF和最大信息系数方法来评估每个驾驶员特征对驾驶员行为识别的重要性。Eraqi等人设计了一个集成系统，其中卷积神经网络是遗传加权的。该系统对分心驾驶员姿态的识别具有较强的鲁棒性，基于遗传算法的分类器具有较好的分类精度。Chen等人提出了一种驾驶员行为分析系统，该系统利用一个ConvNet获取空间特征，另一个ConvNet获取驾驶员的运动信息。模态特征采用融合网络进行分类。

注意力机制的核心思想是使系统学习注意，即能够忽略无关信息，关注关键信息。注意机制最初是在视觉图像领域提出的，并受到人类注意机制的启发。当人们观察一幅图像时，他们实际上并不是一次看整个图像的每一个像素，而是根据他们的需要将注意力集中在图像的特定部分。此外，人类从他们以前看到的图像中学习，他们应该在未来集中注意力。从注意力领域的角度来看，注意力可以分为空间、信道和混合域。

近年来，具有视觉注意机制的深度学习方法得到了的发展。例如：Mnih等人提出了具有注意机制的递归神经网络模型对图像进行分类，其中增加了一层新的权重来识别图像的关键特征。通过学习和训练，DNN可以学习每个新图象中需要注意的区域。Wand等人提出了具有多个注意模块的剩余注意网络。在ResNet和Inception的基础上构建了包括掩码和主干分支在内的注意模块。Hu等人提出了一种用于图像分类的挤压和激发网络，它可以自适应地重新校准信道特征响应。

发明人在实施例本发明的过程中发明，上述方法对驾驶员分心行为的分类任务均存在准确率不够高的问题，其原因如下：

1)一些方法学会使用全局信息，但在选择性地强调信息特征方面却很弱。

2)一些方法通过CNN和高斯混合模型捕捉特征之间的空间相关性，获得驾驶员身体的全局接收域。在驾驶员行为识别的任务中，通常只有最显著的图像属性才会被关注。然而，大多数方法忽略了这方面的考虑。

发明内容

本发明针对现有技术的不足，提供一种驾驶员驾驶行为识别方法、装置、设备及可读存储介质，以提高驾驶行为分类的准确率。

为了实现上述目的，本发明提供以下技术方案：

一种驾驶员驾驶行为识别方法，其包括：

S101，获取包含有驾驶员驾驶行为的驾驶员图像；

S102，采用随机裁剪的数据增强技术处理所述驾驶员图像，以减少所述驾驶员图像的分辨率，从而获得三维张量格式的第一图像数据；

S103，使用卷积神经网络处理所述三维张量格式的第一图像数据，以生成第二图像数据；其中，卷积运算采用基于张量的三维卷积运算，以降低所述第一图像数据的维度，并创建对小失真和移位的不变性；

S104，将所述第二图像数据输入至构建好的CS_ResNet模型；其中，在所述CS_ResNet模型中，信道注意力模块和空间注意力模块串行连接嵌入在残差网络中，信道注意力模块和空间注意力模块利用最大池化和平均池化以降低模型计算复杂度和提高系统识别准确率；

S105，将残差网络模型输出通过全连接层来融合各局部特征形成全局特征，然后使用分类器来计算每一类别的得分；

S106，根据每一类别的得分来获得驾驶员行为识别结果。

优选地，驾驶员行为包括10种类型：C0:安全驾驶，C1:用右手发信息，C2:用左手发信息，C3:用右手打电话，C4:用左手打电话，C5:调整收音机，C6:饮酒，C7:伸手到后面，C8:用手摸头发/化妆，C9:与乘客交谈。

优选地，在步骤S102中，通过随机裁剪，将1920×1028×3的原始图像减小为224×224×3的第一图像。

优选地，所述卷积神经网络由三维卷积层、ReLU激活函数和池化层组成；其中：

在卷积神经网络的三维卷积层中，每个单元通过一组称为滤波器组的权重连接到上一层特征映射中的局部小块；在第i层的第j个特征映射中，单元在位置(x，y)处的卷积值计算为：

其中,b

然后对卷积运算结果通过ReLU或Sigmoid进行非线性变换；ReLU是一个校正的线性单元，定义如下：

f(x)＝max(0,x)

其中,x是非线性函数的输入，层中的各种特征映射利用不同的过滤组，特征映射中的所有单元都共享同一个过滤组；

池化层用于融合类似的特征以可靠地检测模式；最大池化和平均池化是两种典型的池化方法；对于最大池化，单元的局部块的最大值由特征映射中的池化单元计算；平均池化法是计算局部单元块的平均值，块可以被多个行或列移动，并用作相邻池化单元的输入，因此，能够降低数据的维数，并创建对小失真和移位的不变性。

优选地，步骤S104中，在CS_ResNet模型中，采用平均池化和最大池化两种方法来计算信道注意力；

平均池化用于压缩输入的空间维度，学习目标对象的范围；

最大池化用于收集关于独特对象特征的线索；

对于给定一个中间特征映射X

Z

其中，Z

为了充分捕获信道之间的依赖关系，平均池化和最大池化操作的依次传入卷积层和非线性变换层，然后，将二者的结果通过融合模块进行融合；其中，融合模块由多层感知器组成，它可以生成CA映射Y

信道注意力模块描述如下：

Y

其中g

优选地，步骤S104在CS_ResNet中，还包括：

将空间注意力模块引入到构建的模型中，以突出对有价值区域的关注；其中，在一个特征映射X

具体地，对于生成跨通道的2D空间注意力模块映射，给定输入X

Y

其中g

对于信道注意力和空间注意力混合的CS_ResNet模型，如果信道注意力教导模型注意什么，空间注意力将允许模型知道注意哪里；

假设CS_ResNet的输入为X

Y

其中g

优选地，步骤S105中，通过全连接层融合各局部特征形成全局特征，然后使用softmax分类器来计算每一类别的得分，得出驾驶员行为识别结果。

本发明实施例还提供了一种驾驶员驾驶行为识别装置，其包括：

图像获取单元，用于获取包含有驾驶员驾驶行为的驾驶员图像；

随机裁剪单元，用于采用随机裁剪的数据增强技术处理所述驾驶员图像，以减少所述驾驶员图像的分辨率，从而获得三维张量格式的第一图像数据；

卷积运算单元，用于使用卷积神经网络处理所述三维张量格式的第一图像数据，以生成第二图像数据；其中，卷积运算采用基于张量的三维卷积运算，以降低所述第一图像数据的维度，并创建对小失真和移位的不变性；

输入单元，用于将所述第二图像数据输入至构建好的CS_ResNet模型；其中，在所述CS_ResNet模型中，信道注意力模块和空间注意力模块串行连接嵌入在残差网络中，信道注意力模块和空间注意力模块利用最大池化和平均池化以降低模型计算复杂度和提高系统识别准确率；

分类单元，用于将残差网络模型输出通过全连接层来融合各局部特征形成全局特征，然后使用分类器来计算每一类别的得分；

识别单元，用于根据每一类别的得分来获得驾驶员行为识别结果。

本发明实施例还提供了一种驾驶员驾驶行为识别设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的驾驶员驾驶行为识别方法。

本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序能够被存储介质所在设备的处理器执行以实现上述的驾驶员驾驶行为识别方法。

综上所述，本实施例将信道注意力模块和空间注意力模块串行连接嵌入到残差网络中，信道注意模块充分捕捉信道之间的依赖关系，教导模型注意什么特征，空间注意模块则指导模型关注的特征在哪里，两者结合实现自适应特征提取，降低模型计算复杂度和提高系统识别准确率。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明第一实施例提供的驾驶员驾驶行为识别方法的流程示意图。

图2为本发明第一实施例提供的驾驶员驾驶行为识别方法的工作原理图。

图3为不同的驾驶行为的示意图。

图4为本发明第一实施例提供的CS_ResNet模型的架构图。

图5为本发明第二实施例提供的驾驶员驾驶行为识别装置的结构示意图。

具体实施方式

下面结合附图和具体实施按例，对本发明进行详细的描述。本实施案例仅为本发明的一个实施例而不包括全部实施方案。

请参阅图1及图2，本发明第一实施例提供了一种驾驶员驾驶行为识别方法，其包括：

S101，获取包含有驾驶员驾驶行为的驾驶员图像。

在本实施例中，例如，可通过内置车载摄像头录制驾驶员行为视频，并将该视频分割成1920×1080大小的一帧帧图像，获得驾驶员数据集；其中，考虑到需要对模型进行训练以及验证，在本实施例的一种可能的实现方式中，该驾驶员数据集共有图像17308幅，其中训练图像12978幅，测试图像4331幅。

该数据集包含10类驾驶员行为分别为：C0:安全驾驶，C1:用右手发信息，C2:用左手发信息，C3:用右手打电话，C4:用左手打电话，C5:调整收音机，C6:饮酒，C7:伸手到后面，C8:用手摸头发/化妆，C9:与乘客交谈。如图3所示。

当然，需要说明的是，在本发明的其他实施例中，还可以根据实际需要定义不同的驾驶员行为，这些方案均在本发明的保护范围之内。

S102，采用随机裁剪的数据增强技术处理所述驾驶员图像，以减少所述驾驶员图像的分辨率，从而获得三维张量格式的第一图像数据。

例如，在本实施例中，通过使用随机裁剪的图像增强技术来处理驾驶员图像数据，将输入的原始图像数据由(1920×1028×3)减小为(224×224×3)的第一图像数据。随机裁剪能够改变样本的大小，提高训练数据集的质量，使训练数据尽可能接近测试数据，从而提高模型的性能。

S103，使用卷积神经网络处理所述三维张量格式的第一图像数据，以生成第二图像数据；其中，卷积运算采用基于张量的三维卷积运算，以降低所述第一图像数据的维度，并创建对小失真和移位的不变性。

在本实施例中，使用由卷积层、ReLU激活函数和池化层组成的卷积神经网络(CNN)处理来自步骤S102的三维张量格式的第二图像数据。

CNN的形式是三个带有RGB通道的二维阵列。在CNN的卷积层中，每个单元通过一组称为滤波器组的权重连接到上一层特征映射中的局部小块。在第i层的第j个特征映射中，单元在位置(x，y)处的卷积值计：

其中,b

f(x)＝max(0,x)

其中,x是非线性函数的输入。层中的各种特征映射利用不同的过滤组，特征映射中的所有单元都可以共享同一个过滤组。原因是图像数据中的局部组通常高度相关，并且可以很容易地检测到局部模式。在CNN模型中，卷积层用于检测来自前一层的特征的局部连接，池化层用于融合类似的特征以可靠地检测模式。最大池化和平均池化是两种典型的池化方法。对于最大池化，单元的局部块的最大值由特征映射中的池化单元计算。平均池化法是计算局部单元块的平均值。块可以被多个行或列移动，并用作相邻池化单元的输入。因此，降低数据的维数，并创建对小失真和移位的不变性。卷积、非线性和池化的多阶段叠加，反向传播梯度用于通过整个深度网络，这允许训练所有滤波器组中的权重。

S104，将所述第二图像数据输入至构建好的CS_ResNet模型；其中，在所述CS_ResNet模型中，信道注意力模块和空间注意力模块串行连接嵌入在残差网络中，信道注意力模块和空间注意力模块利用最大池化和平均池化以降低模型计算复杂度和提高系统识别准确率。

在本实施例中，CS_ResNet模型由卷积、池化、激活函数、信道注意力和空间注意力等组成，其中信道注意力模块(CA)和空间注意力模块(SA)串行连接嵌入在残差网络中。

在本实施例中，步骤S103的输出结果作为CS_ResNet的输入，信道注意力和空间注意力利用最大池化和平均池化以降低模型计算复杂度和提高系统识别准确率，该模型有效地解决退化问题。

构建CS_ResNet模型具体包括如下步骤：

首先，采用平均池化和最大池化两种方法来有效地计算信道注意力。

平均池化可以压缩输入的空间维度，学习目标对象的范围。最大池化可以收集一些关于独特对象特征的线索。本实施例结合了平均池化和最大池化的特征去推断良好的通道的注意力。给定一个中间特征映射X

Z

其中，Z

为了充分捕获信道之间的依赖关系，平均池化和最大池化操作的输出依次传入卷积层和非线性变换层，然后，将二者的结果通过融合模块进行融合；其中，融合模块由多层感知器组成，它可以生成CA映射Y

Y

其中g

然后，将SA模块引入到构建的模型中，以突出对有价值区域的关注。在一个特征映射X

可以通过使用两个池化操作获得大小为1×H×W的特征映射。具体来说，生成跨通道的2D SA映射。给定输入X

Y

其中g

对于CA和SA混合的CS_ResNet模型，如果CA教导模型注意什么，SA将允许模型知道注意哪里。SA是对CA的一种补充。由于其轻量级的计算，注意模块可以集成到DNN模型中，如残差网络。图4描述了CS_ResNet模型框架，其中CA和SA串行连接嵌入在残差网络中。假设CS_ResNet的输入为X

Y

其中g

S105，将残差网络模型输出通过全连接层来融合各局部特征形成全局特征，然后使用分类器来计算每一类别的得分。

S106，根据每一类别的得分来获得驾驶员行为识别结果。

在本实施例中，通过全连接层融合各局部特征形成全局特征，然后使用softmax分类器来计算每一类别的得分，得出驾驶员行为识别结果。

综上所述，本实施例将信道注意力模块和空间注意力模块串行连接嵌入到残差网络中，信道注意模块充分捕捉信道之间的依赖关系，教导模型注意什么特征，空间注意模块则指导模型关注的特征在哪里，两者结合实现自适应特征提取，降低模型计算复杂度和提高系统识别准确率。

请参阅图5，本发明第二实施例还提供了一种驾驶员驾驶行为识别装置，其包括：

图像获取单元210，用于获取包含有驾驶员驾驶行为的驾驶员图像；

随机裁剪单元220，用于采用随机裁剪的数据增强技术处理所述驾驶员图像，以减少所述驾驶员图像的分辨率，从而获得三维张量格式的第一图像数据；

卷积运算单元230，用于使用卷积神经网络处理所述三维张量格式的第一图像数据，以生成第二图像数据；其中，卷积运算采用基于张量的三维卷积运算，以降低所述第一图像数据的维度，并创建对小失真和移位的不变性；

输入单元240，用于将所述第二图像数据输入至构建好的CS_ResNet模型；其中，在所述CS_ResNet模型中，信道注意力模块和空间注意力模块串行连接嵌入在残差网络中，信道注意力模块和空间注意力模块利用最大池化和平均池化以降低模型计算复杂度和提高系统识别准确率；

分类单元250，用于将残差网络模型输出通过全连接层来融合各局部特征形成全局特征，然后使用分类器来计算每一类别的得分；

识别单元260，用于根据每一类别的得分来获得驾驶员行为识别结果。

本发明第三实施例还提供了一种驾驶员驾驶行为识别设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的驾驶员驾驶行为识别方法。

本发明第四实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序能够被存储介质所在设备的处理器执行以实现上述的驾驶员驾驶行为识别方法。

示例性地，上述实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现本实施例的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。