一种轻量级高效率的卷积神经网络及其构建方法

摘要

本发明公开了一种轻量级高效率的卷积神经网络及其构建方法，包括：从前至后按卷积层、批归一化层、激活层、卷积层、批归一化层和激活层的顺序连接并封装得到根部模块；从前至后按深度可分离卷积层、批归一化层、激活层和投射模块的顺序连接并封装得到可重复轻量级模块；从前至后按全局平均池化层、全连接层和激活层的顺序连接并封装得到头部模块；将根部模块、数个可重复轻量级模块和头部模块依次连接，并得到轻量级高效率的卷积神经网络；所述投射模块由从前至后按卷积层、批归一化层、深度可分离卷积层、批归一化层和通道拼接层的顺序连接并封装而成。通过上述方案，本发明具有逻辑简单、运输效率高、占用资源少等优点。

说明书

技术领域

本发明涉及计算机机器视觉中的图像分类技术领域，尤其是一种轻量级高效率的卷积神经网络及其构建方法。

背景技术

计算机机器视觉中的神经网络技术被广泛的应用于图像分类、目标检测、图像分割、人脸识别、行为识别等等领域。其中，图像分类是最为基础的技术。其他领域所使用的神经网络，大都利用图像分类的神经网络作为其主干网络，再添加其他功能模块，以实现目标检测、图像分割、人脸识别、行为识别。因此，高性能的图像分类网络对于基于神经网络技术的机器视觉非常的重要。

与此同时，用于边缘计算核移动端计算的神经网络随着整个人工智能的广泛应用，而越来越受到重视。与普通的服务器端不同，移动端的设备大都没有配备高性能的处理器或显卡，其计算力有明显的限制。目前，较为流行的移动端网络，大都采用了由mobilenetV2引入的翻转卷积模块。相比于普通的卷积模块，翻转卷积模块运算量更小，精度损失也不多，因而得到了广泛的运用。但是，在翻转卷积模块中，仍然有一些限制其精度和效率的设计；例如翻转卷积模块使用了两次1x1的卷积，用于扩展通道数和压缩通道数，其运算量较大。另外，翻转卷积模块的残差连接位于通道数较小的卷积层输出，同样也限制了其性能等。

因此，急需要提出一种结构简单、运输效率高、占用资源少的轻量级高效率的卷积神经网络及其构建方法。

发明内容

针对上述问题，本发明的目的在于提供一种轻量级高效率的卷积神经网络及其构建方法，本发明采用的技术方案如下：

一种轻量级高效率的卷积神经网络的构建方法，包括以下步骤：

从前至后按第一卷积层、第一批归一化层、第一激活层、第二卷积层、第二批归一化层和第二激活层的顺序连接并封装得到根部模块；

从前至后按第一深度可分离卷积层、第三批归一化层、第三激活层和投射模块的顺序连接并封装得到可重复轻量级模块；

从前至后按全局平均池化层、全连接层和第四激活层的顺序连接并封装得到头部模块；

将根部模块、数个可重复轻量级模块和头部模块依次连接，并得到轻量级高效率的卷积神经网络；

所述投射模块由从前至后按第五卷积层、第四批归一化层、第二深度可分离卷积层、第五批归一化层和通道拼接层的顺序连接并封装而成；

若可重复轻量级模块的输入特征图与投射模块的输出特征图大小和通道数一一对应相等，则将可重复轻量级模块的输入特征图与投射模块的输出特征图逐元素进行求和，并构成一残缺连接，将残缺连接的输出作为可重复轻量级模块的输出；

若可重复轻量级模块的输入特征图与投射模块的输出特征图大小或通道数不相等，则将投射模块的输出作为可重复轻量级模块的输出。

优选地，所述第一卷积层的卷积核为3x3或5x5，且通道数为16或24或32；所述第二卷积层的卷积核为1x1，且通道数为第一卷积层的通道数的3至6倍。

优选地，所述第五卷积层的输出通道数满足以下公式：

其中，

进一步地，所述第一深度可分离卷积层的卷积步长为2，且第五卷积层和第二深度可分离卷积层的卷积步长为1；所述第五卷积层的卷积核大小为1；所述第二深度可分离卷积层的卷积核大小为3。

进一步地，所述投射模块的输入通道数与输出通道数相同。

进一步地，所述第二深度可分离卷积层的通道乘放系数为

优选地，所述缩放系数

优选地，所述可重复轻量级模块的数量设置至少11个。

进一步地，所述第四批归一化层与第五批归一化层连接。

一种轻量级高效率的卷积神经网络，包括从前至后依次连接的根部模块、数个可重复轻量级模块和头部模块；

所述根部模块包括从前至后依次连接并封装而成的第一卷积层、第一批归一化层、第一激活层、第二卷积层、第二批归一化层和第二激活层；

所述可重复轻量级模块包括从前至后依次连接并封装而成的第一深度可分离卷积层、第三批归一化层、第三激活层和投射模块；

所述头部模块包括从前至后依次连接并封装而成的全局平均池化层、全连接层和第四激活层；

所述投射模块包括从前至后依次连接并封装而成的第五卷积层、第四批归一化层、第二深度可分离卷积层、第五批归一化层和通道拼接层

与现有技术相比，本发明具有以下有益效果：

（1）本发明巧妙地设置了数个依次连接的可重复轻量级模块，且任一可重复轻量级模块采用深度可分离卷积+投射模块的方式，其相对于mobilenetV2和efficientnet-lite等网络中所采用的翻转卷积模块，其运算量得到了明显的降低；

（2）本发明在根部模块中利用了卷积大小为1的卷积层，将特征图映射到较高的通道数，使得后续的可重复的模块中，所有的残差连接，都位于通道数较高的特征图上，有效地提升了模型的性能；

（3）本发明在可重复轻量级模块中设置投射模块，并且投射模块中的深度可分离卷积层采用了大于1的通道乘放系数，其高效地扩展了通道数。相比于传统采用卷积大小为1的卷积层来扩展通道数，其运算量大幅的降低；

（4）本发明的投射模块通过设置第四批归一化层和第五批归一化层，采用通道拼接的方式进行融合，有效的重复利用了第四批归一化层提取到的特征；

（5）本发明巧妙地设置可重复轻量级模块，其运算量更小，且模型精度与翻转卷积模块相似；另外，本发明的可重复轻量级模块可完全替换翻转卷积模块，其替代性更强。

综上所述，本发明具有逻辑简单、运输效率高、占用资源少等优点，在图像分类技术领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的根部模块结构示意图。

图2为本发明的不带残差连接的可重复轻量级模块结构示意图。

图3为本发明的带残差连接的可重复轻量级模块结构示意图。

图4为本发明的投射模块结构示意图。

图5为本发明的头部模块结构示意图。

图6为本发明的整体结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图6所示，本实施例提供了一种轻量级高效率的卷积神经网络及其的构建方法，相比于目前广泛用于移动端卷积神经网络中的翻转卷积模块，本发明中所采用的可重复轻量级模块，降低了计算量较大的卷积大小为1的卷积层的运算量，同时将残差连接放置于通道数较高的特征层上。最终达到降低模型运算量，同时保持模型精度的特性。首先，需要强调的是：本实施例的“第一”、“第二”等序号用语仅用于区分同类部件，不能理解成对保护范围的特定限定。

在本实施例中，轻量级高效率的卷积神经网络的构建方法，包括以下步骤：

第一步，从前至后按第一卷积层、第一批归一化层、第一激活层、第二卷积层、第二批归一化层和第二激活层的顺序连接并封装得到根部模块。

第二步，从前至后按第一深度可分离卷积层、第三批归一化层、第三激活层和投射模块的顺序连接并封装得到可重复轻量级模块。在本步骤中，所述投射模块由从前至后按第五卷积层、第四批归一化层、第二深度可分离卷积层、第五批归一化层和通道拼接层的顺序连接并封装而成。其中，投射模块的输入通道数与输出通道数相同。另外，第四批归一化层的输出既作为深度可分离卷积层的输入，又与第五批归一化层的输出一起，作为通道拼接层的输入。

若可重复轻量级模块的输入特征图与投射模块的输出特征图大小和通道数一一对应相等，则将可重复轻量级模块的输入特征图与投射模块的输出特征图逐元素进行求和，并构成一残缺连接，将残缺连接的输出作为可重复轻量级模块的输出；

若可重复轻量级模块的输入特征图与投射模块的输出特征图大小或通道数不相等，则将投射模块的输出作为可重复轻量级模块的输出。

第三步，从前至后按全局平均池化层、全连接层和第四激活层的顺序连接并封装得到头部模块。

第四步，将根部模块、10个以上的可重复轻量级模块和头部模块依次连接，并得到轻量级高效率的卷积神经网络。

下面详细阐述各模块的参数：

其中，根部模块中的第一卷积层的卷积核为3x3或5x5，且通道数为16或24或32，如此一来，便可降低模型运算量；所述第二卷积层的卷积核为1x1，且通道数为第一卷积层的通道数的3至6倍。在此，将通道数量扩展到较高的数值，以便于后续可重复轻量级模块中，残差连接位于通道数较高的特征层上。

在可重复轻量级模块中，第五卷积层的输出通道数满足以下公式：

其中，

另外，第一深度可分离卷积层的卷积步长为2，且第五卷积层和第二深度可分离卷积层的卷积步长为1；所述第五卷积层的卷积核大小为1；所述第二深度可分离卷积层的卷积核大小为3，第二深度可分离卷积层的通道乘放系数为5。

在本实施例中，为了验证本实施例的可行性和良好的性能，首先，通过构建一个可重复轻量级模块，并与相应的翻转卷积模块进行对比。假定可重复轻量级模块的输入为大小是(1，32，32，192)的张量，其中，192为通道数。投射模块中的缩放系数为6。与之相对应的翻转卷积模块输入为(1，32，32，32)，扩展系数为6。两个模块均不做下采样，且所有的深度可分离卷积的卷积核大小均为3。其运算量如下表：

表1 运算量对比表

进一步地，再利用本实施例所描述的神经网络构建方法构建一个与主流的移动端图像分类网络mobilenetV2相对应的轻量级网络，在Cifar10分类数据集上进行测试。Cifar10数据集一共包含有10类物体。训练集中每类物体均有5000张图片，测试集中每类物体均有1000张图片。

在实验中，实验组为本实例构建的轻量级神经网络，而对照组为mobilenetV2神经网络。除网络结构差异外，训练和测试的所有设置参数均一致。本实施例的对比试验结果如下：

表2准确率和运算量对比试验

根据实验结果，可以看出，本实例构建的轻量级神经网络，与mobilenetV2网络相比，模型运算量降低了30%，同时模型准确率有略微的上升，所以说，本实施例具有良好的性能。

综上所述，本发明既能降低网络所需要的运算量，又不损失网络的精度；与相同技术相比，本发明具有突出的实质性特点和显著的进步，在机器视觉领域具有很高的实用价值和推广价值。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。