一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法

摘要

本发明公开了一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法，包括鸟类外形特征提取模块、初级卷积层模块、卷积组合层模块、底层网络特征提取模块、特征向量连接处理层、全连接特征层与分类层模块，所述鸟类外形特征提取模块与初级卷积层模块连接，所述初级卷积层模块与卷积组合层模块连接，所述底层网络特征提取模块与卷积组合层模块连接，所述底层网络特征提取模块与特征向量连接处理层连接，所述全连接特征层与特征向量连接处理层连接，所述分类层模块与全连接特征层连接。本发明涉及水鸟图像识别技术领域，具体是提供了一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法，可精准识别全球主要水鸟物种。

说明书

技术领域

本发明涉及水鸟图像识别技术领域，具体是指一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法。

背景技术

当前鸟类识别主要方法有：(1)基于鸟类分类知识；(2)基于鸟类声谱特征；(3)基于鸟类雷达反射波普特征；(4)基于机器学习/机器视觉技术；(5)基于深度卷积网络。基于鸟类分类知识的鸟类识别方法，依赖专业的鸟类分类学知识，适合专业研究人员。该方法具有识别准确性超高的优势，但是缺点是不适用于非专业的社会公众。鸟类鸣叫或鸣唱具有物种特异性，因此鸟类声谱特征被认为是识别鸟类身份的重要生物学指征。通过鸟类声音识别鸟类的研究都有报道。不过，记录鸟类声音需要专业的录音设备以及声音除燥处理，这限制了该方法应用于普通社会公众。鸟类雷达反射波探测鸟类技术已广发用于机场等总要航空领域。不过该技术总体上适用于鸟群的探测，无法探测出单一的鸟类物种类别。

基于机器学习/机器视觉技术实现鸟类图像识别的核心是：通过构建不同类型局部特征提取器，提取多维鸟类图像特征，再结合分类器实现鸟类图像分类。目前一些研究成果采用类似的方案。例如，专利CN105590116B提出了一种鸟类头部对齐的图像识别方法；专利CN105631469A提出了鸟类特征的多层稀疏编码方法；专利CN110472609A提出一个鸟类图像识别系统。这类方法的缺陷在于鸟类图像特征提取依赖先验知识以及图像特征提取的非自动学习性，这限制该类技术应用于大规模鸟类图像识别。

相对上述机器学习方法，基于鸟类图像特征的深度卷积网络方法优势在于可以自动提取高维的鸟类图像特征，实现鸟类图像特征的自动学习。一些研究依托经典深度卷积网络如Resnet、Alexnet、Googlenet已经在公开鸟类图像数据集(北美CUB200-2011数据集，包含鸟种200种)应用上取得了较高的识别精度。不过，现实世界中鸟类种类繁多以及同一分类水平上鸟种外观差异较小，这造成了直接使用经典深度卷积网络识别鸟类图像的误分率高。虽然一些研究采用细粒度图像分类技术一定程度上减少了鸟类识别的误分率。但是鸟类细粒度图像识别，依赖于对每种鸟类图像进行喙、额、颈、躯干、翅膀、脚、尾等生理部位进行精细的人工标识。这种图像预处理工作，极费人力和物力，极大限制了鸟类细粒度图像识别技术的实际应用。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法，可精准识别全球主要水鸟物种。

本发明采取的技术方案如下：本发明一种基于深度卷积网络的水鸟图像识别特征融合模型系统，包括鸟类外形特征提取模块、初级卷积层模块、卷积组合层模块、底层网络特征提取模块、特征向量连接处理层、全连接特征层与分类层模块，所述鸟类外形特征提取模块与初级卷积层模块连接，所述初级卷积层模块与卷积组合层模块连接，所述底层网络特征提取模块与卷积组合层模块连接，所述底层网络特征提取模块与特征向量连接处理层连接，所述全连接特征层与特征向量连接处理层连接，所述分类层模块与全连接特征层连接。

进一步地，所述鸟类外形特征提取模块用于获取鸟类外形特征图，所述鸟类外形特征提取模块中设有MMdetection模型，所述MMdetection模型利用MMdetection网络在公共数据集COCO的鸟类数据集上进行模型训练。

进一步地，所述卷积层组合模块由4个卷积层组合构成，4个所述卷积层分别为Block1组块、Block2组块、Block3组块与Block4组块。

进一步地，所述Block1组块由大小为3*3*64的4个卷积层构成，所述Block2组块由大小为3*3*128的4个卷积层构成，所述Block3组块由大小为3*3*256的4个卷积层构成，所述Block4组块由大小为3*3*512的4个卷积层构成。

进一步地，所述底层网络特征提取模块与Block1组块连接。

进一步地，所述特征向量连接处理层与Block4组块之间连接设有平均池化层。

本发明还公开了一种基于深度卷积网络的水鸟图像识别特征融合模型的方法，包括如下步骤：

步骤一，将水鸟图像输入鸟类外形特征提取模块，进行图像预测处理；

步骤二，训练数据输入模型，水鸟图像一方面经初级卷积层模块处理得到56*56*64的特征图一，水鸟图像同时被MMdetection模型处理获得水鸟外形掩模M

步骤三，获取block1组块的输出大小为56*56*64的特征图二，一方面使用底层网络特征提取模块提取大小为1*64的底层网络特征图三，另一方面相继传入block2组块和block3组块中继续完成卷积运算，并最终得到block4组块输出大小为7*7*512的特征图四；

步骤四，由Block4组块卷积层输出的特征图四经平均池化层池化处理后，输出大小为1*576的水鸟特征向量；

步骤五，将底层网络特征提取模块的输出特征图三与水鸟特征向量一并输入至特征向量连接处理层，然后进入全连接特征层进行处理；

步骤六，全连接特征层输出分类置信度结果。

进一步地，所述水鸟图像为大小为224*224*3的RGB3通道彩色图像。

进一步地，所述M

进一步地，所述特征权重A

采用上述结构本发明取得的有益效果如下：本方案(1)构建了全球首个水鸟人工标准图像数据库，涵盖全球1200多种鸟类、近92％以上水鸟，为识别全球水鸟提供了系统和全面的训练数据集；(2)充分考虑了水鸟外形、颜色等特征对识别水鸟的重要性，通过融合鸟类外形特征和卷积神经网络的底层网络图像特征，增强了网络模型提取的图像特征，有效提升了水鸟图像识别的准确度；(3)相对鸟类细粒度识别方法，本发明无需对鸟类图像进行喙、额、躯干、翅膀等部位的额外人工标注，性价比高。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一种基于深度卷积网络的水鸟图像识别特征融合模型系统的整体架构图；

图2为本发明一种基于深度卷积网络的水鸟图像识别特征融合模型系统对水鸟科水平上的分类准确性图；

图3为本发明一种基于深度卷积网络的水鸟图像识别特征融合模型系统对水鸟属水平上的分类准确性图；

图4为本发明一种基于深度卷积网络的水鸟图像识别特征融合模型系统对水鸟种水平上的分类准确性图。

其中，1、鸟类外形特征提取模块，2、初级卷积层模块，3、Block1组块，4、Block2组块，5、Block3组块，6、Block4组块，7、底层网络特征提取模块，8、特征向量连接处理层，9、全连接特征层，10、分类层模块，11、平均池化层。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1-4所示，本发明一种一种基于深度卷积网络的水鸟图像识别特征融合模型系统，包括鸟类外形特征提取模块、初级卷积层模块、卷积组合层模块、底层网络特征提取模块、特征向量连接处理层、全连接特征层与分类层模块，所述鸟类外形特征提取模块与初级卷积层模块连接，所述初级卷积层模块与卷积组合层模块连接，所述底层网络特征提取模块与卷积组合层模块连接，所述底层网络特征提取模块与特征向量连接处理层连接，所述全连接特征层与特征向量连接处理层连接，所述分类层模块与全连接特征层连接。

所述鸟类外形特征提取模块用于获取鸟类外形特征图，所述鸟类外形特征提取模块中设有MMdetection模型，所述MMdetection模型利用MMdetection网络在公共数据集COCO的鸟类数据集上进行模型训练。

所述卷积层组合模块由4个卷积层组合构成，4个所述卷积层分别为Block1组块、Block2组块、Block3组块与Block4组块。

所述Block1组块由大小为3*3*64的4个卷积层构成，所述Block2组块由大小为3*3*128的4个卷积层构成，所述Block3组块由大小为3*3*256的4个卷积层构成，所述Block4组块由大小为3*3*512的4个卷积层构成。

所述底层网络特征提取模块与Block1组块连接。

所述特征向量连接处理层与Block4组块之间连接设有平均池化层。

本发明还公开了一种基于深度卷积网络的水鸟图像识别特征融合模型的方法，包括如下步骤：

步骤一，将水鸟图像输入鸟类外形特征提取模块，进行图像预测处理；

步骤二，训练数据输入模型，水鸟图像一方面经初级卷积层模块处理得到56*56*64的特征图一，水鸟图像同时被MMdetection模型处理获得水鸟外形掩模M

步骤三，获取block1组块的输出大小为56*56*64的特征图二，一方面使用底层网络特征提取模块提取大小为1*64的底层网络特征图三，另一方面相继传入block2组块和block3组块中继续完成卷积运算，并最终得到block4组块输出大小为7*7*512的特征图四；

步骤四，由Block4组块卷积层输出的特征图四经平均池化层池化处理后，输出大小为1*576的水鸟特征向量；

步骤五，将底层网络特征提取模块的输出特征图三与水鸟特征向量一并输入至特征向量连接处理层，然后进入全连接特征层进行处理；

步骤六，全连接特征层输出分类置信度结果。

所述水鸟图像为大小为224*224*3的RGB3通道彩色图像。

所述M

所述特征权重A

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。