一种基于深度学习的纳米颗粒团聚自动化在线定量分析方法

摘要

本发明公开一种基于深度学习的纳米颗粒团聚自动化在线定量分析方法，包括提出一种基于SFNet的改进轻量化纳米颗粒团聚分割网络,采用轻量化网络主干GhostNet、基于深度可分离卷积和密集连接思想改进的轻量化空洞空间池化金字塔和卷积注意力模块以及串联通道自注意力和位置注意力自注意力的改进方法提高了纳米颗粒团聚分割的准确性和实时性。对分割结果进行连通域分析进而得到SEM/TEM图像中纳米颗粒团聚的当量直径和综合形状系数并统计分析得到分布直方图。本发明易于在嵌入式设备上部署并且在在具有非纳米颗粒团聚目标干扰和高强度背景噪声的SEM/TEM图片中实现快速准确对各种纳米颗粒团聚自动化分析，具有良好的鲁棒性和普适性。

说明书

技术领域

本发明涉及图像处理技术领域，具体是一种基于深度学习的纳米颗粒团聚自动化在线定量分析方法。

背景技术

扫描电子显微镜(SEM)和透射电子显微镜(TEM)是表征纳米颗粒团聚的重要手段。通过SEM/TEM图片对纳米颗粒团聚进行定量分析对研究团聚特征与材料性能的关系以及对于各类纳米颗粒分散技术对改善团聚能力的准确评估具有重要的作用。目前，纳米颗粒团聚的定量分析主要是通过人工方法测量纳米颗粒团聚并根据测量结果进行定量分析。人工定量分析纳米颗粒团聚非常耗时并且经济成本高，非常不利处理大量SEM/TEM图片并对图片中纳米颗粒团聚进行定量分析。因此，在SEM/TEM图像中对纳米颗粒团聚自动化定量分析对于加速研究纳米材料性能和纳米颗粒分散技术具有重要意义。

纳米颗粒团聚自动化定量分析通常包括纳米颗粒团聚的分割和纳米颗粒团聚特征统计分析两个阶段。其中，SEM/TEM图像中纳米颗粒团聚的精准分割是纳米颗粒团聚自动化定量分析关键的一步。目前，SEM/TEM图像中纳米颗粒团聚的分割主要是基于传统图像分割方法。主要的传统图像分割方法有自适应阈值分割、迭代阈值分割以及分水岭算法。这些传统图像处理方法虽然算法简单并且运行速度快，但是它们无法在背景干扰大的图像中实现很好的分割。随着深度学习的发展，各种语义分割网络被应用于处理SEM/TEM图像。U-Net和U-Net++等经典的语义分割网络由于鲁棒性强和准确性高等优点被用于分割SEM/TEM图像中的纳米颗粒团聚，然而这些经典模型复杂度高并且运行速度慢，无法满足在线分析纳米颗粒团聚的实时性要求。因此，一些实时性高的轻量化语义分割网络被提出用于SEM/TEM图像中纳米颗粒团聚的分割。这些轻量化网络虽然具有实时性高的优势，然而由于网络特征提取能力的限制，轻量化语义分割网络很难在具有非纳米颗粒团聚目标干扰和高强度背景噪声的SEM/TEM图像中实现纳米颗粒团聚的分割。因此，如何实现语义分割网络在分割在具有非纳米颗粒团聚目标干扰和高强度背景噪声的SEM/TEM图像同时保证纳米颗粒团聚分割的准确性和实时性是研究纳米颗粒团聚自动化定量分析的难点，目前，尚未提出有效的解决方案。

发明内容

本发明的目的在于克服现有技术的不足，解决在具有非纳米颗粒团聚目标干扰和高强度背景噪声的SEM/TEM图片中无法准确分割纳米颗粒团聚和算法实时性差以及现有纳米颗粒团聚自动化在线定量分析方法不具备普适性等问题，提供一种基于深度学习的在SEM/TEM图像中纳米颗粒团聚自动化分析方法，所述方法包括以下步骤：

一种基于深度学习的纳米颗粒团聚定量自动化在线分析方法，包括以下步骤：

(1)建立深度学习网络并对SEM/TEM图像中的纳米颗粒团聚进行分割；

(2)基于纳米颗粒团聚分割结果对纳米颗粒团聚进行量化和统计分析。

所述步骤(1)包括以下步骤：

(1-1)搭建基于SFNet的改进轻量化纳米颗粒团聚分割网络：(1-1-1)采用轻量化网络主干GhostNet替换SFNet中的原有ResNet-34网络主干，并加入卷积注意力模块；(1-1-2)基于深度可分离卷积和密集连接改进的轻量化空间池化金字塔，再依次串联通道自注意力模块和位置注意力自注意力模块；

(1-2)数据准备；

(1-3)模型训练；

(1-4)对SEM/TEM图像中的纳米颗粒团聚图形进行分割。

所述步骤(1-1)中搭建基于SFNet的改进轻量化纳米颗粒团聚分割网络，具体包括：

编码层，包括(1-1-1)网络主干+卷积注意力单元、(1-1-2)基于深度可分离卷积和密集连接改进的轻量化金字塔+自注意力单元；所述网络主干+卷积注意力单元输出第一、二、三、四特征，第四特征进一步由基于深度可分离卷积和密集连接改进的金字塔+自注意力单元处理后输出像素特征；

解码层，采用SFNet中的编码层结构，用于对提取的像素特征进行上采样，与网络主干单元输出的第一、二、三特征进行拼接，然后降维、上采样输出最终的纳米颗粒分割特征图。

所述(1-1-1)网络主干+卷积注意力单元，包括：

(1-1-1-1)将GhostNet的16个瓶颈块和1个卷积层作为提取特征的轻量化主干，替换SFNet中的原有ResNet-34网络主干；

(1-1-1-2)将卷积注意力模块分别与GhostNet中步长为1、步长为2的瓶颈块融合。

所述卷积注意力模块包括通道注意力和位置注意力两个模块，依次从通道和位置注意力两个维度进行处理提取特征，并与卷积注意力模块的输入特征进行乘法输出像素特征，实现自适应特征细化。

所述(1-1-2)基于深度可分离卷积和密集连接改进的轻量化金字塔+自注意力单元，包括以下步骤：

(1-1-2-1)利用空洞可分离卷积替换DeepLabV3网络的空间池化金字塔中的空洞卷积，得到改进后的四层网络并调整空洞率；

(1-1-2-2)按照密集连接方法拼接改进后的四层网络：采用串联的方式将四个(1-1-2-1)中空洞可分离卷积层依次连接起来，并且在每一层空洞卷积层之前的所有空洞卷积层输出与网络的输入特征图都被拼接，然后输入该层的空洞卷积层；

(1-1-2-3)利用加深一层深度可分离卷积将(1-1-2-2)对每个空洞可分离卷积的输出进一步提取特征；

(1-1-2-4)在改进的轻量化空洞空间池化金字塔后添加依次串联的通道自注意力模块和位置注意力自注意力模块，进一步优化提取金字塔输出的特征。

所述(1-2)中数据准备，包括以下步骤：

(1-2-1)采集纳米颗粒团聚现象的SEM/TEM图片，并裁剪为480×480的标准尺寸，制作标准数据集；

(1-2-2)对标准尺寸图片进行标注：逐像素标记为前景或背景，制作标签数据集；

(1-2-3)对标准数据集和标签数据集进行数据增强扩充数据，得到样本集；

(1-2-4)将样本数据集图片按比例8：1：1分为训练集，验证集和测试集。

所述的(1-3)中模型训练，包括以下步骤：

(1-3-1)对训练集图片，采用SGD优化器进行训练；；

(1-3-2)使用验证集图片训练模型，对训练参数进行选择调优；训练参数包括：尺寸参数，训练批次，训练迭代次数，学习率和动量。

所述的(1-4)中对SEM/TEM图像中的纳米颗粒团聚现象进行分割，包括以下步骤：

(1-4-1)逐一读取待分割图片；

(1-4-2)将待分割图片输入训练好的网络中进行分割；

(1-4-3)返回步骤(1-4-1)直至完成测试集中全部图片的分割。

所述步骤(2)包括以下步骤：

(2-1)利用四邻域连通域分析法对分割结果的连通区域进行标记，计算各连通区域的面积和周长；

(2-2)计算SEM/TEM图像中纳米颗粒团聚的当量直径和综合形状系数；

(2-3)统计纳米颗粒团聚的当量直径和综合形状系数并进行分析得到所有纳米颗粒团聚尺寸和形状的分布直方图。

本发明提出一种基于深度学习的纳米颗粒团聚自动化在线定量分析方法，分析方法的完整流程包括纳米颗粒团聚的分割和纳米颗粒团聚特征统计分析两个阶段。本发明提出一种基于SFNet的改进轻量化纳米颗粒团聚分割网络,轻量化纳米颗粒团聚分割网络通过采用轻量化网络主干GhostNet、基于深度可分离卷积和密集连接思想改进的轻量化空洞空间池化金字塔和卷积注意力模块以及串联通道自注意力模块和位置注意力自注意力的改进方法提高了纳米颗粒团聚分割的准确性和实时性。基于纳米颗粒团聚分割结果，本发明对分割结果进行连通域分析进而得到SEM/TEM图像中纳米颗粒团聚的当量直径和综合形状系数并进行统计分析得到所有纳米颗粒团聚尺寸和形状的分布直方图。

与现有技术相比，本发明具有以下有益效果：

(1)基于深度学习的纳米颗粒团聚自动化在线定量分析方法适用于在SEM/TEM图片中大多数纳米颗粒材料出现的团聚现象，具有良好的普适性；

(2)基于深度学习的纳米颗粒团聚自动化在线定量分析方法通过基于SFNet的改进的轻量化纳米颗粒团聚分割网络实现在具有非纳米颗粒团聚目标干扰和高强度背景噪声的SEM/TEM图片中实现纳米颗粒团聚自动化分析；

(3)基于SFNet的改进的轻量化纳米颗粒团聚分割网络在原有参数量和计算量的基础上进一步减小，因此基于深度学习的纳米颗粒形貌自动化分析方法非常适合部署在嵌入式设备上与电镜设备配合使用实现纳米颗粒形貌的在线快速分析。

附图说明

图1为本发明的流程图；

图2为轻量化纳米颗粒团聚分割网络示意图；

图3为轻量化空洞空间池化金字塔结构示意图；

图4为卷积注意力机制结构示意图；

图5为通道注意力机制结构示意图；

图6为空间注意力机制结构示意图；

图7为通道自注意力机制结构示意图；

图8为位置自注意力机制结构示意图；

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。本发明以纳米颗粒团聚作为分割对象，选用训练平台的配置如下：CPU为Intel(R)Core(TM)i7-8700 3.20GHz，内存16GB，GPU为3块NVIDIA TITAN V，显存为12GB，运行环境为Windows10系统，Python版本为3.9。本发明方法选择在深度学习框架Pytorch进行实现。

如图1所示的一种基于深度学习的纳米颗粒团聚自动化在线定量分析方法，包括两个阶段：

(1)使用深度学习网络对SEM/TEM图像中的纳米颗粒团聚分割；

(2)基于纳米颗粒团聚分割结果对纳米颗粒团聚进行量化和统计分析。

第一阶段利用深度学习网络对SEM/TEM图像中的纳米颗粒团聚分割：编码层、解码层。

编码层包括网络主干+入卷积注意力单元、基于深度可分离卷积和密集连接改进的轻量化金字塔+自注意力单元，所述网络主干+卷积注意力单元输出第一、二、三、四特征，第四特征进一步由基于深度可分离卷积和密集连接改进的金字塔+自注意力单元处理后输出像素特征。

解码层采用SFNet中的编码层结构，用于对提取的像素特征进行上采样，与网络主干单元输出的第一、二、三特征进行拼接，然后降维、上采样输出最终的纳米颗粒分割特征图。

(1-1)搭建基于SFNet的改进轻量化纳米颗粒团聚分割网络，网络的改进措施具体包括以下四个方面：

(1-1-1)采用轻量化网络主干GhostNet替换SFNet中的原有ResNet-34网络主干，该网络输出第一、二、三、五特征，第五特征作为卷积注意力模块的输入，该主干网络中步长为1和2的瓶颈块均采用加入卷积注意力模块。

为了减少网络计算成本和准确性，将GhostNet的16个瓶颈块和1个卷积层作为用于提取特征轻量化主干替换SFNet中的原有ResNet-34网络主干。如图2所示

(1-1-2)提出一种基于深度可分离卷积和密集连接思想改进的轻量化空洞空间池化金字塔

为了减少纳米颗粒团聚分割网络的参数量和复杂度，采用空洞可分离卷积改造原有空洞空间池化金字塔中四个空洞卷积支路上的空洞卷积。采用串联的方式将四个空洞可分离卷积层依次连接起来并且在每一层空洞卷积层之前的所有空洞卷积层输出与网络的输入特征图都被拼接然后输入空洞卷积层，为了防止卷积退化和尽可能地扩大感受野，并设置空洞率依次为3，5，7，9。为了在不增加计算量和参数量的前提下增加，为了进一步提取丰富的语义特征，提升纳米颗粒团聚的分割效果的精度，利用深度可分离卷积对空洞卷积层进一步特征提取，利用加深一层深度可分离卷积对每个空洞可分离卷积输出进一步提取特征。最后，将改进后的轻量化空洞空间池化金字塔添加到编码器中主干网络的输出端。

(1-1-3)在(1-1-1)采用的轻量化网络主干中加入卷积注意力模块

如图4、5、6所示，卷积注意力机制包括通道注意力和位置注意力两个维度。通道注意力机制是将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作。在空间维度上进行压缩时，不仅考虑到了平均值池化还考虑了最大值池化。平均池化和最大池化可用来聚合特征映射的空间信息，送到一个共享网络(Shared MLP)，压缩输入特征图的空间维数，经过sigmoid函数逐元素求和合并，以产生通道注意力图。将通道注意力模块输出的特征图作为空间注意力的输入特征图。首先做一个基于通道的全局最大池化和全局平均池化，然后将这2个结果基于通道做concat操作。然后经过一个卷积操作，降维为1个通道。再经过sigmoid生成空间注意力图。最后将该空间注意力特征和该模块的输入特征做乘法，得到最终生成的第四特征输出。

(1-1-4)在(1-1-2)中改进的轻量化空间池化金字塔后加入串联的通道自注意力模块和位置注意力自注意力

(1-1-4-1)在(1-1-2)中改进轻量化空洞空间池化金字塔后面添加通道自注意力模块

深层特征图通常是由一系列的通道组成，每一个通道代表着一个特定类的响应，不同的语义响应之间相互关联，因此通道注意力通道映射之间的相互依赖性进行建模来改善特定语义的特征表示。如图7所示，原始特征图

(1-1-4-2)在(1-1-2)中改进轻量化空洞空间池化金字塔后添加的通道自注意力模块后面串联位置自注意力模块

通过捕获远距离的上下文来判别特征表示对于提升纳米颗粒团聚分割精度非常重要。因此位置注意力通过编码远距离上下文信息来增强局部特征表示能力。如图8所示，一个局部特征

(1-2)数据准备

从网络和相关论文中获取500张从网络和相关论文中有纳米颗粒团聚现象的SEM/TEM图片并裁剪为480×480的标准尺寸。然后使用LabelMe软件对标准尺寸图片进行标注。使用随机旋转、水平翻转、垂直翻转和缩放变换四种方法对480×480的标准尺寸图片和标签同时进行数据增强到5000张。最后，将经过数据增强得到5000张图片和标签按照8：1：1的比例分为训练集，验证集和测试集。

(1-3)模型训练

模型采用SGD优化器，并设置优化器的学习率和动量分别为0.1和0.7。模型训练设置batch size＝32。为了满足服务器的内存需求，使用裁剪至480×480的SEM/TEM图片进行训练。模型训练的迭代次数是200个epoch。

(1-4)对SEM/TEM图像中的纳米颗粒团聚现象进行分割

读取测试集中的待分割图片，480×480的图片输入训练好的网络中进行纳米颗粒团聚的分割，实现在具有非纳米颗粒团聚目标干扰和高强度背景噪声SEM/TEM图片中准确分割纳米颗粒团聚。

(2)纳米颗粒形貌信息统计分析

本发明利用四邻域连通域分析法对(2)输出的形状提取结果的连通区域进行标记和scikit-image工具包获取各连通区域的面积和周长，并计算各纳米颗粒团聚的当量直径和综合形状系数，并进行统计分析得到纳米颗粒团聚的尺寸和形状分布。

以上所述是本发明的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。