一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法

摘要

本发明公开了一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法，步骤为：对叶片CT胶片进行数字化处理；对每个缺陷的种类和位置进行人工标定以建立缺陷样本标签集；裁取叶片局部缺陷区域图像并进行数据扩充及对应标签的修正扩充以建立深度学习模型训练样本集；构建深度学习航空发动机叶片缺陷检测识别网络；训练深度学习航空发动机叶片缺陷检测识别网络；根据缺陷检测识别网络和训练最终参数建立自动检测识别模型；将CT图像输入缺陷检测识别模型自动进行叶片缺陷检测识别定位。该方法解决缺陷叶片样本量少的问题，克服由于人为因素影响，使航空发动机叶片射线检测效率和对微小缺陷的检测精度得到了大幅提升。

说明书

技术领域

本发明属于航空发动机叶片加工制造及质检领域，特别涉及一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法。

背景技术

航空发动机叶片是发动机工作过程中主要的承力部件，叶片质量的好坏与航空发动机的安全运行息息相关。目前的无损检测技术(射线检测、涡流检测、磁粉检测、渗透检测等)在航空发动机叶片检测领域被广泛应用。随着航空工业的不断发展，飞机性能在不断提升的同时对航空发动机叶片可靠性提出了更高的要求，其质检要求也愈加苛刻。

受限于铸造加工工艺，发动机叶片在铸造加工过程中难免产生裂纹、冷隔、气孔、夹渣、疏松、断芯、多余物等缺陷。对上述缺陷的检测，目前的常用方法之一是通过计算机断层扫描技术(CT)对叶片进行CT扫描，随后对扫描产生的叶片CT图像进行人工评定。由于存在经验差异、标准理解、眼睛疲劳等人为因素影响，使得叶片缺陷检测过程中容易出现漏检、误检的情况，一个很小的检测疏忽可能引起巨大的经济损失，甚至造成空难事故。近年来，虽然已有涡轮叶片缺陷自动识别的相关研究，但都是基于图像分割、形态学计算等传统的图像特征提取方法。这些传统的缺陷检测方法漏检率和误检率仍较高，无法有效提升涡轮叶片出厂质量。

随着人工智能时代的到来，深度学习技术已逐渐应用于缺陷检测，并且在焊缝、孔洞等形态特征较为明显的缺陷识别中有所应用，然而对于大多数的缺陷检测而言，仍旧采用传统的无损检测技术。涡轮叶片铸造工艺复杂，典型缺陷种类多，长期以来，针对涡轮叶片的缺陷检测都是依靠人工经验进行评定。因此，将深度学习技术应用于航空发动机缺陷检测。最大限度的发挥深度学习的优势，寻求一种高效智能化的叶片缺陷检测手段意义重大。

发明内容

本发明解决的技术问题是：针对现有技术存在的问题和不足，本发明的目的是提供一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法。

本发明的技术方案是：一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法，包括以下步骤：

步骤1：对航空发动机叶片CT胶片进行扫描得到数字化图像，建立航空发动机缺陷叶片CT图像样本数据库；

步骤2：依次对每个缺陷叶片数字图像中缺陷的种类和位置进行人工标定，生成对应缺陷标签数据文件，建立缺陷样本标签集；

步骤3：裁取航空发动机叶片缺陷部位图像并进行数据扩充，构建航空发动机叶片缺陷图像深度学习模型训练样本集；

步骤4：构建深度学习航空发动机叶片缺陷检测识别网络；

步骤5：利用缺陷叶片样本图像数据集训练深度学习航空发动机叶片缺陷检测识别网络；

步骤6：基于步骤4、步骤5，建立深度学习航空发动机叶片缺陷自动检测识别模型；

步骤7：将需要检测的航空发动机叶片CT图像输入到深度学习航空发动机叶片缺陷自动检测识别模型，模型自动进行检测识别并输出缺陷的位置、类型和置信度信息。

本发明进一步的技术方案是：所述步骤1中建立航空发动机缺陷叶片CT图像样本数据库的具体操作为：在不同型号、不同批次的航空发动机叶片传统胶片中人工挑选含有裂纹、冷隔、气孔、夹渣、疏松、多余物、断芯缺陷的CT胶片，采用扫描仪对传统胶片实现黑度范围0.5-4.5D的DS级扫描，从每个大尺寸高分辨率的扫描数字图像中人工裁取含有缺陷的单个叶片图像，保证同型号单叶片图像尺寸大小相同，顺次进行命名并保存。

本发明进一步的技术方案是：所述步骤2中生成对应缺陷标签数据文件的具体操作为：利用深度学习标签制作软件打开缺陷叶片CT图像，依次对每个图像上的缺陷进行框选，确定缺陷边界框在图像中的位置坐标(x

本发明进一步的技术方案是：所述步骤3中裁取航空发动机叶片缺陷部位图像并进行数据扩充的具体步骤为：

步骤1：统计步骤(2)中得到的缺陷位置坐标，得到最大缺陷尺寸m；

步骤2：利用m×m(其中m＞n，且m是32的整倍数)大小的框依次在缺陷叶片图像上对每个缺陷进行9次裁取，在对缺陷每次裁取的过程中，以m×m框的中心为坐标原点，使得缺陷中心坐标依次落在坐标

步骤3：针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机左右翻转处理；

步骤4：或/和，针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机上下翻转处理；

步骤5：或/和，针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机绕中心逆时针旋转处理；

步骤6：或/和，针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机亮度增减处理；

步骤7：根据裁取图片尺寸、缺陷坐标信息以及翻转和旋转等操作修正对应的缺陷标签数据文件。

本发明进一步的技术方案是：所述步骤4中所述的构建深度学习航空发动机叶片缺陷检测识别网络的具体步骤如下：基于Yolov4目标检测算法搭建深度学习叶片缺陷检测的初级网络框架，其中主干特征提取网络采用改进的CSPDarknet53网络，分别于第4个Resblock_body、第8个Resblock_body和第16个Resblock_body后输出三个主特征图，之后在CSPDarknet53网络最后接一个SPPNet网络结构并输出第四个主特征图，其中四个主特征图的尺寸依次为原输入图像尺寸的1/4、1/8、1/16、1/32；给PANet网络多加一组上采样和下采样；最后输出四个Yolo Head。

本发明进一步的技术方案是：所述步骤5中所述的叶片缺陷检测识别网络具体训练过程为：对步骤3得到的训练样本进行随机排序，每次选择特定数量的缺陷样本输入至深度学习航空发动机叶片缺陷检测识别网络，同时输入对应缺陷的标签数据，利用真实缺陷标签与缺陷检测网络计算得到的结果构造交叉熵损失函数，利用随机梯度下降法优化网络内部参数直至网络收敛，输出最终优化的网络参数。

本发明进一步的技术方案是：所述步骤6的建立深度学习航空发动机叶片缺陷自动检测识别模型的步骤为：将步骤5得到的最终优化参数加载至深度学习航空发动机叶片缺陷检测识别网络，随后对4个Yolo Head产生的检测结果进行快速非极大值抑制得到最大概率的缺陷输出结果，以此建立叶片缺陷检测主体模型；在主体模型前加一个图片分割操作，即将任意大小的叶片CT图像均匀分割成N个m×m大小的图片；在主体模型最后添加一个图片组合操作，即将分割的N个m×m大小的图片按照原分割操作的逆过程组合成一张原始大小的图像，同时修改缺陷位置坐标使m×m大小图片上的缺陷坐标映射至组合而成的完整叶片图像上。

发明效果

本发明的技术效果在于：与现有技术相比，本发明取得的积极有益效果为：

(1)本发明基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法，采用深度卷积神经网络对缺陷进行特征提取，减少了传统手工提取特征的不完备性，同时，深度学习网络利用反向传播算法调节优化参数，可以自动学习到不同缺陷类型特征，与传统的图像特征提取方法相比，深度学习网络模型具有更好的缺陷检测识别性能。

(2)本发明步骤(2)中裁取航空发动机叶片缺陷部位图像并进行数据扩充，使得训练样本数量扩增至原缺陷叶片CT图像样本数量的9倍，并且通过对缺陷的局部裁取，使微小缺陷在整幅图像上的占比变大，极大的提高了模型的泛化能力和对微小缺陷的检测精度。

(3)本发明基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法，有效克服由于经验差异、人工评估眼睛疲劳、标准理解等人为因素影响，实现了航空发动机叶片射线检测的高效智能化，使检测效率和检测精度得到了大幅度提升。

附图说明

图1是本发明基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别流程图。

图2是局部缺陷图片裁取示例图

图3是构建航空发动机叶片缺陷图像深度学习模型训练样本集流程图。

图4是改进CSPDarknet53网络结构图。

图5是改进PANet网络结构图。

图6是深度学习航空发动机叶片缺陷检测识别主体模型结构图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

参见图1-图6，为实现上述目的，本发明采用的技术方案如下：

本发明一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法，包括以下步骤：

(1)采用底片数字化扫描仪(Film digital scanner)对航空发动机叶片CT胶片进行扫描得到数字化图像，建立航空发动机缺陷叶片CT图像样本数据库；

(2)依次对每个缺陷叶片数字图像中缺陷的种类和位置进行人工标定，生成对应缺陷标签数据文件，建立缺陷样本标签集；

(3)裁取航空发动机叶片缺陷部位图像并进行数据扩充，构建航空发动机叶片缺陷图像深度学习模型训练样本集；

(4)构建深度学习航空发动机叶片缺陷检测识别网络；

(5)利用缺陷叶片样本图像数据集训练深度学习航空发动机叶片缺陷检测识别网络；

(6)基于步骤(4)、(5)建立深度学习航空发动机叶片缺陷自动检测识别模型；

(7)将需要检测的航空发动机叶片CT图像输入到深度学习航空发动机叶片缺陷自动检测识别模型，模型自动进行检测识别并输出缺陷的位置、类型和置信度信息。

根据上述的深度学习缺陷自动检测识别方法，优选地，步骤(1)中建立航空发动机缺陷叶片CT图像样本数据库的具体操作为：

在不同型号、不同批次的航空发动机叶片传统胶片中人工挑选含有裂纹、冷隔、气孔、夹渣、疏松、多余物、断芯缺陷的CT胶片，采用VIDAR NDT PRO工业胶片扫描仪对传统胶片实现黑度范围0.5-4.5D的DS级(最高级)扫描，扫描分辨率设为最高值7980×9690和570DPI，从每个大尺寸高分辨率的扫描数字图像中人工裁取含有缺陷的单个叶片图像，保证同型号单叶片图像尺寸大小相同，顺次进行命名并保存。

根据上述的深度学习缺陷自动检测识别方法，优选地，步骤(2)中生成对应缺陷标签数据文件的具体操作为：

利用深度学习标签制作软件打开缺陷叶片CT图像，依次对每个图像上的缺陷进行框选，确定缺陷边界框在图像中的位置坐标(x

根据上述的深度学习缺陷自动检测识别方法，优选地，步骤(3)中裁取航空发动机叶片缺陷部位图像并进行数据扩充的具体步骤为：

a)统计步骤(2)中得到的缺陷位置坐标，得到最大缺陷尺寸n；

b)利用m×m(其中m＞n，且m是32的整倍数)大小的框依次在缺陷叶片图像上对每个缺陷进行9次裁取，在对缺陷每次裁取的过程中，以m×m框的中心为坐标原点，使得缺陷中心坐标依次落在坐标

c)针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机左右翻转处理；

d)或/和，针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机上下翻转处理；

e)或/和，针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机绕中心逆时针旋转处理；

f)或/和，针对每个缺陷，对裁取的9个m×m大小的局部缺陷图片进行随机亮度增减处理；

g)根据裁取图片尺寸、缺陷坐标信息以及翻转和旋转等操作修正对应的缺陷标签数据文件。

根据上述的深度学习缺陷自动检测识别方法，优选地，步骤(4)中所述的构建深度学习航空发动机叶片缺陷检测识别网络的具体步骤如下：基于Yolov4目标检测算法搭建深度学习叶片缺陷检测的初级网络框架，其中主干特征提取网络采用改进的CSPDarknet53网络，分别于第4个Resblock_body、第8个Resblock_body和第16个Resblock_body后输出三个主特征图，之后在CSPDarknet53网络最后接一个SPPNet网络结构并输出第四个主特征图，其中四个主特征图的尺寸依次为原输入图像尺寸的1/4、1/8、1/16、1/32；给PANet网络多加一组上采样和下采样；最后输出四个Yolo Head。

根据上述的深度学习缺陷自动检测识别方法，优选地，步骤(5)中所述的叶片缺陷检测识别网络具体训练过程为：对步骤(3)得到的训练样本进行随机排序，每次选择特定数量的缺陷样本输入至深度学习航空发动机叶片缺陷检测识别网络，同时输入对应缺陷的标签数据，利用真实缺陷标签与缺陷检测网络计算得到的结果构造交叉熵损失函数，利用随机梯度下降法优化网络内部参数直至网络收敛，输出最终优化的网络参数。

根据上述的深度学习缺陷自动检测识别方法，优选地，步骤(6)所述的建立深度学习航空发动机叶片缺陷自动检测识别模型的步骤为：将步骤(5)得到的最终优化参数加载至深度学习航空发动机叶片缺陷检测识别网络，随后对4个Yolo Head产生的检测结果进行快速非极大值抑制得到最大概率的缺陷输出结果，以此建立叶片缺陷检测主体模型；在主体模型前加一个图片分割操作，即将任意大小的叶片CT图像均匀分割成N个m×m大小的图片；在主体模型最后添加一个图片组合操作，即将分割的N个m×m大小的图片按照原分割操作的逆过程组合成一张原始大小的图像，同时修改缺陷位置坐标使m×m大小图片上的缺陷坐标映射至组合而成的完整叶片图像上。

为了使本发明的目的、技术方案及优点更加清晰明了，以下结合具体实施例对本发明作进一步详细说明，此处描述并不限制本发明的范围。

如图1所示，一种基于小样本航空发动机叶片CT图像的深度学习缺陷自动检测识别方法，包括：

(1)采用底片数字化扫描仪(Film digital scanner)对航空发动机叶片CT胶片进行扫描得到数字化图像，建立航空发动机缺陷叶片CT图像样本数据库。

例如，从已有的5种型号、46个批次的航空发动机叶片传统胶片中人工挑选含有裂纹、冷隔、气孔、夹渣、疏松、多余物、断芯7种缺陷的CT胶片300张，采用VIDAR NDT PRO工业胶片扫描仪对含有缺陷的300张传统胶片实现黑度范围0.5-4.5D的DS级(最高级)扫描，扫描分辨率设为最高值7980×9690和570DPI，由于每张胶片上会有多个叶片图像，根据不同型号叶片图像尺寸事先设置合适的裁剪框，从每个大尺寸高分辨率扫描数字图像中人工裁取含有缺陷的单个叶片图像，保证同型号单叶片图像尺寸大小相同，顺次进行命名并保存。

值得注意的是此处扫描的胶片数量为300张，裁取得到的含缺陷叶片图片数量为1482张，数量的多少关系到模型训练的效果，本领域技术人员可以根据实验效果来推测出所需要的扫描胶片数量，这里不再赘述。

(2)依次对每个缺陷叶片数字图像中缺陷的种类和位置进行人工标定，生成对应缺陷标签数据文件，建立缺陷样本标签集。

标签集是深度网络训练过程中的“答案集”，由于所采用的深度学习模式是一种监督学习模式，需要利用缺陷标签求解损失函数，进而利用损失反向传播修正网络参数，因此标签的准确性对模型检测精度的影响巨大。该步骤采用人工缺陷标定进行缺陷标签文件的制作，操作过程比较繁琐，但务必仔细。首先利用深度学习标签制作软件Labelimg打开缺陷叶片CT图像，根据专家经验判定缺陷位置和尺寸，依次对每个图像上的缺陷进行框选，确定出缺陷边界框在图像中的位置坐标(x

(3)裁取航空发动机叶片缺陷部位图像并进行数据扩充，构建航空发动机叶片缺陷图像深度学习模型训练样本集。

对步骤(2)中裁取得到的1482张缺陷叶片的缺陷尺寸进行统计，得到最大尺寸n＝239；根据m＞n，且m是32的整倍数的原则这里取m值为256；利用256×256大小的框依次在缺陷叶片图像上对每个缺陷进行9次裁取，在对缺陷每次裁取的过程中，以256×256框的中心为坐标原点，使得缺陷中心坐标依次落在坐标(-64,64)、(0,64)、(64,64)、(-64,0)、(0,0)、(64,0)、(-64,-64)、(0,-64)、(64,-64)，缺陷裁取示例如图2所示；之后对1482×9张数量的图片随机进行左右翻转、上下翻转、90度旋转，180度旋转、亮度增减处理，进一步扩展出10倍的图片量。

由于原始标签数据与最初的1482张缺陷叶片一一对应，缺陷坐标是以原缺陷叶片图像的左上角顶点为原点计算的，经过局部缺陷区域图片裁取，图片随机翻转、旋转等图片扩充后，需要对标签一一进行修正和相应扩充，缺陷坐标位置的修正根据9次裁取位置坐标进行反推，修正后的缺陷坐标位置以当前裁取的256×256大小图片左上角顶点为原点计算。对于缺陷坐标超出范围的坐标，坐标值取到256×256图片的外边界。

应该理解的是，本实施例从预设数量为1482张缺陷叶片图片入手，经缺陷区域裁取后扩展成固定大小为(256×256)的1482*9张缺陷图片，之后又分别将每张图片都进行翻转、旋转，亮度增减等图像处理，扩展出10倍的图片量即14820张，以此建立训练样本集。训练样本图片数量的多少关系到模型训练的效果，本领域技术人员可以根据实验效果来推测出所需要的训练样本数量，这里不再赘述。

(4)构建深度学习航空发动机叶片缺陷检测识别网络。

具体步骤为：首先搭建Yolov4目标检测算法网络框架，定义输入图片尺寸为256×256，将Yolov4的主干特征提取网络CSPDarknet53进行网络层数的调整，即在DarknetConv2D_BN_Mish模块后顺次连接2、2、4、8、4个Resblock_body，每组Resblock_body模块的最后一层进行下采样使图片尺寸缩小一倍，如图4所示；

随后分别于第4个Resblock_body、第8个Resblock_body和第16个Resblock_body后输出三个主特征图，在CSPDarknet53网络最后接一个SPPNet网络结构并输出第四个主特征图，其中四个主特征图的尺寸依次为64×64，32×32，16×16，8×8；

最后修改Yolov4的PANet网络，将PANet网络中Concat+Conv×5结构全部修改为Concat+Conv×3结构，在PANet网络的基础上多加一组上采样和下采样，最后输出四个YoloHead，改进的PANet网络结构图如图5所示。

(5)利用缺陷叶片样本图像数据集训练深度学习航空发动机叶片缺陷检测识别网络。训练过程为：对步骤(3)得到的14820张缺陷训练样本进行随机排序，每次选择16张缺陷样本输入至步骤(5)所建立的深度学习航空发动机叶片缺陷检测识别网络，同时输入对应缺陷的标签数据，利用真实缺陷标签与缺陷检测网络计算得到的结果构造交叉熵损失函数，利用随机梯度下降法优化网络内部参数直至网络收敛，输出最终优化的网络参数。

(6)基于步骤(4)、(5)建立深度学习航空发动机叶片缺陷自动检测识别模型。具体步骤为：将步骤(5)得到的最终优化参数加载至深度学习航空发动机叶片缺陷检测识别网络，随后对4个Yolo Head产生的检测结果进行快速非极大值抑制得到最大概率的缺陷输出结果，以此建立深度学习航空发动机叶片缺陷检测主体模型，如图6所示；在主体模型前加一个图片分割操作，将任意大小的叶片CT图像均匀分割成256×256的多个图片，如果叶片CT图像的长宽尺寸不是256的整倍数，则在图片四周进行像素值(0,0,0)全黑色的填补操作，使得填补的黑边上下、左右分别对称，且填补后的图片尺寸正好是256的整倍数；在主体模型最后添加一个图片组合操作，即将分割的多个256×256的图片按照原分割操作的逆过程组合成一张原始大小的图像，同时修改缺陷位置坐标使256×256图片上的缺陷坐标映射至组合而成的完整叶片图像上，至此，一套完整的深度学习航空发动机叶片缺陷自动检测识别模型建立完成。

(7)将需要检测的航空发动机叶片CT图像输入到深度学习航空发动机叶片缺陷自动检测识别模型，模型自动进行检测识别并输出缺陷的位置、类型和置信度信息。

以上所述实施例仅表达了本申请的一种实施方式，但不仅限于上述实例，并不能因此而理解为对发明专利范围的限制。凡在本发明的思想和原则之内所作的任何修改、同等替换和改进等，均应包含在本发明的保护范围之内。