一种基于时空全卷积循环神经网络的零件加工表面预测方法

摘要

本发明涉及图像处理技术领域，针对现有技术卷积神经网络中层与层之间无法信息共享的问题，公开了一种基于时空全卷积循环神经网络的零件加工表面预测方法，所述方法包括下述步骤：（1）生成灰度图像；（2）获得子图集；（3）空间自相关性分析；（4）灰度图像滑窗切分；（5）时间自相关性分析；（6）构建时空全卷积循环神经网络。利用全卷积网络的卷积层提取全局特征和局部细节特征，通过跳层结构对提取的全局特征和局部细节特征进行融合，将卷积长短期记忆网络（ConvLSTM）单元引入全卷积网络（FCN），使网络在能够完成全局特征和局部特征提取、融合的基础上具有一定的记忆性，进而提高零件加工表面预测精度。

说明书

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于时空全卷积循环神经网络的零件加工表面预测方法。

背景技术

零件表面形貌是工艺参数和加工过程信息的综合体现，也是保证产品质量和设计功能实现的关键。对于同一加工条件下，连续测量的多个零件表面形貌数据包含了加工过程的演变信息，可以实现形貌预测形貌。通过挖掘历史零件表面形貌数据中包含的加工系统过程信息，掌握零件形貌的变化规律，对未来加工零件表面形貌进行预测，进而根据预测表面形貌分析表面超差和刀具磨损状态，提前预警加工系统故障，及时调整加工工艺防止加工过程失控，对降低产品质量波动和加工成本、减少零件废品率有重要意义。

传统的零件表面预测主要是基于加工理论和切削运动学的方法，但各类加工参数等影响因素无法在单一模型上体现。相比理论方法，基于支持向量机、隐马尔可夫模型、多层感知器和BP神经网络等试验方法的表面预测模型能够更好地反映出表面形貌的形成机制。而最新发展的深度卷积神经网络具备更好的数据拟合能力以及更强的抽象特征提取能力，但卷积网络不存在记忆性，无法实现网络中层与层之间的信息共享。

已有技术中，施建行在论文“Convolutional LSTM Network:A Machine LearningApproach for Precipitation Nowcasting”(Advances in Neural InformationProcessing Systems,v2015-January,p 802-810,2015)中将卷积运算引入长短期记忆网络(LSTM)提出了ConvLSTM单元，并用于非平稳时空序列数据预测，降低了LSTM提取数据空间特征时的空间冗余性。但是这种结构没有涉及到图像全局特征和局部抽象特征的融合。

近年来出现的高清晰测量技术综合了接触式测量技术测量范围大和非接触式测量技术采样密度高的优点，能够为零件加工表面预测复现更为清晰的表面形貌。专利号为CN103544694A名称为“零件表面形貌三维高密度点云数据转化为灰度图像的方法”的中国专利，提出了把测量点云转化为灰度图像的方法，为后续神经网络预测提供了新的数据基础。

发明内容

本发明是为了克服现有技术中卷积神经网络中层与层之间无法信息共享的问题，提供一种基于时空全卷积循环神经网络的零件加工表面预测方法，利用全卷积网络的卷积层提取全局特征和局部细节特征，通过跳层结构对提取的全局特征和局部细节特征进行融合，将卷积长短期记忆网络(ConvLSTM)单元引入全卷积网络(FCN)，使网络在能够完成全局特征和局部特征提取、融合的基础上具有一定的记忆性，进而提高零件加工表面预测精度。

为了实现上述目的，本发明采用以下技术方案：

一种基于时空全卷积循环神经网络的零件加工表面预测方法，所述方法包括下述步骤：

(1)生成灰度图像：对测量后的零件表面形貌三维高密度点云数据进行处理，生成灰度图像；

(2)获得子图集：将步骤(1)中生成的灰度图像切分成子图集；

(3)空间自相关性分析：删除每张子图中的空值后，分别计算其莫兰指数，找出莫兰指数值最大的子图，将其大小M×N作为空间自相关程度最高的采样区域大小；

(4)灰度图像滑窗切分：以M×N为滑窗大小，设置滑动步长为固定值，将步骤(1)中生成的灰度图像切分成一系列M×N像素大小的子图；

(5)时间自相关性分析：a.先对获得的所有M×N像素大小的子图进行去空值操作，按照零件加工顺序构成时间序列，并通过单位根检验判断序列的平稳性；b.对非平稳序列进行差分操作并再次通过单位根检验，直到序列的检验结果为平稳序列；c.最后，计算序列的时间自相关函数，得到最优时间延迟阶数P；

(6)构建时空全卷积循环神经网络：通过全卷积网络的跳级结构、卷积长短期记忆网络和批量标准化算法，搭建时空全卷积循环神经网络模型。

通过与现有传统卷积神经网络(CNN)、ConvLSTM和FCN等网络结构比较分析，本发明提出的网络结构相比传统CNN、ConvLSTM网络，可以提取并融合图像的全局特征和局部特征；相比FCN网络本发明可以实现网络中层与层之间信息共享，使网络具备时序分析能力。结合上述优点完成对未来加工缸体表面形貌的预测，进一步提高了预测的精度和效率。

作为优选，所述步骤(1)的具体过程为：对测量后的零件表面形貌三维高密度点云数据中反映零件表面形貌的高度值映射为像素的灰度值，形成能够反映表面形貌高度值的灰度图像。

作为优选，所述步骤(2)的分切方式为：以D像素为采样间隔、(X，Y)为采样初始位置、W×H为初始采样图像尺寸、n为采样个数进行等间距采样，为W×H，[W+2*D]×[H+2*D]，……，[W+(n-1)*D]×[H+(n-1)*D]像素大小的一系列子图。

作为优选，所述采样间隔D像素选取整数且非素数，以适应时空全卷积循环神经网络的搭建。

为避免后续网络反卷积操作时因为输入维度不匹配而需要再次对输入进行裁剪、修改维度等不必要的操作，采样间隔D像素选取整数且非素数。

作为优选，所述步骤(4)中，图像切分采用滑动窗口分切的方法。

采用滑动窗口的方法切分图像，可以在一定程度上对样本进行数据增强，对工业生产过程中一些难以获得的工业数据样本进行扩充。

作为优选，所述步骤(2)和步骤(4)基于OpenCV完成。

作为优选，所述步骤(5)中，序列平稳性判定采用单位根检验的方法，序列平稳化采用差分的方法，最优时间延迟阶数P采用计算时间自相关函数获得。

上述分析可以为模型找到合适的输入，为后续模型搭建做前期数据分析准备，帮助模型更好、更快地挖掘出多个零件表面形貌数据中蕴含的加工信息和规律，提高模型预测精度，降低模型计算成本。

作为优选，所述步骤(6)的具体过程为：根据步骤(5)的时间延迟阶数P，得到基于时空全卷积循环神经网络模型的输入维度为(None,P,M,N,1)，输出维度为(None,M,N,1)，即利用前P个表面形貌预测出第P+1个表面形貌，其中None表示批量值，将步骤(5)得到的一系列子图划分为训练集、验证集和测试集，然后以批量的形式输入网络进行模型训练和测试，实现加工表面的预测。

作为优选，所述子图以批量形式输入网络，图像送入网络前将背景值置0，以降低图像背景值对预测主体的影响，基于时空全卷积循环神经网络搭建通过TensorFlow 2.0完成。

作为优选，所述基于时空全卷积循环神经网络构建过程中的程序编译环境均为Jupyter Notebook，编程语言为Python3.7。

本发明具有的有益效果：

(1)本发明提出一种基于时空全卷积循环神经网络的零件加工表面预测方法，能够实现网络中层与层之间信息共享，有效提取、融合图像全局特征和局部抽象特征，完成对未来加工缸体表面形貌的预测；

(2)本发明预测精度达到95％以上，能够满足零件表面平面度公差要求，80万测点零件表面高清晰测量数据预测时间在10秒以下，能够满足生产节拍要求；

(3)本发明提升了模型预测精度和训练速度，克服了传统机器学习方法拟合能力以及特征提取能力不足的缺点，为后续部署模型进行实时预测、刀具磨损分析、加工过程控制等工作的开展提供了基础。

附图说明

图1是本发明基于时空全卷积循环神经网络架构简化图。

图2是实施例1缸体顶面灰度图像采样切分图。

图3是实施例1缸体顶面灰度图像滑窗切分图。

图4是实施例1缸体真实图像(4.1)与预测图像(4.2)局部细节对比图。

图5是实施例1缸体真实图像(5.1)与预测图像(5.2)整体对比图。

图6是对比例1ConvLSTM预测结果(6.1)与CNN+ConvLSTM预测结果(6.2)展示图。

图7是实施例2轴承侧面灰度图像采样切分图。

图8是实施例2轴承真实图像(8.1)与预测图像(8.2)局部细节对比图。

图9是实施例2轴承真实图像(9.1)与预测图像(9.2)整体对比图。

具体实施方式

下面结合具体实施方式对本发明做进一步的描述。

总实施例

一种基于时空全卷积循环神经网络的零件加工表面预测方法，所述方法包括下述步骤：

(1)生成灰度图像：对测量后的零件表面形貌三维高密度点云数据中反映零件表面形貌的高度值映射为像素的灰度值，形成能够反映表面形貌高度值的灰度图像；

(2)获得子图集：将步骤(1)中生成的灰度图像切分成子图集；以D像素为采样间隔、(X，Y)为采样初始位置、W×H为初始采样图像尺寸、n为采样个数进行等间距采样，为W×H，[W+2*D]×[H+2*D]，……，[W+(n-1)*D]×[H+(n-1)*D]像素大小的一系列子图；通过OpenCV完成；

(3)空间自相关性分析：删除每张子图中的空值后，分别计算其莫兰指数，找出莫兰指数值最大的子图，将其大小M×N作为空间自相关程度最高的采样区域大小；

(4)灰度图像滑窗切分：以M×N为滑窗大小，设置滑动步长为固定值，将步骤(1)中生成的灰度图像切分成一系列M×N像素大小的子图；通过OpenCV完成；

(5)时间自相关性分析：a.先对获得的所有M×N像素大小的子图进行去空值操作，按照零件加工顺序构成时间序列，并通过单位根检验判断序列的平稳性；b.对非平稳序列进行差分操作并再次通过单位根检验，直到序列的检验结果为平稳序列；c.最后，计算序列的时间自相关函数，得到最优时间延迟阶数P；

(6)构建时空全卷积循环神经网络：根据步骤(5)的时间延迟阶数P，得到基于时空全卷积循环神经网络模型的输入维度为(None,P,M,N,1)，输出维度为(None,M,N,1)，即利用前P个表面形貌预测出第P+1个表面形貌，其中None表示批量值，将步骤(5)得到的一系列子图划分为训练集、验证集和测试集，然后以批量的形式输入网络进行模型训练和测试，图像送入网络前将背景值置0，实现加工表面的预测；通过全卷积网络的跳级结构、卷积长短期记忆网络和批量标准化算法，搭建时空全卷积循环神经网络模型；通过TensorFlow 2.0完成。

所述基于时空全卷积循环神经网络构建过程中的程序编译环境均为JupyterNotebook，编程语言为Python3.7。

实施例1

一种基于时空全卷积循环神经网络的零件加工表面预测方法，所述方法包括下述步骤

(1)生成灰度图像：通过采用三维高分辨率表面形貌测量技术对发动机缸体顶面进行测量，按加工顺序依次得到三维高密度点云数据，该数据以X、Y、Z三维坐标格式显示，其X、Y方向分辨率均为150μm，Z方向测量精度为1μm，点云数据密度可达到每平方毫米40个测点，测点总数可达1百万点，采用将三维点云数据中反映零件表面形貌的高度值映射为像素灰度值的方法，生成缸体顶面加工过程的灰度图像；

(2)获得子图集：以图像坐标(211,511)为初始采样位置、50×50像素为初始采样大小、25像素为采样间隔等距采样12次，得到12张采样子图，采样结果如图2所示。

(3)空间自相关性分析：分析12张子图的空间自相关性。对12张子图进行去空值处理后分别计算其对应的莫兰指数，取莫兰指数最高的300×300像素作为空间自相关程度最优尺寸。

(4)灰度图像滑窗切分：以300×300像素为滑窗大小，300像素为滑动步长，将步骤(1)生成的灰度图片切分成一系列300×300像素大小的子图，切分结果如图3所示。

(5)时间自相关性分析：取步骤(4)切分的子图中缸体顶面位置相同的图像，按照加工顺序构造时间序列，去除图像空值后进行单位根检验，第一次检验序列为非平稳序列，对数据一阶差分之后再次进行单位根检验，第二次检验序列为平稳序列，计算时间序列自相关函数，分析得到最优时间延迟阶数P＝5。

(6)构建时空全卷积循环神经网络：用TensorFlow 2.0中的Conv2D、ConvLSTM2D、BatchNormalization、MaxPooling2D、Conv2Dtranspose等方法搭建STFCRNN模型，简化之后的网络框架如图1所示。用加工过程中第1,2,K,P张图像预测第P+1张图像，由步骤(5)可知P＝5，构建网络输入为(None,5,300,300,1)，网络输出为(None,300,300,1)。将步骤(4)得到的子图划分为训练集(80％)、验证集(15％)、测试集(5％)三部分，背景值置0后分别以Batch的形式输入模型，模型训练完成之后对测试集进行预测，得到局部预测图，结果如图4所示；最后把测试集300×300像素大小子图的预测结果拼接成整体预测图，如图5所示。与真实图像对比，预测结果平均绝对误差为0.95μm，和零件表面平面度公差50μm相比，具有较高的零件表面形貌预测精度，局部预测时间为0.53秒，整体预测时间为8秒，能够满足生产节拍要求。

对比例1(与实施例1的区别在于，分别采用卷积长短期记忆网络(ConvLSTM)与卷积神经网络+卷积长短期记忆网络(CNN+ConvLSTM)进行预测)

一种基于时空全卷积循环神经网络的零件加工表面预测方法，结合实施例分析本发明提出的网络架构相比于现有网络架构的优势与有效益处。为排除其它因素干扰，对比例1所用数据集和实施例1中相同，对比例1中步骤(1)至步骤(5)和实施例1中一致，步骤(6)中网络结构分别用现有的ConvLSTM和传统CNN+ConvLSTM，训练集、验证集和测试集划分比列均与实施例1相同，背景值置0后分别以Batch的形式输入模型，模型训练完成之后对测试集进行预测，预测结果如图6所示。通过与图5对比发现：ConvLSTM和传统CNN+ConvLSTM结构的预测结果中子图与子图拼接部分均存在明显裂痕，影响整体预测效果。预测精度本发明最优为0.95μm，ConvLSTM次之为2.205μm，CNN+ConvLSTM预测效果较差；整体预测时间本发明为8秒，ConvLSTM为24秒。

实施例2

一种基于时空全卷积循环神经网络的零件加工表面预测方法，所述方法包括下述步骤(1)获取灰度图像：本实施例是通过工业高清摄像头拍摄直接得到的轴承侧面灰度图像，因此不需要进行三维高密度点云数据转换。

(2)获得子图集：以图像坐标(668,300)为初始采样位置、64×64像素为初始采样大小、32像素为采样间隔等距采样10次，得到10张采样子图，采样结果如图7所示。

(3)空间自相关性分析：分析10张子图的空间自相关性。对10张子图进行去空值处理后分别计算其对应的莫兰指数，取莫兰指数最高的256×256像素作为空间自相关程度最优尺寸。

(4)灰度图像滑窗切分：以256×256像素为滑窗大小，256像素为滑动步长，将步骤(1)生成的灰度图片切分成一系列256×256像素大小的子图。

(5)时间自相关性分析：取步骤(4)切分的子图中轴承侧面位置相同的图像，按照加工顺序构造时间序列，去除图像空值后进行单位根检验，第一次检验序列为非平稳序列，对数据一阶差分之后再次进行单位根检验，第二次检验序列为平稳序列，计算时间序列自相关函数，分析得到最优时间延迟阶数P＝6。

(6)构建时空全卷积循环神经网络：用TensorFlow 2.0中的Conv2D、ConvLSTM2D、BatchNormalization、MaxPooling2D、Conv2Dtranspose等方法搭建STFCRNN模型。由步骤(5)可知P＝6，构建网络输入为(None,6,256,256,1)，网络输出为(None,256,256,1)。将步骤(4)得到的子图划分为训练集(80％)、验证集(15％)、测试集(5％)三部分，背景值置0后分别以Batch的形式输入模型，模型训练完成之后对测试集进行预测，得到局部预测图，结果如图8所示；最后把测试集256×256像素大小子图的预测结果拼接成整体预测图，如图9所示。与真实图像对比，预测结果平均绝对误差为1.95μm，局部预测时间为0.4秒，整体预测时间为10秒，能够满足零件表面平面度公差以及生产节拍要求。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效变换，均仍属于本发明技术方案的保护范围。