基于知识进化深度学习模型的激光与芯片对准系统

摘要

本发明涉及基于知识进化深度学习模型的激光与芯片对准系统。本发明的创新点在于将Inception‑ResNetV2网络结构针对激光与芯片的校准检测要求，根据输入目标样本的特征和属性等信息，进行关于网络层次，网络结构深度和网络训练参数的优化，并采用知识进化训练方法得到的网络模型将目标样本分为五个类别，包括激光偏上，激光偏下，激光偏左，激光偏右和对准完成情况。将深度神经网络的分类结果与硬件平台结合完成高精度对准操作，并且针对采用深度神经网络的芯片校准结果利用图像处理与模板匹配技术，对分类结果做精度验证得到误差，并设计软件操作系统将对准与误差结果返回。

说明书

技术领域

本发明涉及到基于知识进化深度学习模型的激光与芯片对准系统，隶属于图像分类领域。

背景技术

工业要求中，需要将激光通过控制台对准至芯片的中心，且对于精度和速度的要求较为严苛。然而由于技术问题与融合限制，目前市面上普遍采用的办法仍然是基于图像处理的方式，该类方法虽然有较为理想的精度，但是在速度要求上表现并不尽如人意。而且需要更多的人工操作使得产生误差的机会大大增加。所以本发明设计了精度更高，自动化更完善效率高的基于知识进化深度学习模型的激光与芯片对准系统。

在处理小数据集样本时，纤细的网络对于数据的分类效果可能会更好，在文献Knowledge Evolution in Neural Networks中，作者Ahmed Taha等采用知识进化训练方法对ResNet网络等现有部分深层网络进行训练取得较为理想的结果。所以将其应用于本发明涉及的网络也具有一定价值。

发明内容

针对上述现存技术所存在的问题，本发明提供基于知识进化深度学习模型的激光与芯片对准系统。使深度学习技术服务于社会工业化，将深度学习技术与工业相结合，同时使用知识进化方法训练模型使网络更加纤细，提高激光对准的速度同时保证合格的精度要求。

为实现以上目的，本发明采用以下技术方案：基于知识进化深度学习模型的激光与芯片对准系统具体包括以下模块：激光发射模块，发射激光源至反射模块；反射模块，位于激光发射源同向，用于反射激光光源至目标芯片；成像模块，用于芯片与激光校准状态的观测与获取当前状态图像；图像处理模块，用于对获取图像做处理计算返回当前校准状态并验证校准结果；芯片位移模块，用于待对准目标芯片针对计算结果进行位移控制达到对准目的。其中激光发射模块与目标芯片位于相邻较近位置，且激光源已固定，由芯片位移模块夹持目标芯片。

优选的，所述芯片位移模块由位移平台、芯片夹持工具和目标芯片组成，位移平台由两个方向的位移结构共同构成，且分别采用两组电池独立供电。

优选的，所述成像模块采用包括拍摄功能，打光功能以及放大功能的设备。

优选的，所述图像处理模块包括基于知识进化深度学习模型的激光与芯片校准方法以及基于图像处理的校准结果验证。

优选的，基于知识进化深度学习模型的激光与芯片校准方法主要采用深度神经网络模型做图像分类。

优选的，基于图像处理的校准结果验证主要采用图像处理模板匹配方法。

本发明所述的基于知识进化深度学习模型的激光与芯片校准检测方法，具体包括以下步骤：

A、预先设置合适于芯片图像特征的深度学习模型框架；

B、将得到的深度学习模型框架与分类网络框架结合优化形成适用于芯片校准要求的网络模型，使用生成的网络模型根据已获得图像数据与分类标签进行知识进化训练得出最终深度学习模型，并采用该模型对芯片图像校准，输出监测结果。

所述的基于知识进化深度学习模型的激光与芯片校准检测方法，其中所述深度学习模型为深度卷积神经网络。

所述的基于知识进化深度学习模型的激光与芯片校准检测方法，其中所述深度学习模型训练方式为知识进化训练办法。

所述的基于知识进化深度学习模型的激光与芯片校准检测方法，其中所述步骤A具体包括步骤：

A1、根据芯片图像属性设计深度学习框架的输入属性处理；

A2、根据芯片图像特征设计深度学习基本框架的卷积层的卷积核数量和卷积核尺寸；

A3、将卷积层结合池化层，正则归一化和神经元丢弃操作结合生成基础神经网络结构模型。

所述的基于知识进化深度学习模型的激光与芯片校准检测方法，其中所述步骤B具体包括步骤：

B1、将一定数量的目标图像与类别标签输入深度学习模型，其中标签分别包括：up(芯片中心在激光上方)，down(芯片中心在激光下方)，left(芯片中心在激光左方)，right(芯片中心在激光右方)，quality(位置校准正确)；

B2、将图像与标签输入该模型进行训练，首先对于初始网络模型，将其分解为两个子网络，对子网络随机初始化参数，对于初始网络模型迭代训练，将结果模型作为第一代网络；将第一代网络模型随机初始化分解为两个子网络，使用第一代得到的子网络重新初始化基础网络模型，再对模型进行训练得到二代网络。重复上述过程直到得到效果较好的纤细网络。

B3、将待测图像输入模型输出检测结果为五种标签之一；

所述的基于图像处理的校准结果验证方法，其中，所述步骤具体包括步骤：

A、将图像校准完成后的结果建立初始模板，设置像素灰度误差容错空间；

B、将将输入图像经模型检测取得结果按照模板对其进行校准完成度匹配，求解图像RGB分解后的R分量上的灰度置信度误差对模型检测结果做验证；

C、输出最终检测结果与误差。

附图说明

图1为本发明的基于知识进化深度学习模型的芯片与激光对准方法的硬件系统图示

图2为本发明中采用的卷积网络模型

图3为本发明中采用的卷积网络模型的stem层优化

图4为知识进化训练方法训练过程

图5为本发明的基于深度学习模型的芯片与激光对准方法的软件系统流程图

图6为图像处理验证流程图

具体实施方式

以下结合附图和具体实施例对本发明进行详细说明。

如图1所示，基于知识进化深度学习模型的芯片与激光对准方法的硬件系统示意图，包括转轴1，x方向位移结构2，y方向位移结构3，激光发射源4，计算机5，芯片夹持工具6，目标芯片7，打光灯8，相机9，反射镜10。其中，激光发射源4与反射镜10已固定位置。计算机5连接相机9和打光灯8，转轴1可由计算机控制，转轴连接位移结构2，3带动夹持工具6移动，使目标芯片7可移动。

本发明工作方式大体如下：激光发射源4发射激光光线经反射镜10反射至目标芯片7的区域内，将激光与反射镜固定，使用相机9配合打光灯8实时观测当前芯片区域与激光点的信息并根据图像信息通过计算机5基于知识进化深度学习模型的激光与芯片对准检测计算当前激光点与目标芯片中心的相对位置，将结果返回转轴1控制x，y方向位移机构2，3从而使夹持工具6控制目标芯片7移动。重复上述过程直至对准检测结果为已对准。

本系统图像处理模块中基于知识进化深度学习模型的激光与芯片对准检测使用Python作为工具语言，采用Keras框架作为基础构建网络模型，使用Halcon图像处理库对图像样本做预处理。

本发明基于深度学习模型的芯片与激光对准方法主要包括以下几个部分：

采用基于深度学习模型的芯片与激光对准方法主要包括数据的训练过程和测试过程；具体构建过程如下：首先，发明的数据集样本来源于激光与芯片对准系统，保存了样本在真实环境下的实际信息，实验中每一标签类别的样本数量不少于3000，保证了数据的多样性，有利于实际环境的模拟。将几个基础的网络模型针对样本的属性信息做基础训练，选择合适的网络框架，采用的网络框架选用改进的Inception-ResNetV2网络，具体结构如图2所示；针对基础的网络框架对于网络的层数做底层改动，优化网络深度和宽度。使网络适用于激光与芯片的对准处理。使用训练样本对优化网络做进一步训练，测试；得到准确率符合要求的网络。将训练得到的网络模型用于目标样本的分类，得到分类结果。

对于利用采集目标样本进行的深度卷积网络的训练得到可用网络模型的具体操作过程按照如下步骤进行，其中，改进后的基础网络结构框架中的stem结构如图3所示。

将样本输入神经网络模型的基础网络部分，对于样本首先做卷积处理，输出卷积结果，将卷积特征做通道扩增，得到多通道特征，并加入池化操作和规范化操作，得到简单卷积特征。

将卷积特征输入网络模型的复杂部分，复杂部分包括三类不同的卷积层，通过不同尺度的复杂卷积层，使得特征映射在不同的区域，有利于不同尺寸特征的区分和融合。

将深度神经网络的简单网络模型和复杂模型部分结合起来形成完整的卷积模型，对模型融合后使用方法中的训练样本进行知识进化模型训练，具体过程如图4所示，将初始模型N分解为两个子网络，具体分解公式如下，其中M为分解模板：

H

将N进行迭代训练得到第一代理想网络模型N1，对于N1利用上述公式再分解为两个子网络，使用子网络重新初始化网络模型N得到第二代网络，重复上述过程得到更加精简纤细的最终的完整模型结果，完成训练过程。

利用采集目标样本进行的深度卷积网络的训练具体操作过程按照如下步骤进行：

对于输入深度神经网络的样本特征采用神经网络中的前向传播计算方法获取样本卷积特征信息，得到深度神经网络模型对于样本目标分类的对应分类结果的相关性数值，选择计算结果数值最高的分类代表标签作为模型对于训练数据的分类结果。根据初始参数求解参数相对于参数的梯度，通过梯度下降算法采用反向传播算法更新深度网络模型的训练参数，此时训练参数更新一轮过程结束。对于参数的更新在找到参数最优值后结束，即梯度下降至最小值。

训练过程的前向传播进行样本特征计算得到分类结果的训练过程：

对于样本经过卷积池化等网络操作，使用激活函数激活神经元，得到深层的图像卷积特征，按照网络结构进行上述操作直至最后一层卷积，将结果输入全连接层，最后使用激活函数输出每种分类结果的数值，在本方法针对的激光与芯片对准过程中采用的分类类别数N＝5。

本发明中使用的分类器函数为Softmax分类器函数，一般用于多分类问题，将多维实数向量映射到另一个同纬度多维向量，将数值控制在(0，1)之间，便于对分类结果中每一类的概率计算。

本发明中使用的损失函数采用交叉熵损失函数评估训练概率与真实分布的误差损失。具体公式如下：

本发明中使用的参数更新优化算法为RMSProp算法，该算法对于权重和偏置参数的梯度计算使用了微分平方加权平均数。加入该计算用于修改摆动幅度，使参数梯度在各个方向摆动幅度都有下降，使参数收敛过程更加迅速。迭代过程公式如下，其中，s

s

s

发明中对于激光与芯片对准系统的操作流程图如图5所示，按图1连接硬件设备，将硬件系统与软件系统相结合，采用相机观察反射设备的激光与芯片对准情况，利用深度神经网络方法判断当前时刻的对准情况，并按检验结果移动控制台，重复上述操作直至对准结果完成。对于结果使用图像处理方式验证其准确性，设置置信区间判断对准结果误差。

对于发明中涉及的图像处理验证方法流程如图6所示：

对经过深度神经网络判断为对准成功的结果进行模板匹配，根据其在相机中的成像找到芯片区域，并对已经校准完成的一个标准结果针对芯片区域建立模板，设置模板准确置信度，采用基于金字塔的模板匹配，对于待验证对准结果进行匹配，根据是否匹配到结果判断对准结果并根据预设置信度输出误差，若经检测未达到对准要求，则发送警示信号，重新移动位移平台进行新一轮对准操作。