一种基于深度神经网络的抗遮挡的物体位姿估计方法

摘要

本发明提供一种基于深度神经网络的抗遮挡的物体位姿估计方法，包括下列步骤：利用3D建模软件自行构建带有标签的训练集图片数据库与测试集图片数据库；构建深度神经网络：该神经网络包含四个子分支网络，每个子分支是独立的卷积神经网络结构；构建网络预测输出处理算法：四个子分支网络在最后一层密集连接层输出6维度的预测值，代表了待估计物体的位姿信息；由于遮挡的存在，某分支的结果存在误差，4个分支输出中存在着异常值，构建5种算法对其进行优化，提高抗遮挡干扰的能力；训练深度神经网络模型:使用训练集中的样本完成对深度神经网络的训练；使用不同遮挡比例测试集对深度神经网络模型测试。

说明书

技术领域

本发明属于物体位姿估计领域，涉及一种使用深度神经网络的具有强抗干扰性能的物体位姿估计的方法。

背景技术

物体位姿涵盖了物体的全部空间信息，包括物体的位置信息和姿态信息。在现代工业生产生活等众多领域，物体的位姿信息具有着十分重要的意义，发挥着举足轻重的作用。准确估计物体的位姿信息是目前许多的工业应用的基础。例如，在机器人领域，对目标位置和姿态信息的准确获取是机器人视觉的主要任务也是其他后续抓取等操作任务的基础。在物联网自动驾驶领域，对障碍物位姿的精准估计是实现安全驾驶的前提和保证。因此准确快速的估计物体位姿具有十分重要的意义。

与众多的深度学习的神经网络例如深度置信网络(DBN)、循环神经网络(RNN)相比，卷积神经网络(CNN)在处理图像信息方面有着显著的优势，因此卷积神经网络通常被用来处理与图像有关的应用。卷积核通过在特征图(feature map)上滑动，提取图像上的信息。浅层次的feature map可以获取图像纹理轮廓等直观信息，深层次的feature map可以获取较为抽象的语义信息，并且可以整合图像上特征的区域信息。这种独特的卷积学习的方式大大减小了网络中参数的使用，显著提高了训练速度与网络模型的收敛速度。并且卷积神经网络在图像分类、目标检测、模式识别等应用中取得了良好的效果。因此近年来卷积神经网络也进一步应用在了物体位姿估计领域。

计算机视觉技术与深度神经网络的兴起使得物体位姿估计的流程大大简化，克服了传统技术方案中的设备复杂，流程繁琐的困难与不足。但是由于深度神经网络技术的特点，其同样存在着固有的缺陷与不足。网络的精度与效果依赖于大规模的训练集，也取决于训练样本与测试样本的一致性。只有测试样本与训练样本相似度较高时，才能够实现良好的估计效果。然而在实际的工业生产与工业应用中，因为遮挡，噪音，光照等因素的普遍存在，无法保证测试样本与训练样本的良好一致性，导致了训练好的网络模型在遮挡干扰时性能显著下降。

在卷积神经网络的应用目标检测领域，遮挡是影响检测效果的一个重要干扰因素

因此一种具有抗遮挡干扰能力物体位姿估计方法具有十分重要的工业价值与应用价值。卷积神经网络具有极其优良的数据表征能力

相关文献：

[1]蔡星艳,赵和鹏,邱鹏,等.遮挡目标检测与识别技术研究[J].数字技术与应用,2013(9):73-75.

[2]刘栋,李素,曹志冬.深度学习及其在图像物体分类与检测中的应用综述[J].计算机科学,2016,(12):13-23.

发明内容

本发明针对物体位姿估计领域的遮挡干扰的问题，提供一种基于深度神经网络抗遮挡的物体位姿估计方法。本发明使用单目视觉系统，通过输入待估计物体的图像，端到端输出利用其位姿信息。深度卷积神经网络的使用确保了估计的快速性实时性，网络预测值处理算法保证了准确性与强抗干扰性。技术方案如下：

一种基于深度神经网络的抗遮挡的物体位姿估计方法，包括下列步骤：

第一步，利用3D建模软件自行构建带有标签的训练集图片数据库与测试集图片数据库。

(1)构建圆柱形规则物体作为待估计目标，将棋盘格图标作为标识物；

(2)将待估计目标置于目标相机前方，标识物处于相机视野中间，此时待估计目标的中心，标识物，相机镜头中心位于同一水平中心线，作为基准位置；

(3)待待估计目标依照脚本进行运动与旋转，改变空间位置与姿态，抓取对应位姿下标识物相片，并将对应的六维度坐标作为训练样本的标签；

(4)批量获取多张相片作为训练集样本，并将其标签进行所需的数据格式处理，满足网络输入的需求；

(5)以相同的方式构建遮挡测试集，不同之处在于以不同百分比的比例对标识物进行遮挡；

第二步，构建深度神经网络：该神经网络包含四个子分支网络，每个子分支是独立的卷积神经网络结构：由6层卷积层，4层最大池化层，1层展平层和3层密集连接层组成；其中每两层或者一层后跟随一层最大池化层，卷积核的数目依次是32,32,64,64,128,256.密集连接层的参数依次是2048,2048，6.

第三步，构建网络预测输出处理算法：四个子分支网络在最后一层密集连接层输出6维度的预测值，代表了待估计物体的位姿信息；由于遮挡的存在，某分支的结果存在误差，4个分支输出中存在着异常值，构建5种算法对其进行优化，提高抗遮挡干扰的能力；

(1)加权平均法：4个分支分别输出了对待估计目标的6维度预测值，把6个维度预测值分别对应相加求加权平均，得到6维度的预测值,并将其作为最后的输出；

(2)欧几里得距离法：分别考虑6个维度的估计值，针对每个维度：计算每个分支与其他3个分支在该维度上的平均欧几里得距离；设定平均欧几里得距离阈值；计算每个分支与平均欧几里得距离的差值，当该差值大于平均欧几里得距离阈值时，判定该分支在当前维度的预测值异常，将其删除；对剩余分支的预测值求平均，作为当前维度的预测输出；6个维度分别进行上述操作，最后输出6维度的预测值；

(3)点群密度法：分别考虑6个维度的估计值，针对每个维度：计算每个分支与其他3个分支在该维度上的点群密度，点群密度与距离相关，距离越大，点群密度越小，用欧几里得距离的倒数表示点群密度；设定点群密度阈值，计算每个分支与其他3个分支在该维度上的点群密度与平均点群密度的差值，当某个分支上的差值小于预设的点群密度阈值时，判定该分支在当前维度的预测值异常，将其删除；对剩余分支的预测值求平均，作为当前维度的预测输出，在6个维度分别进行上述操作，最后输出6维度的预测值；

(4)联合欧几里得距离法：4个分支分别输出6维度的预测值，这6个维度的预测值的异常与否存在相关性，因此联合考虑6维度间的相互联动影响，将欧几里得距离作为判断标准，第一步，针对每个维度：计算每个分支与其他3个分支在该维度上的平均欧几里得距离；第二步，针对每个分支：把6个维度的平均欧几里得距离进行加权平均，得到该分支的一个置信度；第三步，对4个分支的置信度进行排序，找出置信度最低的，即第二步中加权平均的欧几里得距离最大的分支，将其排除；第四步，利用算法(1)的加权平均法，对剩下的3个分支进行加权平均，输出6维度的预测值；

(5)联合点群密度法：4个分支分别输出6维度的预测值，这6个维度的预测值的异常与否存在相关性，因此联合考虑6维度间的相互联动影响，将点群密度作为判断标准；第一步，针对每个维度：计算每个分支与其他3个分支在该维度上的点群密度；第二步，针对每个分支：把6个维度的点群密度值进行加权平均，得到该分支的一个置信度；第三步，对4个分支的置信度进行排序，找出置信度最低的即第二步中加权平均的点群密度最小分支，将其排除；第四步，利用利用算法(1)的加权平均法，对剩下的3个分支进行加权平均，输出6维度的预测值；

第三步，训练深度神经网络模型:使用训练集中的样本完成对深度神经网络的训练；

第四步：使用不同遮挡比例测试集对深度神经网络模型测试。

本发明利用卷积神经网络和5种异常值检测算法，设计了一种基于深度神经网络的强抗干扰的物体位姿估计方法。该方法拍摄了无遮挡的标识物照片作为训练集，用以训练深度卷积神经网络模型，部分遮挡的照片作为测试集，用以测试深度卷积神经网络模型的抗干扰能力。与现有技术相比，这种方法具有较强的抗干扰性，遮挡的条件下的物体位姿估计准确性得到了较大的提高。

附图说明

图1基于深度神经网络的强抗干扰物体位姿估计流程图

图2欧几里得距离算法流程图

图3点群密度算法流程图

图4联合欧几里得距离算法流程图

图5联合点群密度算法流程图

图6不同测试集下效果对比图

图7不同测试集下5种算法的姿态估计效果对比图

图8不同测试集下5种算法的位置估计效果对比图

具体实施方式

本发明采用了卷积神经网络的框架来完成特征提取与视觉对应关系映射学习的任务，在网络预测输出的基础上我们构建了5种不同的数学算法对预测值处理从而提高在遮挡干扰存在下的预测能力。我们的方案可以大大简化物体位姿估计的复杂性，省略了特征提取、特征匹配等图像处理过程，实现了端到端的估计。与现有的技术方案相比，使用输出算法处理网络输出的预测值，进一步提高了位姿估计的精度和抵抗遮挡干扰能力，使得物体位姿估计更加方便、快捷、准确、高效

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述.。本发明按以下步骤具体实现：

第一步，利用3D建模软件自行构建带有标签的训练集图片数据库与测试集图片数据库。

(1)构建半径为100mm，高为200mm的圆柱形规则物体作为待估计目标，将棋盘格图标作为标识物。

(2)将待估计物体置于目标相机前方0.5m处，标识物处于相机视野中间，此时圆柱物体中心，标识物，相机镜头中心位于同一水平中心线，作为基准位置。

(3)待估计物体依照脚本进行运动与旋转，改变空间位置与姿态，抓取对应位姿下标识物相片，并将对应的六维度坐标作为训练样本的标签。

(4)批量获取50000张相片作为训练集样本，并将其标签进行所需的数据格式处理，满足网络输入的需求。

(5)以相同的方式构建遮挡测试集，不同之处在于以0％，4％，9％，12％，16％，20％，25％的比例对标识物进行遮挡。

第二步，构建深度神经网络。该神经网络包含四个子分支网络，每个子分支是独立的卷积神经网络结构：由6层卷积层，4层最大池化层，1层展平层和3层密集连接层组成。其中每两层或者一层后跟随一层最大池化层，卷积核的数目依次是32,32,64,64,128,256.密集连接层的参数依次是2048,2048，6.

第三步，构建网络预测输出处理算法。四个子分支网络在最后一层密集连接层输出了6维度的估计值，代表了待估计物体的位姿信息。由于遮挡的存在，某分支的结果存在误差，4个输出中存在着异常值，构建了5种算法对其进行优化，提高抗干扰能力。

N＝4，即四个分支；n＝1,2,3,4,即具体的分支；i＝1,2,...,6，即6个自由度，p(i)表示第i个自由度的预测值。单独分析每个维度的预测值有加权平均法、欧几里得距离法和点群密度法，联合分析6个维度间的预测值有联合欧几里得距离法和联合点群密度法。

加权平均法：4个分支分别输出了对待估计目标的6维度预测值，此时的网络输出维度是4*6，把6个维度预测值分别对应相加求加权平均，得到6维度的预测值,并将其作为最后的输出。当遮挡在某个分支对应的区域时，该分支的预测值误差较大，通过加权平均的方法，准确预测的分支可以把误差弱化减小。

公式(1)表示第i个自由度的平均值，公式(2)表示第i个自由度的加权平均值。其中s(i)是权重因子。

欧几里得距离法：分别考虑6个维度的估计值，针对每个维度：计算每个分支与其他3个分支在该维度上的平均欧几里得距离；设定平均欧几里得距离阈值；计算每个分支与平均欧几里得距离的差值，当该差值大于平均欧几里得距离阈值时，可以判定该分支在当前维度的预测值异常，将其删除；对剩余分支的预测值求平均，作为当前维度的预测输出。6个维度分别进行上述操作，最后输出6维度的预测值。算法流程如图2所示。公式(3)计算了第n个分支与其他N-1个分支在维度i的距离，公式(4)计算了4个分支维度i的平均距离。设定欧几里得距离阈值为0.2，当某分支的距离dis(n,i)与平均距离dis(i)超过阈值时，判定该估计值为异常值，将排除该预测值。

点群密度法：分别考虑6个维度的估计值，针对每个维度：计算每个分支与其他3个分支在该维度上的点群密度，点群密度与距离相关，距离越大，点群密度越小，用欧几里得距离的倒数表示点群密度；设定平均点群密度，计算每个分支与其他3个分支在该维度上的点群密度与平均点群密度的差值，当某个分支上的差值小于预设的点群密度阈值时，判定该分支在当前维度的预测值异常，将其删除；对剩余分支的预测值求平均，作为当前维度的预测输出，在6个维度分别进行上述操作，最后输出6维度的预测值。

算法流程如图3所示。从几何角度分析，异常值的点群密度较小。通过比较各个维度的点群密度排除异常值。公式(5)计算了第n个分支的点群密度，公式(6)求得最小的点群密度所在的分支。

物体的6自由度之间存在着相互联系，因此联合考虑6维度间的相互联动影响，可以将其作为整体思考，用公式(7)所示的B(j,k)来表示第j个分支和第k个分支间的距离，维度为6。

联合欧几里得距离法：4个分支分别输出6维度的预测值，这6个维度的预测值的异常与否存在相关性，因此联合考虑6维度间的相互联动影响，将欧几里得距离作为判断标准，第一步，针对每个维度：计算每个分支与其他3个分支在该维度上的平均欧几里得距离。第二步，针对每个分支：把6个维度的平均欧几里得距离进行加权平均，得到该分支的一个置信度。第三步，对4个分支的置信度进行排序，找出置信度最低的，即第二步中加权平均的欧几里得距离最大的分支，将其排除。第四步，利用算法(1)的加权平均法，对剩下的3个分支进行加权平均，输出6维度的预测值。算法流程图如图4所示。同欧几里得距离算法，将6维联合欧几里得距离作为准则判定异常值。公式(8)表示第n个分支的第i维欧几里得距离。公式(9)对不同的维度进行加权，获得第n个分支的联合欧几里得距离。公式(10)计算出欧几里得距离最大的异常值。

联合点群密度法：4个分支分别输出6维度的预测值，这6个维度的预测值的异常与否存在相关性，因此联合考虑6维度间的相互联动影响，将点群密度作为判断标准。第一步，针对每个维度：计算每个分支与其他3个分支在该维度上的点群密度。第二步，针对每个分支：把6个维度的点群密度值进行加权平均，得到该分支的一个置信度。第三步，对4个分支的置信度进行排序，找出置信度最低的即第二步中加权平均的点群密度最小分支，将其排除。第四步，利用利用算法(1)的加权平均法，对剩下的3个分支进行加权平均，输出6维度的预测值。算法流程图如图5所示。联合考虑6维度间的相互联动影响，将联合点群密度作为准则判定异常值。公式(11)计算第n个分支的第i个维度的点群密度。公式(12)计算第n个分支的6维加权联合点群密度。公式(13)计算最小的联合点群密度异常值

第三步，训练深度神经网络模型。使用训练集中的样本完成对深度神经网络的训练。具体的训练参数如下：

(1)batch_size＝3000:每个epoch将从训练集中随机选择3000张图片作为本轮训练样本；

(2)mini_batch＝2：一次向网络中输入2张图片，反向传播的目的即减小这两张图片的loss

(3)nb_epoch＝6：每个epoch重复6次，随后进入下一个epoch。

(4)epoch＝600:一次epoch将会保存一个.h5文件，即当前训练好的网络模型。下一轮将在当前的基础上进行训练，即再次重新抽取3000张训练图片。

(5)optimizer＝SGD:随机梯度下降进行反向传播降低loss。

第四步：使用不同遮挡比例测试集对深度神经网络模型测试，使用5种算法处理网络预测输出值。图6对比了无网络预测值处理算法的单个网络SBN和使用联合欧几里得距离算法的4分支网络MBN-4在不同遮挡比例下的位姿估计效果，可以看到MBN-4在遮挡比例上升时，仍能保证较高的估计精度。图7比较了5种算法对物体姿态在所有测试集上的平均效果。图8比较了5种算法对物体位置在所有测试集上的平均效果。