基于改进时空图卷积神经网络的钻杆计数方法

摘要

针对现有钻杆计数方法存在劳动重复、计数误差较大、未考虑动作的时序信息等问题,提出了一种基于改进时空图卷积神经网络(MST-GCN)模型的钻杆计数方法。首先,通过矿用监控摄像头获取井下打钻视频数据,采用Alphapose算法在图像序列中提取人体的关键点信息,得到单帧图像上的人体骨架和连续图像序列上的骨架序列数据,进而构建表征人体动作的骨架序列;然后,在时空图卷积神经网络(ST-GCN)模型的基础上设计了MST-GCN模型,采用远空间分区策略关注骨架上距离较远的关键点运动信息,通过注意力机制网络SENet融合原空间特征与远空间特征,从而有效识别骨架序列上的动作类别;最后,在打钻视频上利用支持向量机辨识打钻姿势来决定是否保存骨架序列,若骨架序列长度保存到150帧则使用MST-GCN模型识别动作类别,并根据实际打钻时间设置相邻动作的识别间隔,从而记录动作数量,实现钻杆计数。实验结果表明:在自建的数据集上,MST-GCN模型的识别准确率为91.1%,比ST-GCN、Alphapose-LSTM和NST-GCN动作识别模型的准确率分别提升了6.2%,19.0%和4.8%,模型的损失值收敛在0.2以下,学习能力更强。在相同条件的打钻视频上,MST-GCN模型、人工方法和改进ResNet方法的平均误差依次为0.25,0.75,21次,说明MST-GCN模型的计数效果更好。在真实打钻1300根的现场应用中,MST-GCN模型的平均误差为9根,误计数结果低,能够满足实际需求。