基于Kinect的罐笼内矿工不安全行为识别方法研究

摘要

我国能源资源的特点决定了煤炭仍是第一大能源，保障煤矿安全生产是工业安全的重中之重。人的不安全行为是导致安全事故发生的最主要原因，传统的矿工不安全行为预防主要通过安全训练与实地监管，效率与可靠性较低。如何借助信息技术有效可靠地甄别矿工不安全行为从而加强事故预防及管理极为关键，对降低煤矿事故发生率有着重大意义。副井在煤矿中处于“咽喉”地位，同时深层地下开采成为了一种趋势，这对副井提升系统的安全问题防范提出了更高要求。本文将研究场景选在副井罐笼内，利用微软Kinect体感传感器研究副井罐笼内矿工行为并结合副井安全门图像信息对矿工行为性质进行判识，对于减少副井事故的发生具有重要意义。 本文对罐笼内矿工动态行为和交互行为进行了研究。在矿工动态行为表示方面，本文在人体静态姿势表示的基础上对其展开了研究，提出了一种基于最大信息量关节角序列时间金字塔特征的矿工动态行为表示方法，此方法克服了传统行为特征局限性的同时对于表示长度差异较大的行为序列有更强的适应性。在矿工交互行为表示方面，为了提高矿工交互行为表示方法的准确性和鲁棒性，本文基于关键帧提取了关节点距离特征，并在此基础上融合了平面距离特征和垂直平面距离特征。 为了证明本文矿工行为表示方法的有效性，通过自建罐笼内矿工行为数据集进行SVM建模，实验表明矿工动态行为识别准确率为94.8%，矿工交互行为识别准确率为84.6%。本文还在MSR DailyActivity3D数据集上证明提出的矿工动态行为表示与识别方法的适用性。为了进一步提升矿工交互行为识别的准确率，同时提高交互行为分类模型的鲁棒性，本文提出了一种基于决策级融合的矿工交互行为识别方法，最终的矿工交互行为识别准确率达到88.3%。 考虑到罐笼内矿工的不安全行为判识与副井安全门的状态相关联，因此本文基于图像展开对副井安全门状态的识别研究。经过多个煤矿的实地考察与相关规章查阅，本文构建了罐笼内矿工行为性质分类模板，并利用测试样本通过本文模型识别出矿工行为与副井安全门状态后将两者编码组合，最后匹配该分类模板对矿工行为性质作出判识。最终的判识准确率为94.2%，说明本文方法对于副井罐笼内矿工的不安全行为具有较好的判识效果。

目录

声明

致谢

1 绪论

1.1 研究背景和意义

1.2.1 矿工不安全行为研究现状

1.2.2 行为识别研究现状

1.2.3 基于Kinect的行为识别研究现状

1.2.4 交互行为识别与结合环境的行为识别研究现状

1.3.1 论文研究路线

1.3.2 主要研究内容

1.3.3 论文章节安排

2 行为识别相关工具与技术介绍

2.1 Kinect介绍

2.1.1 Kinect硬件平台介绍

2.1.2Kinect SDK介绍

2.2.1 Kinect深度数据获取原理

2.2.2 关节点三维坐标获取

2.2.3 常用的人体行为数据集

2.3 常用的人体行为识别方法介绍

2.3.1 模板匹配法

2.3.2 直接分类法

2.3.3 状态空间法

2.4本章小结

3 基于关节点信息的罐笼内矿工行为表示方法

3.1 引言

3.2 人体静态姿势表示方法

3.2.1 人体静态姿势特征提取

3.2.2 角度特征评估

3.2.3 人体静态姿势表示序列

3.3 矿工动态行为表示方法

3.3.1 矿工动态行为特征提取

3.3.2 最大信息量关节角序列特征评估

3.3.3 时间金字塔模型

3.3.4 基于最大信息量关节角序列时间金字塔特征行为表示

3.4 矿工交互行为表示方法

3.4.1 交互行为关键帧提取

3.4.2 矿工交互行为特征提取

3.4.3 基于特征融合的矿工交互行为表示方法

3.5 本章小结

4 罐笼内矿工行为识别模型建立及结果分析

4.1 引言

4.2 自建罐笼内矿工行为数据集

4.3 支持向量机

4.4 基于 SVM 的矿工行为识别模型建立与结果分析

4.4.1 实验分析方法与标准

4.4.2 基于SVM的矿工动态行为识别实验与结果分析

4.4.3基于MSR Daily Activity 3D数据集实验结果分析

4.4.4 基于SVM的矿工交互行为识别实验与结果分析

4.5 基于决策级融合的矿工交互行为识别方法模型建立与实验分析

4.5.1 KNN分类算法

4.5.2 Softmax分类器

4.5.3 基于决策级融合的矿工交互行为识别方法模型建立

4.5.4 基于决策级融合的矿工交互行为识别方法实验结果

4.6 本章小结

5 副井安全门状态识别及矿工行为性质判识

5.1 引言

5.2 深度学习及框架介绍

5.3 安全门状态识别模型结构

5.4 副井安全门状态识别实验与结果分析

5.4.1 图像预处理

5.4.2 实验环境搭建与结果分析

5.5 罐笼内矿工行为性质分类模板建立

5.6 罐笼内矿工行为性质判识实验

5.7 本章小结

6 总结与展望

6.1 总结

6.2 展望

参考文献

作者简历

学位论文原创性声明

学位论文数据集