人体骨骼关键点检测及在姿势识别中的应用研究

摘要

人体姿势识别是人工智能应用的重要方向之一，也是近年来计算机视觉领域的研究热点，已被应用于安防系统、体感技术及人机交互等方面。随着对人体姿势识别研究的不断深入，研究人员发现人体姿势识别的任务充满挑战，其中包括图片背景复杂，人的位置杂乱无章，姿势关键点遮挡严重，且关键点之间关系难以定义等。目前的姿势识别研究主要从人体骨骼关键点检测出发，然而，其中大多数方法只适用于单人，或将多人姿势识别任务分成人物目标检测和关键点检测与姿势识别两个部分分别进行，从而图像的全局信息和上下文信息被忽略，导致人体骨骼关键点识别的速率低，和对多人人体识别的准确性差强人意。　　论文首先对人体姿势识别领域的国内外研究现状、公开数据集及相关技术进行了充分调查和理解。其次，基于自上而下人体骨骼关键点检测思路，本文结合目前性能较好的目标检测网络Yolov3分别与级联金字塔深度卷积网络和堆叠沙漏网络融合实现了多人人体骨骼关键点检测算法。在同一个COCO数据集上的实验证明了级联金字塔深度卷积网络的训练速度和准确率都要高于堆叠沙漏网络。论文随后提出了融合关联嵌入和级联金字塔深度卷积网络的多人人体骨骼关键点检测算法。该算法实现了one-stage和端到端的神经网络结构，通过一个网络同时完成目标人物检测与关键点检测的任务。该网络通过级联金字塔实现提取图像的局部和全局特征信息，和使用关联嵌入方法度量多人的关键点信息。根据在COCO人体骨骼关键点数据集上的实验表明，论文提出的端到端多人关键点检测算法能够有效检测到多人骨骼关键点，拥有较高的准确率且对遮挡、噪声鲁棒。

目录

声明

1 绪论

1.1 研究背景及研究意义

1.2 国内外研究现状

1.2.1 基于深度学习技术的单人姿势估计技术

1.2.2 基于深度学习技术的自上而下多人姿势估计

1.2.3 基于深度学习技术的自下而上多人姿势估计

1.3 论文主要研究内容

1.4 论文章节安排

2 相关理论知识

2.1 人体姿势识别数据集简介

2.2 深度学习原理简介

2.3 目标检测方法简介

2.4 人体姿势识别的评估函数介绍

2.5 人体骨骼关键点的GroudTruth构建方法

3 融合YOLO-V3的自上而下多人人体姿势识别算法对比研究

3.1 引言

3.2 融合YOLO-V3和堆叠沙漏模型的多人人体姿势识别算法

3.2.1 算法思想

3.2.2 网络结构设计

3.2.3 模型实现细节

3.3 融合 Yolo-v3 和级联金字塔深度卷积网络自上而下多人人体姿势识别算法

3.3.1 算法思想

3.3.2 网络结构设计

3.3.3 模型实现细节

3.4两种算法实验结果对比及分析

3.5本章小结

4 融合关联嵌入和级联金字塔网络的端到端多人人体姿势识别

4.1 引言

4.2 关联嵌入算法

4.2.1 关联嵌入原理

4.2.2 关联嵌入的方法优势

4.3 融合关联嵌入及级联金字塔网络的端到端多人人体姿势识别算法

4.3.1 算法思想

4.3.2 网络结构设计

4.4 实验过程与结果分析

4.4.1 数据集构建

4.4.2 实现细节

4.4.3 实验结果及分析

4.5 本章小结

5 总结与展望

致谢

参考文献

个人简历、在学期间发表的学术论文及取得的研究成果