基于人体三维姿态的动作评价系统

摘要

人体动作研究包括动作识别、手势识别、人体姿态估计等内容，作为计算机视觉领域的热点之一，对动作的研究可被广泛应用于虚拟现实、视频监控、体育运动分析等领域。
　　本论文对动作的研究基于人体的三维姿态，并以研制高尔夫动作评价系统为目的。现有的运动姿态捕获系统需要为实验者佩戴额外的辅助设备，操作不方便;且有些设备不能应用于室外场景，使用范围受到限制;基于单目估计人体三维姿态的方法准确度不高、算法的鲁棒性较差。因此本文研究了将双目立体视觉和深度学习相结合来恢复人体三维姿态的方法，首先通过级联的深度网络结构来进行人体二维关节点的提取，然后利用双目视差原理来恢复关节点的三维信息，针对高尔夫挥杆过程中的姿态获取，利用卡尔曼滤波来修正关节点信息，进而恢复人体三维姿态。一般来说，不同时刻或不同的人做的动作快慢存在差异，因此本论文提出了动态时间规整的方法来解决动作不对齐的问题，将动作对齐后，可以更合理地对两个动作的相似性进行评估。最后本论文研制了高尔夫挥杆动作评价系统，系统主要完成双目相机标定、数据采集以及动作评价等功能，通过关节角度的比对数据为学习者提供辅助训练，该系统可对学习者提高挥杆水平起到一定的帮助作用。本文的主要研究成果如下:
　　(1)针对现有运动姿态捕获方式存在的缺点，提出了结合深度学习和双目立体视觉获取人体三维姿态的方法，该方法适用范围广、实时性好、准确率高。
　　(2)对于两个快慢不同动作的评价，提出了利用动态时间规整来进行动作对齐，通过合适的特征选取，该方法可对齐两个长度不一致的视频。
　　(3)研制了高尔夫挥杆动作评价系统，该系统可将训练者的挥杆动作和标准动作进行比对，并给出关键动作处训练者的姿态与标准姿态的差异，作为球员练习的辅助训练系统。

目录

声明

摘要

1 绪论

1．1 研究背景和研究意义

1．2 国内外研究现状

1．2．1 三维人体运动捕获系统

1．2．2 三维人体姿态估计方法

1．2．3 动作识别方法

1．2．4 目前存在的问题

1．3 论文的主要工作以及结构安排

1．3．1 论文的主要工作

1．3．2 论文结构的安排

2 相关研究工作

2．1 人体二维姿态估计方法

2．2 基于openpose的人体二维关节点提取

2．2．1 相关算法的原理

2．2．2 结果展示

2．3 基于单目的人体三维态估计

2．4 本章小结

3 基于双目立体视觉的人体三维姿态恢复

3．1 系统原理介绍及相机标定

3．1．1 视差原理

3．1．2 摄像机成像模型

3．1．3 摄像机标定

3．1．4 双目校正

3．2 基于双目的三维姿态重建

3．3 基于特征点匹配的算法改进

3．4 实验结果对比及展示

3．4．1 与单目恢复方法对比

3．4．2 与kinect重建结果对比

3．5 基于卡尔曼滤波的关节点修正

3．5．1 卡尔曼滤波简介

3．5．2 实验结果展示

3．6 本章小结

4 基于动态时间规整的动作对齐

4．1 动态时间规整

4．1．1 动态时间规整介绍

4．1．2 动态规划原理

4．1．3 动态时间规整算法原理

4．2 视频动作对齐实验结果展示

4．3 本章小结

5 高尔夫动作评价系统

5．1 系统实验平台搭建

5．1．1 硬件平台

5．1．2 软件平台

5．2 高尔夫动作评价系统展示

5．2．1 相机标定模块

5．2．2 数据采集

5．2．3 动作评价结果展示

5．3 本章小结

6 总结和展望

6．1 总结

6．2 展望

参考文献

致谢