基于可移动拍摄大场景下的人体运动跟踪关键技术的研究与应用

摘要

计算机视觉是已成为计算机领域中最热门的课题之一，然而，目前还没有一个标准的模式来解决所谓的“计算机视觉问题”，计算机视觉中的问题是根据实际应用而产生的，通常情况下，一类应用上已经验证的算法却很难推广到其他应用上。
　　本文主要研究在可移动拍摄大场景下的人体运动跟踪的关键技术，主要包括：针对大场景下，使用单摄像机架在三脚架上进行不变焦旋转拍摄，目标跟踪时需要补偿摄像机的自身旋转运动，即计算相邻两帧之间的单应矩阵，由于单应矩阵的计算是一个随机过程，因此，当跟踪过程中引入补偿摄像机自身运动的单应矩阵时，其单应矩阵的计算稳定性直接影响着跟踪的结果，如何对二者之间的关系进行评测；同时，如何将每帧图像快速准确配准到真实的场景模型中，即计算每帧图像到真实场景模型之间的单应矩阵，其精确度如何评测；大场景下的人体运动跟踪是一个非常复杂的问题，因为图像分辨率低、背景复杂、目标移动迅速以及存在遮挡，因此，需要更多的先验知识，包括更加精确的目标描述和更加鲁棒的跟踪器。
　　针对以上实际中存在的问题，本文以跟踪在大冰面上快速滑行的短道速滑运动员为应用背景，主要研究内容和创新点包括以下几个方面：
　　(1)提出了在大场景使用单摄像机进行旋转拍摄下的人体运动跟踪的应用算法框架，确保了在复杂的体育应用中，也可具有较好的鲁棒性和稳定性。
　　(2)提出了一种新的有效算法以减小对于长图像序列自动配准多造成的累积误差，在该算法中，任何一帧图像只需经过3次映射便可转换到真实冰场坐标系下，即每帧图像到其对应的参考帧，参考帧到全景冰场，全景冰场到真实冰场模型，该算法避免了传统算法的多帧变换连续累乘，从而有效的降低了累积误差，而且这对于提高实际应用的稳定性是十分必要的。
　　(3)提出了描述目标更加精确的层次模型，这有助于在跟踪过程中，使得跟踪器知道什么时候以及如何来更新层次模型，这确保了模型更新的精确性：
　　(4)采用多线索跟踪技术，即针对较小的头部区域使用模板匹配技术，对身体区域使用直方图匹配技术，这使得当运动员发生在弯道遮挡时或是滑到冰场上端挡板有颜色干扰时，跟踪表现的更加稳定；
　　(5)提出了一种新的颜色核直方图的构建方法，在核函数中引入一个遮罩函数，有效的滤除了作为背景信息的干扰像素，大大提高了直方图匹配时的精确度；
　　(6)利用UKF（Unscented Kalman Filter）本身的特性，可以精确的近似统计变量的均值和协方差，同时，采用Sigma点确定性采样，相比PF，采样点少，实际和理论上计算的效率都更高。并巧妙的将描述目标的层次模型和多线索跟踪技术融合到了UKF的跟踪框架中；
　　(7)提出了一套新的对于在大场景进行旋转拍摄下的人体运动跟踪的评测方案，包括两个方面：1.与传统的跟踪方法相比，在跟踪的预测阶段多引入了一个去除摄像机自运动的计算，即相邻图像之间的单应矩阵，通过在手工标定的目标位置上加入不同噪声对此过程进行仿真模拟，详细的分析了其精确度与跟踪结果之间的关系。2.采用了一种间接方法，即标记点的实际冰场坐标系下的配准误差来作为实际跟踪结果的估计，来评测每一帧与真实冰场模型之间的单应矩阵的精确度，并从理论上分析了影响其精确度的因素所在。
　　本文提出的新的在大场景使用单摄像机进行旋转拍摄下的人体运动跟踪的应用算法框架还可推广到其他的相似应用中，如田径、自行车、赛车以及一些球类等场地运动项目中，尤其适合应用于体育运动项目的实时运动信息获取，体育电视转播中实时数据统计和战术模拟演示。同时，本文涉及到的一些关键技术还可应用在机器人视觉导航与定位，军事，虚拟现实，安全监控等方面。

目录

基于可移动拍摄大场景下的人体运动跟踪关键技术的研究与应用

APPLICATION AND RESEARCH ONHUMAN MOTION TRACKING IN LARGESCENE BY USING A PANNING CAMERA

摘 要

Abstract

目 录

Contents

第 1 章 绪论

1.1 课题背景及意义

1.2 图像配准概述

1.2.1 图像配准的应用

1.2.2 图像配准的一般步骤

1.3 基于视觉的目标跟踪技术的综述

1.3.1 视觉跟踪的定义

1.3.2 目标的表示

1.3.3 跟踪时的特征选择

1.3.4 目标检测

1.3.5 目标跟踪算法

1.4 体育领域里的相关应用

1.4.1 商业软件

1.4.2 在许多体育领域里的探索性研究

1.5 本文主要研究内容及其组织

第 2 章 大场景旋转拍摄下人体运动跟踪的问题驱动

2.1 引言

2.2 拍摄方案选择

2.3 在大场景使用单摄像机进行旋转拍摄下的人体运动跟踪的应用算法框架

2.4 大场景下人体运动跟踪存在的难点

2.5 本章小结

第 3 章 大场景下的自动配准算法

3.1 引言

3.2 2D 射影变换

3.3 透镜畸变

3.3.1 径向畸变

3.3.2 径向畸变校正

3.4 自动计算两视角下的 Homography

3.4.1 计算 Homography的推导

3.4.2 随机抽样一致性算法RANSAC

3.4.3 用RANSAC算法自动计算两幅图像之间的Homography

3.5 特征点的选择

3.5.1 Harris角点检测器

3.5.2 KLT 特征点

3.5.3 SIFT特征

3.6 长图像序列的配准方法

3.7 实验结果及分析

3.7.1 不同特征点的比较

3.7.2 自动配准的结果

3.7.3 每一帧与其参考帧的对应关系

3.7.4 如何减小累积误差

3.8 本章小结

第 4 章 基于UKF的人体运动的自动跟踪算法

4.1 引言

4.2 跟踪作为一个概率推理问题

4.3 卡尔曼滤波器

4.4 粒子滤波器

4.4.1 粒子滤波器算法

4.4.2 粒子滤波器存在的问题

4.5 Unscented卡尔曼滤波

4.5.1 一般的非线性状态空间模型

4.5.2 尺度UT变换

4.6 描述运动员的层次模型

4.7 颜色直方图匹配方法

4.7.1 颜色空间的选择

4.7.2 创建新的基于核的颜色直方图

4.7.3 直方图匹配技术

4.7.4 新颜色核直方图的优势

4.8 本文提出的基于UKF的跟踪算法

4.8.1 实际应用中的非线性状态空间模型

4.8.2 结合层次模型和UKF的目标跟踪算法

4.9 实验结果及分析

4.9.1 与Mean Shift和CAMShift算法的跟踪结果比较

4.9.2 与基于颜色粒子滤波器PF算法的跟踪结果比较

4.9.3 使用本文提出的算法解决遮挡问题

4.10 本章小结

第 5 章 实际跟踪结果与单应矩阵之间关系的分析与评测

5.1 引言

5.2 单应矩阵Ht-1,t的精确度与跟踪结果之间的关系分析

5.3 单应矩阵Hi,rink的精确度与实际跟踪结果的精确度之间的关系分析

5.4 本章小结

第 6 章 短道速滑滑行数据测量系统

6.1 引言

6.2 测量子系统的输出结果

6.3 分析子系统

6.4 本章小结

结 论

参考文献

附录 A 最小二乘法求解齐次方程

附录 B RANSAC算法迭代次数的推导

附录 C 卡尔曼滤波的相关推导

附录 D n维超球体体积

攻读博士学位期间发表的学术论文

哈尔滨工业大学博士学位论文原创性声明

哈尔滨工业大学博士学位论文使用授权书

致 谢

个人简历