用于增强现实的实时深度图像三维人体识别及遮挡处理

摘要

本文实现了用于增强现实的实时深度图像三维人体识别与遮挡处理算法,使用单帧深度信息图像与深度信息视频流,专门针对增强现实领域的突出问题,提出了创新性的深度图像人体识别方法,如深度向量拟合、动静态标记进行辅助识别等;以及在遮挡处理部分使用带权值的人体部位关系无向图,最终达到无标记、实时处理、排除遮挡干扰的目的,从整体上提高了增强现实交互的准确性,与现有的识别方式相比有效改善了增强现实应用中人体识别的效率与准确度。
　　同时,本文创新性地改进了基于深度图像的人体识别算法,在仅基于原始深度图像的情况下,通过综合使用深度信息修复、深度信息向量拟合、动静态标记、深度语义平面识别、人体部位分类等技术,实现从原始深度图像到最终人体轮廓识别及骨骼节点构建的过程。算法最终可以实现输入深度信息视频流后,在满足实时的前提下完成无标记的人体轮廓识别及人体骨骼节点构建,同时还可以输出完整、精确的背景深度信息,为进一步的遮挡处理和人体追踪提供完备的数据和算法支持。
　　此外,本文着重研究了人体识别中的遮挡处理部分,增强现实的场景不确定性及场景复杂度较高,经常发生人体的自遮挡以及人体和场景元素之间的交互遮挡,通过对这些增强现实应用中常见遮挡情况的研究,本文提出了一种具有针对性的高效的识别算法,基于反向运动学和Hough变换,可以有效地在无标记、单目深度传感器的情况下实时处理增强现实系统中人体产生的自遮挡;并结合TSDF、Hough变换与分类回归树创建可信的遮挡序列集合,再由最终的遮挡判定器确定遮挡处理的结果来处理交互遮挡。
　　经过完善的实验平台搭建,并针对时间开销和识别准确度等方面实验结果的横向、纵向比较,可以证明本算法应用于增强现实应用的时候可以满足无标记、实时处理,同时在人体识别效率和遮挡处理方面有良好的表现,与现有算法相比具有很多的优势,在其它涉及基于深度图像人体识别的领域也有一定的应用潜力。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景

1.2研究意义

1.3技术路线及章节概述

第二章 相关技术简介

2.1尺度不变特征转换

2.2同步定位与构图

2.3动态结构生成

2.4扩展卡尔曼滤波器

2.5数字图像滤波器

2.6光流场

2.7单应性矩阵

2.8决策树

2.9分类回归树

2.10 Hough变换

第三章 基于深度图像的人体识别

3.1深度信息修复

3.2动静态标记模块

3.3基于深度信息的语义识别

3.4人体部位分类器

3.5本章小结

第四章 自遮挡及交互遮挡处理

4.1基于深度图像的透视变换

4.2人体自遮挡处理

4.3人体与环境交互遮挡处理

4.4遮挡处理模块与系统间的协作

4.5本章小结

第五章 系统搭建与实验结果

5.1系统平台搭建

5.2实验数据及实验结果

5.3时间开销

5.4遮挡处理效率分析

5.5本章小结

第六章 结论

参考文献

发表论文和参加科研情况说明

致谢