沉浸式视频对象融合技术研究

摘要

随着我国社会经济的快速发展，留守儿童已经成为我国面临的一个重要的社会问题，如何解决留守儿童教育和成长过程中的亲情缺失，给留守儿童创造更多的和更加贴切的亲情交流，成为了目前社会各界极为关注的一个问题。远程亲情交互系统是近年发展起来的一种新型的交互方式，其打破了传统的语音视频交互方式，采用沉浸式视频对象融合技术，让交互双方可以产生身临其境的交互体验，极大的提升了交互效果，是解决我国目前留守儿童亲情缺失的一种非常可行的方法。但是，在视频对象融合过程中，由于计算量非常大，处理极为复杂，往往很难达到理想的交互效果，而这其中主要是由于算法的实时性以及在对视频帧处理过程中很难保持视频的时序性，导致沉浸式视频交互过程中经常出现画面卡顿、光斑和闪烁等现象，严重的影响了交互体验。因此，如何解决沉浸式视频对象融合的实时性和时序保持问题也成为了沉浸式视频交互领域研究的重点。针对这一问题，本文从视频对象融合的时序性保持和视频对象融合的实时性两个方面出发进行深入研究研究，并取得了一定的成效。
　　本研究主要内容包括：⑴针对沉浸式视频对象融合过程中的时序保持问题，提出了一种基于时序一致的沉浸式视频对象融合方法，该方法通过在视频对象融合过程中采用自适应帧间高斯滤波算法对视频对象深度信息进行平滑处理，以保持视频对象时序性，提高融合后的显示效果。⑵针对目前沉浸式视频对象融合算法实时性差问题，在本文提出和设计的基于时序一致的沉浸式视频对象融合方法基础上，基于GPU的CUDA并行化技术，对该算法进行了并行化设计和实现，实现了对前景恢复、基于几何块结构模型的深度计算和基于邻域微结构的半监督学习深度计算三大模块的 GPU并行化处理，有效的提高了基于时序一致的沉浸式视频对象融合算法的实时性。⑶采用Kinect传感器、DirectShow和 AnyChat技术在本文提出的并行算法的基础上完成了一个远程沉浸式视频交互系统的设计，从系统运行效果上验证了本文设计的算法在实时性和时序保持上的提升。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 引言

1.1 研究背景

1.2 问题的提出

1.3 本文贡献

1.4 研究内容及组织结构

第2章 研究现状分析

2.1 沉浸式视频技术发展现状

2.2 沉浸式视频对象融合方法

2.3 沉浸式视频对象融合过程中时序一致性保持方法

2.4 本章小结

第3章 时序一致的沉浸式视频对象融合方法

3.1 问题描述

3.2 沉浸式视频对象融合算法概述

3.3 高斯滤波和CPF匹配算法原理介绍

3.4时序一致的沉浸式视频对象融合方法设计

3.5 实验及结果分析

3.6 本章小结

第4章 基于GPU并行化计算的沉浸式视频对象融合方法

4.1 问题描述

4.2 GPU相关技术

4.3 基于GPU技术的并行化沉浸式视频对象融合算法

4.4 实验及结果分析

4.5 本章小结

第5章 沉浸式视频对象融合系统

5.1 Kinect深度传感器概述

5.2 AnyChat开发平台介绍

5.3 系统框架及原理

5.4 系统实现

5.5 本章小结

第6章 总结与展望

6.1 本文工作总结

6.2 未来工作展望

参考文献

致谢