视频增强虚拟场景中PTZ相机注册与融合方法研究

摘要

PTZ(Pan-Tilt-Zoom)相机在安防中广泛应用，用于安防领域的视频监控系统一般通过多路独立的视频监视器观看，由于视频间是分散、相互独立的，监控人员往往因为信息不完整连贯而产生疏漏。视频增强虚拟环境技术（AVE）通过把二维视频嵌入三维虚拟场景，实现了虚景与实景相融合，抽象与现实相结合，有利于从宏观上把握视频与场景的空间关联，为地理场景的认知提供更为全面的时空信息，更为宏观的观察视角，更好地服务安防等领域。
　　视频图像与虚拟三维场景融合的前提是相机在虚拟场景中的注册。通过引入人工标志物是相机注册的常用方法，但这种方法难以应用于相机动态调整的场景。大多数监控相机都是可以动态调整姿态与焦距的PTZ相机，除非厂商软件支持，无法实时获取相机调整后的姿态和焦距等信息，从而造成视频与场景无法准确融合。本文基于计算机视觉的理论和技术，对PTZ相机视频与虚拟三维场景的融合方法进行了相关研究，主要研究内容与成果如下:
　　(1)分析了相机的成像模型与虚拟场景中虚拟相机的成像模型的关系，并明确了相机内外参数与三维渲染引擎中虚拟相机设置参数的关系，在无需引入额外的人工标志物的情况下，通过反投影方法获得3D模型世界坐标，然后利用线性方法快速估计和非线性方法迭代优化求值相结合的方法，对视频相机的初始参数进行计算，实现相机在虚拟场景中的初始注册。
　　(2)对PTZ相机参数的实时变化进行了分析，提出了基于计算机视觉理论的PTZ相机实时跟踪与注册方法。该方法首先通过视频帧全局特征快速检测出相机参数是否发生变化，然后再使用局部特征精确匹配对相机进行实时注册，确保PTZ相机调整后视频与虚拟场景的自动准确融合。上述方法既兼顾了融合效率与融合质量，也避免了人工调整的繁琐性和滞后性。
　　(3)在视频相机已经注册的前提下，本文分析了虚拟相机投影视频纹理的原理，并结合ShadowMap阴影算法和GPU Shader技术，基于OpensSceneGraph三维渲染引擎实现了PTZ相机视频与虚拟三维场景的实时融合。
　　实验结果验证了本文方法的有效性和可靠性。本文在PTZ相机实时注册方面所做的相关研究也可以推广到移动相机视频的实时注册，有助于拓展视频增强虚拟环境的应用领域。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 虚拟现实技术

1．2．2 增强虚拟环境

1．2．3 视频融合

1．2．4 相机标定

1．2．5 研究现状小结

1．3 研究目标

1．4 主要研究内容

1．5 技术路线

1．6 论文组织结构

第2章 视频相机在三维场景中的初始注册

2．1 引言

2．2 相机成像模型

2．2．1 坐标系定义

2．2．2 线性针孔模型

2．2．3 非线性畸变

2．3 三维渲染引擎中的虚拟相机成像模型

2．4 真实相机与虚拟三维相机的转换

2．4．1 相机的内参数与视锥体参数的关系

2．4．2 相机的外参数与观察变换函数的关系

2．5 虚拟场景坐标尺度对相机参数的影响分析

2．6 基于虚拟场景模型顶点的相机初始注册

2．6．1 三维控制点坐标获取

2．6．2 相机参数线性求解

2．6．3 相机参数非线性优化

2．7 本章小结

第3章 PTZ相机在三维场景中的实时注册

3．3 基于局部特征的特征点提取与匹配

3．3．1 SURF算法

3．3．2 去除误匹配特征点

3．4 PTZ相机视频图像的实时注册

3．4．1 PTZ相机标定概述

3．4．2 单应性矩阵快速判断参数变化类型

3．4．3 外参数变化

3．4．4 内参数变化

3．5 本章小结

第4章 相机视频与三维场景的融合方法

4．1 引言

4．2 视频图像与三维场景的融合原理

4．2．1 确定视频图像映射区域

4．2．2 ShadowMap算法

4．2．3 Shadowmap算法的优点

4．3 GPU Shader编程

4．4 相机视频与三维场景融合的算法实现

4．5 本章小结

第5章 PTZ相机视频增强虚拟三维场景实验与分析

5．2 实验与分析

5．2．1 视频相机初始注册

5．2．2 特征匹配实验

5．2．3 PTZ相机实时注册

5．2．4 视频图像与虚拟三维场景融合算法的效果分析

5．3 实验小结

第6章 总结与展望

6．1 本文主要工作

6．2 未来工作展望

参考文献

致谢