基于SIFT特征的实时视频宽场景合成系统的设计与实现

摘要

随着现代社会反恐意识和安保意识的增强，以及军事、工农事业的需要，视频监控在很多场合都被使用，比如小区和商场的安保摄像，城市路口的交通摄像等。传统的视频监控用较多的摄像头来覆盖被监控区域，在对单个场景比较大的区域进行监控时，需要同时关注多个摄像头，而如果能够获得一个宽场景的实时视频数据则更具直观性。本文对利用多个摄像机合成实时宽视频的相关技术进行研究，设计实现了一种基于SIFT特征的实时视频宽场景合成系统。
　　整个系统包括摄像机标定、视频序列的获取及校正、视频关键帧匹配、关键帧的融合以及剩余帧图像快速融合显示等过程。首先，使用云台将两台摄像机调至合适的位置（仅存在平移关系或仅存在旋转关系），用棋盘法进行摄像机标定并校正;然后，分别在两台摄像机校正后的视频中同时选取一张关键帧，进行预处理（柱面投影），继而使用配准算法对两幅关键帧进行匹配，这里使用了准确度较高的SIFT特征进行特征检测及匹配，最后使用融合算法将两幅视频帧的重叠区域进行合成，从而获得当前关键帧的宽场景视频帧。由于本文是基于摄像机位置固定下的实时宽场景合成，两摄像机获得的视频帧位置基本不变，因此各视频帧的重叠区域的位置也基本不变，只需将第一次匹配时的重叠区域位置记录下来，之后的所有帧只需要进行视频帧融合即可，大大提高了工作效率，更好的实现了系统的实时性要求。
　　本文中的实验实现了两个模拟监控摄像机的实时宽场景视频合成，具有较好的实时性，满足监控的需求，本算法可以扩展到三个及多个摄像机的视频合成。

目录

声明

摘要

1 绪论

1．1 研究的背景和意义

1．2 发展动态及国内外相关研究

1．3 论文结构和主要工作内容

2 相关技术

2．1 视频数据的采集

2．2 图像配准技术

2．2．1 基于灰度的配准算法

2．2．2 基于变换域的配准算法

2．2．3 基于特征的配准算法

2．3 视频图像融合技术

3 实时视频宽场景合成相关算法的选择

3．1 视频帧特征提取

3．1．1 Harris算法

3．1．2 SIFT算法

3．1．3 基于SIFT算法的变形算法

3．2 SIFT特征匹配

3．2．1 k-d树算法

3．2．2 RANSAC算法提纯

3．3 视频帧融合

3．3．1 直接平均法

3．3．2 加权平均法

3．3．3 多分辨率融合法

4 实时视频宽场景合成系统的设计

4．1 系统的运用场景

4．2 系统的整体架构

4．3 流程与算法设计

4．3．1 摄像机标定与图像校正

4．3．2 高斯模糊

4．3．3 尺度空间极值检测

4．3．4 关键点定位

4．3．5 关键点方向分配

4．3．6 关键点特征描述

4．3．7 图像融合

5 实时视频宽场景合成系统的实现

5．1 开发环境

5．2 程序函数架构

5．2．1 SIFT算法的c++实现

5．2．2 调用OpenCV中的几个函数

5．2．3 自定义的几个函数

5．3 系统的应用

5．3．1 旋转关系下的两图像合成

5．3．2 平移关系下的两图像合成

5．4 视频实时合成结果

5．5 程序代码具体实现中的几个问题

6 总结和展望

6．1 总结

6．2 展望

参考文献

致谢

个人简历

发表的学术论文