多视点视频捕获及实时拼接技术研究

摘要

图像配准及拼接技术可以找到多幅图像的相对应的特征点，并获得宽视角的图像。目前图像配准及拼接技术在医学、遥感、虚拟现实、视频图像处理等多个领域得到越来越广泛的应用，成为当前图像处理的一个研究热点。基于静止图像的配准及拼接技术已经成熟，并得到了广泛的应用，对于视频图像处理的实时拼接技术还没有很好的解决方案，本文探讨了视频图像实时拼接技术的一些关键技术。本文的主要研究成果如下： 1.本文给出了图像插值的主要方法的实现结果，并对图像缩放效果进行了分析和对比，给出了使用双线性插值实时视频缩放的实现方案，结果表明，在设定帧速在30帧/秒的前提下，对于任意大小一幅图像放大至640×480的图像，可以实现实时的缩放。 2.针对特征匹配过程时间复杂度较高的情况，提出了一种减少RANSAC迭代次数的特征点匹配的改进方法，实验表明改进方法提高了匹配的速度和准确率。 3.针对特征点匹配的亚像素级精度要求，讨论了获取亚像素对应点的实现方法，给出了在减少运算的情况下，尽可能提高亚像素精度的实现方案。 4.讨论了图像融合技术，包括算法复杂度低可以实时实现的线性融合算法和算法复杂度高但可以获得清晰的全景图像的可用于静止图像拼接的多频带融合算法。 5.给出了SIFT特征匹配的全景图生成的各个过程。包括尺度空间的生成、极值点的检测和定位、不稳定点的剔除、特征点描述算子的生成、用于特征点匹配的K-D树算法。介绍了SIFT特征匹配的各种简化算法和基于GPU的实现。并给出了全景图生成的实现结果。 6.针对SIFT特征匹配算法时间复杂度高，难以实现实时的特征匹配，提出了视频图像处理系统的实现方案，并分析了系统在多种情况下的运行状况。视频图像拼接系统可用于视频监控、视频会议等多个领域。 7.为了获得清晰的全景图，论文实现了各种消除鬼影的算法，并给出了这些算法的实现和生成全景图效果的分析，对比了各种算法的优缺点。

目录

文摘

英文文摘

声明

第1章绪论

1.1课题背景

1.1.1多视点视频处理技术发展概述

1.1.2多视点视频图像拼接系统介绍

1.2视频图像配准应用领域与研究现状

1.2.1图像配准的研究现状

1.2.2图像配准的应用领域

1.3本文的内容与组织

第2章视频图像处理基础

2.1视频捕获技术简介

2.2摄像机成像几何基础

2.2.1摄像机坐标系统

2.2.2摄像机成像过程

2.2.3视场拼接的光学结构

2.2.4图像变换模型

2.3实时视频缩放技术

2.3.1图像插值算法介绍

2.3.2实时双线性插值算法的实现

2.4小结

第3章基于角点特征的图像配准及融合

3.1图像匹配技术

3.1.1模板匹配

3.1.2相位相关法

3.2常用的角点检测算法

3.2.1 Harris角点检测算法

3.2.2 SUSAN角点检测算法

3.3改进的基于特征匹配的配准算法

3.3.1相互关系法原理

3.3.2平移关系的特征匹配问题

3.3.3透视关系的特征匹配问题

3.3.4简化的RANSAC算法

3.3.5 Levenberg-Marquardt算法

3.3.6特征点匹配的实验结果

3.4亚像素图像配准技术

3.4.1基于重采样的亚像素图像配准

3.4.2基于曲线拟合的亚像素图像配准

3.4.3本文使用的亚像素图像配准方法

3.5图像融合技术

3.5.1线性融合算法

3.5.2多频带融合算法

3.6基于亚像素图像拼接实例

3.7小结

第4章基于SIFT的特征匹配技术

4.1 SIFT特征匹配算法

4.1.1尺度空间的生成

4.1.2极值点检测与精确定位

4.1.3特征点描述算子的生成

4.1.4特征点匹配

4.2 SIFT算法的简化与优化

4.3 SIFT特征匹配的实验结果

4.4视频图像实时拼接系统

4.4.1视频拼接流程介绍

4.4.2视频拼接系统的结果

4.5小结

第5章鬼影消除技术

5.1鬼影消除算法介绍

5.2各种算法的对比

5.3小结

第6章总结与展望

6.1总结

6.2展望

参考文献

致谢

攻读硕士学位期间发表的论文与取得的其他研究成果