相机阵列异构大视场图像融合技术研究

摘要

相机阵列图像融合是将多幅具有重叠区域的图像拼成一幅更大视场的全景图像的技术。利用相机阵列图像融合技术虽然可以增大图像的视野，弥补单一相机采集图像存在不能完全覆盖视野的缺陷。为了获取大视场、高分辨率的图像，本文采用九个相机形成3×3阵列成像系统。其中，中央区域的相机采用小视场、高分辨率成像，以保证获取图像的清晰度；四周区域的八个相机采用大视场、低分辨率成像，以形成大视场成像；计算机对九个相机获取图像进行图像融合等信号处理后，整合成整体大视场、局部高分辨率的异构大视场高分辨成像。本文研究了两种实现方案完成不同视场角和分辨率图像的融合；其次，针对出现的感光元因大小不同而光照不均匀和多相机成像衔接区域不平稳的现象，本文利用基于二维伽马函数和多尺度Retinex光照不均匀校正算法来消除光照不均匀现象，并研究了一种结合最佳缝合线和多分辨率融合的图像融合算法来改善拼接缝对于图像视觉的影响。本文的主要工作如下：　　①研究了两种实现相机阵列异构大视场图像融合方案：基于Forstner点定位算子实现图像配准，并利用归一化互相关性实现图像配准，结合插值技术和分块处理，利用图像融合获取全景图像；基于多尺度匹配算子，利用随机抽样一致性实现图像配准，结合分块处理和超分辨率技术，利用图像融合技术获取全景图像。在相机阵列异构大视场图像融合的过程中，需要考虑中央区域与四周区域图像存在的视场角和分辨率的差异。实验结果表明，两种方法都能实现相机阵列异构大视场图像融合，且都具有良好的融合效果。相较而言，基于多尺度算子的相机阵列图像融合方法速度更快且匹配精度更好。　　②针对光照不均匀现象，本文研究了一种基于二维伽马函数的多尺度Retinex光照不均匀校正算法。通过实验表明，本文的算法能明显增加图像的细节，其效果要优于对比算法。　　③经光照不均匀校正算法处理后，本文还研究了一种结合最佳缝合线的多分辨率的相机阵列图像融合算法来改善相机阵列图像融合拼接缝明显的问题。实验结果表明，该算法能有效实现相机阵列异构大视场图像融合，并改善相机阵列图像融合中明显的拼接缝问题，有效地增加了图像的视觉效果，具有良好的鲁棒性。

目录

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 相机阵列异构大视场图像融合研究难点

1.4 论文主要研究内容及结构安排

1.5 本章小结

2 相机阵列图像融合的基础理论

2.1 图像采集

①变换相机角度拍摄

②平移相机拍摄

2.2 图像预处理

2.2.1 相机标定

2.2.2 相机畸变校正

2.3 相机阵列图像融合基本流程

2.3.1 图像配准

2.3.2 图像融合

2.3.3 投影变换

2.3.4 图像插值

2.4 本章小结

3 相机阵列异构大视场图像融合算法

3.1 相机阵列异构大视场成像原理

3.2 特征点检测算法

3.2.1 Forstner角点检测算法

3.2.2 SIFT特征点检测算法

3.2.3 SURF特征点检测算法

3.3 特征点匹配算法

3.3.1 NCC匹配算法

3.3.2 FLANN匹配算法

3.3.3 RANSAC 匹配点提纯

3.4 图像融合

3.4.1 直接平均法

3.4.2 渐入渐出加权平均法

3.5 超分辨率算法

3.6 实验结果与分析

①图像采集系统及预处理

② Forstner+NCC 实现相机阵列异构大视场图像融合

③多尺度检测算子+RANSAC+超分辨率实现相机阵列异构大视场图像融合

3.7 本章总结

4 改进的消除拼接缝的相机阵列图像融合算法

4.1 光照不均匀校正算法

4.1.1 同态滤波图像增强算法

4.1.2 基于Retinex的图像增强算法

4.1.3 基于二维伽马函数的多尺度Retinex 校正算法

4.2 结合最佳缝合线和多分辨率融合的相机阵列图像融合算法

4.2.1 最佳缝合线算法

4.2.2 多分辨率融合算法

4.2.3 结合最佳缝合线和多分辨率融合的相机阵列图像融合算法

4.3 图像质量评价指标

①均方误差

②峰值信噪比

③结构相似度

④清晰度

4.4 实验结果与分析

①光照不均匀校正算法实验结果与分析

②结合最佳缝合线和多分辨率融合算法

4.5 本章小结

5 总结与展望

5.1 全文总结

5.2 下一步研究展望

参考文献

附录

A. 作者在攻读学位期间发表的论文目录

B. 作者在攻读学位期间参加的科研项目

C. 学位论文数据集

致谢