高分辨率全景成像系统及其视觉应用研究

摘要

本文工作主要围绕全景环形透镜的高分辨率成像及其视觉应用技术研究，本文中所使用的全景环形透镜可以实现无扫描的360°成像，它可以瞬间捕获围绕光轴的水平360°视场，在垂直方向上可以获得(—10°—40°)的视场，即可以实现光学系统的后方成像。因此在视频监控，机器人视觉和虚拟现实等领域有着广阔的应用前景。全景环形透镜的大视场是以分辨率的降低作为代价，因此全景环形透镜如果要应用到监控和预警中，必须解决分辨率过低的问题。本文中对该问题进行了深入的分析和研究，首先不改变现有的系统硬件条件，从信号处理方面提高全景图像的分辨率，提出了全景超分辨率图像复原算法，使用超分辨率复原算法提高系统空间分辨率的能力有限。如果要远距离探测，必须从光学系统和硬件方面提高系统的空间分辨率。本文提出了大面阵CCD成像和CMOS传感器拼接的全景成像方案，对大口径高分辨率全景成像进行了深入的研究。最后本文对全景成像在智能网络监控和智能驾驶安全系统方面进行了相关的理论研究和应用探索，实际结果表明全景在监控和机器人领域比常规的成像系统具有明显的优势，论文具体内容介绍如下：
　　 第一章介绍了全景高分辨率成像的研究背景，分析了基于中心投影法的鱼眼透镜和使用常规镜头旋转扫描成像的优缺点，建立了单反射面全景成像的几何模型并分析了不同反射面的特性，分析了全景环形透镜的结构，最后介绍了本文的研究内容和主要工作。
　　 第二章详细分析了全景环形透镜的光学特性，分别建立了非球面全景环形透镜和全球面全景环形透镜的几何数学模型，从光学原理上推导了全景的物像关系，并进行了相关的实验。详细分析了小口径全景环形透镜的景深，焦距，分辨率和转像透镜的光学结构等，最后介绍了二元光学在提高全景环形透镜衍射极限中的作用。
　　 第三章提出了全景超分辨率图像复原算法。首先建立了成像观测模型，详细研究了全景环形透镜的分辨率特性和二维和三维线性化过程中分辨率的不均匀问题。在单帧全景频域超分辨率中我们提出了最优三次内核算法，详细分析了频域全景高频细节信息的恢复理论，研究并将Bezier曲面三维插值和自适应边缘保持算法应用于全景图像质量的改善，并提出了加速算法。最后研究了多帧空域中全景的凸集投影(POCS)超分辨率复原算法。
　　 第四章研究了大口径全景环形透镜高分辨率成像系统的设计与实现。详细分析了大口径全景环形透镜的光学特性参数，研究了大面阵CCD全景成像系统，分析了系统的性能和不足之处。本文设计并实现了3个小面阵CMOS图像传感器扫描成像的方案，详细分析了3—CMOS系统理论上可以达到8000万像素的分辨率。以DSP为核心设计并实现了扫描控制系统和高速数据传输系统，对于由于电机抖动和加工精度带来的图像不稳定，研究了基于加速度计的稳像原理和算法，最后研究了小面阵图像的全景图像融合和拼接技术。
　　 第五章研究了全景视觉技术的应用。研究了基于全景的分辨率自适应智能网络监控系统，分析了分辨率自适应的原理和人脸检测算法，设计和开发了全景智能网络监控系统样机，并对其性能进行了测试。提出了基于全景视频技术的智能驾驶安全系统，研究了基于遗传算法的球面和柱面透视投影模型的全景畸变校正算法，提出了单目全景和单双目全景的VDPM，在模型小车上对系统性能进行了研究，最后介绍了基于双核处理器的系统实现。
　　 文章最后对本文所涉及的研究工作和创新点进行了总结，并展望了未来的主要工作方向。

目录

文摘

英文文摘

声明

致谢

1绪论

§1.1课题背景

§1.2基于CCP的全景成像系统

§1.2.1鱼眼透镜

§1.2.2旋转拼接式全景成像系统

§1.3基于FCP的全景成像系统

§1.3.1单反射面全景成像系统

§1.3.2多反射面全景成像系统

§1.4本文主要研究内容

参考文献

2全景环形透镜光学特性研究

§2.1全景环形透镜几何模型

§2.1.1非球面全景环形透镜

§2.1.2全球面全景环形透镜

§2.1.3全球面PAL物像关系实验

§2.2全景环形透镜光学特性

§2.2.1 PAL视场角和分辨率

§2.2.2 PAL转像系统光学结构

§2.2.3 PAL景深

§2.2.4二元光学衍射面在PAL中的应用

§2.3本章小结

参考文献

3全景成像的超分辨率研究

§3.1超分辨率图像复原数学模型

§3.1.1成像观测模型

§3.1.2频域超分辨率技术

§3.1.3空域超分辨率技术

§3.2全景分辨率和线性化研究

§3.2.1 PAL分辨率特性

§3.2.2 PAL线性化

§3.3单帧全景频域超分辨率复原技术

§3.3.1最优三次内核算法

§3.3.2 Bezier曲面三维插值算法

§3.3.3自适应边缘保持算法

§3.4多帧全景空域POCS超分辨率技术

§3.4.1全景多帧POCS算法原理

§3.4.2全景POCS超分辨率实现

§3.5本章小结

参考文献

4高分辨率全景成像系统的设计与实现

§4.1大口径PAL光学系统

§4.1.1 PAL光能量分析

§4.1.2 PAL光学总体参数

§4.1.3 PAL光学结构

§4.1.4 PAL镜筒及其结构

§4.2大面阵CCD高分辨率PAL成像

§4.2.1 FTF4052M图像传感器

§4.2.2系统性能评估

§4.3 3-CMOS高分辨率PAL成像的设计与实现

§4.3.1 CMOS图像传感器

§4.3.2 3-CMOS分辨率研究

§4.3.3扫描控制系统研究

§4.3.4以DSP为核心的系统设计

§4.3.5全景高速数据传输

§4.3.6系统总体结构设计

§4.3.7基于加速度计的稳像研究

§4.3.8全景图像处理和融合研究

§4.4本章小节

参考文献

5全景视觉技术应用研究

§5.1分辨率自适应智能全景网络监控系统

§5.1.1系统软硬件架构

§5.1.2分辨率自适应调节

§5.1.3动态目标分割和人脸检测

§5.1.4 MPEG-4视频编码

§5.1.5系统测试

§5.2基于全景视频技术的智能驾驶安全系统

§5.2.1单目全景视觉技术的VDPM

§5.2.2基于球面透视投影的全景畸变校正

§5.2.3基于柱面透视投影的全景畸变校正

§5.2.4单目视觉目标定位

§5.2.5单双目混合系统

§5.2.6模型小车的智能驾驶仿真系统研究

§5.2.7全景智能驾驶系统的设计与实现

§5.3本章小节

参考文献

5本文总结和未来展望

§6.1本文总结

§6.2未来展望

博士在读期间发表的学术论文、专利