基于达芬奇平台的视频实时融合技术的研究与实现

摘要

视频融合技术是指将多个视觉传感器在同一时间或不同时间获取的关于某个具体场景的视频信息加以综合，从而丰富视频信息、增强感知效果的技术。在低光照、恶劣天气等环境条件下，由于红外传感器感受和反映的是目标和背景向外界辐射能量的差异，故红外视频具有观察距离远、观察“全天候”等优点，同时又具有视频细节不明显等不足，将其与可见光视频进行融合，能够将可见光视频细节分辨率高的优点融入其中，使得观察到的视频细节丰富，视觉效果明显，因此，红外和可见光的视频融合技术在军事、交通、医学等领域具有广泛的应用，也是计算机视觉领域的研究热点之一。视频融合算法普遍具有数据量大，复杂度高的特点，因而进行实时处理具有一定的难度，对处理器的处理能力要求较高。近年来，数字信号处理(DSP)芯片作为高速和实时处理的重要载体之一得到了快速的发展，使得基于DSP的图像处理系统得到了广泛应用，而嵌入式系统具有功耗低、可靠性好、实时性强、性价比高、可移植性强的优点，为红外和可见光实时视频融合处理的实现提供了可能。本论文以德州仪器公司出品的内部集成了ARM和DSP双核处理器的TMS320DM6446为研发平台，研究基于DaVinci平台的红外和可见光视频实时融合，主要工作包括：
　　 1．研究了TMS320DM6446ARM端视频算法包，提出单缓存奇偶帧的方案实现视频分帧；
　　 2．研究了红外和可见光图像融合预处理算法，结合TI的TMS320C64x+DSP图像视频处理库中直方图均衡和中值滤波函数实现图像的增强降噪处理，结合硬件安装成像特点搭建简化的配准平台实现自适应的互相关法配准算法；
　　 3．研究了TMS320DM6446DSP端视频帧处理算法包和Codec Engine，依据TMS320C64x-DSP的特点，提出基于小波的红外和可见光的视频融合方案：首先利用TI IMGLIB库中小波垂直和水平变换算法对视频帧进行实时分解，再分别针对高低频分量的特点进行融合处理，最后合成为输出视频帧。
　　 4．将DSP端经过融合处理后的视频帧传送到ARM端，采用同步多线程技术，实现红外和可见光融合视频的实时显示。