基于Xilinx Zynq的软硬件协同设计的实时图像处理系统

摘要

软硬件技术的不断进步,促使图像处理系统被广泛应用于工业自动化、安全、健康和交通控制领域.为了完成各个系统的功能,这些应用中的最重要的也是最具有挑战性的要求是系统的实时性.现场可编程门阵列(Field Programmable Gate Arrary:FPGA)具备并行结构,硬件上能够高速并行处理数据而被广泛应用于这些系统,但是系统的功能丰富的应用软件是基于中央处理单元(CentralProcessing Unit:CPU)或微控制器单元(Micro-controller Unit:MCU)开发的顺序执行的程序,在处理大量数据的计算时,会带来明显的时间延迟.可编程片上系统(System on Programmable Chip:SOPC)的发展,单片芯片内集成了FPGA和MCU内核,降低了系统的软硬件协同设计的难度,设计者合理划分软硬件对应的功能,能够提高系统的实时性.系统功能的软硬件协同设计是系统实时性能提升的保障. 针对国内外的典型图像处理系统的问题,本文设计基于Zynq SoC的实时图像处理系统.完成灰度转化和卷积运算的软硬件协同设计,并且应用在图像上实现如边缘检测、锐化和模糊处理上.系统实现了320*240图像的实时灰度转换、边缘检测、模糊和锐化处理.本文设计的卷积协处理器通过内置的锁相环工作频率在150MHz,单帧图像像素为76800(320*240),单像素/时钟周期率下,一帧图像的处理时间约为0.51mS,对应的的协处理器的图像处理能力能够高达近2000FPS(帧/秒),但是采用了基于地址映射的高级扩展接口(Advanced Extensible Interface:AXI)总线,传输一帧图像需要25mS,因此系统能够完成40FPS的实时吞吐量. 本文主要工作包括: 1、根据功能和系统的性能要求设计了软硬件协同处理的总体框架,系统可以由三级流水实现:图像采集(操作系统),图像处理(硬件算法)和图像输出(硬件).值得指出的是,本文采用了FGPA中的视频图像阵列(Video Graphics Array:VGA)控制模块来输出最终的图像,同样功能也可以采用操作系统下调用系统软件内的显示驱动来实现.两种方式都是非常成熟完备的技术,所以文中并没有展开. 2、软件上采用C设计了基于Linux下视频库下的软件来从USB摄像头获取视频图像信息.避免了基于FP GA的纯硬件处理来自USB摄像头的视频图像,不需要对视频源设计特定的硬件接口驱动,简化了电路的设计,加快系统的设计周期,更增加了系统的灵活性.当然,视频图像信息也可以预先存在SD卡,Zedboard有SD卡槽. 3、基于硬件实现的图像处理算法,本文设计了图像协处理器模块(Inter Process Communication:IPC)来实现加速,图像存储模块(Image Memory:IM)分别存储原始图像和处理后的图像信息,系统从IM读取原始图像的像素信息,处理后再写回IM.图像存储控制器(Image Memory Controller:IMC)双向沟通IPC和IM.特别是,针对IPC中的卷积运算,详细探讨了3*3卷积,3*3卷积元和多种5*5卷积功能的算法硬件结构. 4、本文搭建了图像处理系统的实验平台,系统基于Zedboard+USB摄像头+显示器,摄像头的图像信息通过Zedboad上的Zynq SoC处理后,送显示器实时显示.获取的数据为进一步的技术改进方向提供了直接的依据.

目录

第一个书签之前