基于ZYNQ异构体系下的实时运动分析系统设计与实现

摘要

视频图像中目标运动分析是计算视觉最重要的研究领域之一，其在国防、军事、科学研究、视频监控、虚拟现实、医学等多个领域有着广阔的应用前景。通常实现计算机视觉的视频信息处理的系统对底层硬件的处理能力具有非常高的要求，要同时实现系统的小型化、低功耗、实时处理能力和高鲁棒性具有非常高的挑战。传统的基于通用CPU执行纯软件来实现复杂数学模型构建和数据分析算法的系统方案在性能上很难满足上述要求，而基于专用集成电路ASIC的实现方案又具有成本过高和扩展性低的缺点。
　　本研究主要内容包括：⑴参照人类大脑皮质的视觉感知的处理机制，以典型的视觉感知层次化计算模型为依据，设计了一种易于片上系统实现的人体动作的时空运动特征识别算法。⑵采用自顶向下的系统级设计流程对识别算法进行了最优化的软硬件任务划分，并在ARM+FPGA的异构平台上进行了实现。⑶采用高层次综合HLS方法设计了流水线型的运动信息抽取专用硬件加速电路，使得硬件系统能够实现1080p@60fps高清视频图像的实时处理。实验数据表明，利用异构系统的算法实现与采用通用CPU的纯软件实现方式相比，它的设计处理速度提升了38倍。再与专用电路相比它又降低了设计开发的难度，增强了设计的扩展性和灵活性。

目录

声明

致谢

摘要

1 引言

1．1 研究背景

1．2 国内外研究现状

1．2．1 人体行为表征

1．2．2 人体行为识别技术

1．3 异构计算与软硬件协同设计

1．3．1 异构计算平台

1．3．2 软硬件协同设计

1．4 研究意义

1．5 论文主要研究内容和特色

1．6 论文组织架构

2 基于时空特征的运动识别算法

2．1 HMAX模型在运动分析中的运用

2．2 基于时空特征算法原理

2．3 总体实现流程

2．3．1 运动信息图生成

2．3．2 运动目标检测

2．3．3 运动场图生成

2．3．4 时空特征向量生成

2．3．5 高级向量化

2．3．6 支持向量机

2．3．7 运动的学习与识别

2．4 算法并行性分析

2．5 本章小结

3 ZYNQ异构平台与HLS设计方法

3．1 ZYNQ异构平台

3．1．1 ZYNQ片上系统发展

3．1．2 ZYNQ内部架构

3．1．3 PL逻辑资源简介

3．1．4 PS与PL的标准总线接口

3．2 HLS设计方法

3．2．1 HLS介绍

3．2．2 HLS加速FPGA的视觉开发

3．3 本章小结

4 图像处理技术

4．1 色彩转换

4．2 图像缩放

4．3 最近邻内插法

4．3．1 双线性内插法

4．3．2 立方插值法

4．4 高斯平滑

4．5 中值滤波

4．6 形态学处理

4．7 边缘滤波

4．8 本章小结

5 实时加速系统设计和实现

5．1 硬件平台

5．2 ZedBoard介绍

5．3 软硬件划分

5．4 图像处理硬件加速器设计与实现

5．4．1 图像复制模块

5．4．2 色彩变换模块

5．4．3 帧间差分和阈值分割模块

5．4．4 边缘滤波模块

5．4．5 运动场模块

5．4．6 其他算法加速模块

5．4．7 模块合并

5．5 运动分析的实现

5．5．1 K-均值学习

5．5．2 SVM分类器训练

5．5．3 SVM分类器识别

5．6 本章小结

6 运动识别系统性能测试与分析

6．1 运动分析系统平台和实现

6．2 系统顶层搭建

6．3 加速能力分析

6．4 识别精度分析

6．5 硬件资源分析

6．6 本章小结

7 总结与展望

7．1 论文工作总结

7．2 工作展望

参考文献

附录 A运动分析系统顶层工程

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集