一种基于OPENCV的图像及视频处理系统

摘要

本发明公开了一种基于OPENCV的图像及视频处理系统，包括接收模块、图像视频判断模块、图像处理模块和视频处理模块；所述接收模块用于接收数据，并将接收数据发送给图像视频判断模块；所述图像视频判断模块对接收的数据进行判断，如果判断为视频数据，则将视频数据发送给视频处理模块进行处理；如果判断为图像数据，则将图像数据发送给图像处理模块进行处理。本发明兼具图像视频处理功能，操作简单。

说明书

技术领域

本发明涉及一种图像及视频处理领域，具体涉及一种基于OPENCV的图像及视频处理系统。

背景技术

目前一些图像处理软件不能同时处理图像和视频，或是一些软件采用代码及命令行的方式去处理图像，对于一些不太熟悉编程的人，这种操作是不方便的。并且，由于一些摄像镜头安装在车上或是无人机上，由于道路颠簸，或是在空中受风力影响，载体本身产生晃动而导致视频出现抖动情况，影响后续视频分析，及目标跟踪的准确性。因此，设计一个可自定义处理参数、操作简单、拥有可视化操作界面并且既可处理图像(增强对比度、去除噪声、进行形态学处理等)又可处理视频(视频整体灰度化、获取边缘、对其稳像等)的软件系统是有必要的。

发明内容

本发明所要解决的技术问题是目前极少有软件集成图像及视频处理功能，并且操作复杂，本发明提供了解决上述问题的一种基于OPENCV的图像及视频处理系统。

本发明通过下述技术方案实现：

一种基于OPENCV的图像及视频处理系统，包括接收模块、图像视频判断模块、图像处理模块和视频处理模块；

所述接收模块用于接收数据，并将接收数据发送给图像视频判断模块；

所述图像视频判断模块对接收的数据进行判断，如果判断为视频数据，则将视频数据发送给视频处理模块进行处理；如果判断为图像数据，则将图像数据发送给图像处理模块进行处理。

优选的，图像处理模块包括图像几何处理单元、图像灰度变换单元、图像平滑处理单元、图像边缘检测单元和图像形态学处理单元。

优选的，所述图像几何处理单元具体包括镜像处理子单元、图像平移子单元、图像缩放子单元和图像旋转子单元；所述图像灰度变换单元具体包括阈值化子单元、灰度化子单元、灰度直方图子单元、BGR直方图子单元、灰度直方图均衡子单元、彩色直方图均衡子单元、线性变换子单元、对数变换子单元和对比度拉伸子单元；所述图像平滑处理单元具体包括添加椒盐噪声子单元、均值滤波子单元、中值滤波子单元、高斯滤波子单元和双边滤波子单元；所述图像边缘检测单元具体包括Sobel子单元、Scharr子单元、Laplace子单元、Canny子单元、活肤曼线检测子单元、霍夫圆检测子单元、轮廓检测子单元、凸包检测子单元、Moravec角点检测子单元、Harris角点检测子单元和Shi-Tomasi角点检测子单元；所述图像形态学处理单元具体包括腐蚀子单元、膨胀子单元、开运算子单元、闭运算子单元、形态学梯度子单元、顶帽子单元和底帽子单元。

优选的，所述视频处理模块包括单帧视频处理单元和视频稳像处理单元，所述视频稳像处理单元包括第一稳像处理单元、第二稳像处理单元。

优选的，所述单帧视频处理单元包括翻转子单元、灰度化子单元、滤波子单元和拉伸对比度子单元。

优选的，所述第一稳像处理单元使用RANSAC+FAST进行特征点检测和图像匹配，所述第一稳像处理单元包括创建子单元、选择子单元和处理子单元；所述创建子单元用于准备运动估计生成器RANSAC、创建FAST特征检测器以及创建运动估计器；所述选择子单元用于选择稳定器；所述处理子单元用于处理稳定帧。

优选的，所述第二稳像处理单元包括信息获取子单元、平滑滤波子单元、运算子单元和仿射变换子单元；所述信息获取子单元用于获取视频前后两帧的运动信息；所述平滑滤波子单元用于累加所有帧间的运动向量，并对视频进行平滑滤波；所述运算子单元用于对原始运动向量、累加后的运动向量、平滑滤波处理后的运动向量进行运算，得到新的运动向量；所述仿射变换子单元用于对每帧视频使用新的运动向量进行仿射变换，得到稳像后的视频。

优选的，本系统还包括存储模块和显示模块，所述存储模块用于接收图像处理模块和视频处理模块发送的图像数据和视频数据并进行存储，所述显示模块用于接收图像处理模块和视频处理模块发送的图像数据和视频数据并进行显示。

本发明的处理系统的工作过程：

接收模块接收数据，并将数据发送给图像视频判断模块，图像视频判断模块判断该数据为视频数据还是图像数据，如果判断为图像数据，图像视频判断模块将该数据发送给图像处理模块，图像处理模块调取相关处理单元对图像进行处理，每完成一个操作，将处理后的图像发送给存储模块，再进行下一步操作，以此类推，直至获得理想图像，并将理想图像发送给存储模块，存储模块对理想图像进行保存，图像处理模块每完成一步操作，将处理后的图像数据发送给显示模块，显示模块对图像进行显示；如果判断为视频数据，图像视频判断模块将该数据发送给视频处理模块，视频处理模块调取单帧视频处理单元对视频进行处理或第一稳像处理单元对视频进行处理或第二稳像处理单元对视频进行处理，单帧视频处理单元对视频进行处理时，调取相应的处理子单元对视频进行处理，处理完成后，视频处理模块将处理后的视频发送给存储模块进行保存，视频处理模块将处理前后的视频数据发送给显示模块，显示模块对处理前后的视频在操作界面进行对比显示；第一稳像处理单元对视频进行处理时，依据RANSAC子集大小、最大异常值比率、内点的最大误差、内点的最小比率、特征检测器的最大误差、高斯运动滤波器的半径、稳定器滑动半径、修边率这些参数，首先调取创建子单元准备运动估计生成器RANSAC、创建FAST特征检测器、创建运动估计器；再调取选择子单元选择稳定器；然后调取处理子单元处理稳定帧，处理完成后，视频处理模块将视频数据发送给存储模块进行保存，视频处理模块将处理前后的视频数据发送给显示模块，显示模块对处理前后的视频在操作界面进行对比显示；第二稳像处理单元对视频进行处理时，依据置信水平、优化算法的最大迭代次数、RANSAC算法的最大误差、视频保留比例、角点检测窗口的大小、角点的质量水平、相邻角点的最小距离、检测角点的最大数量、运动滤波器的半径以及输出视频的帧率，首先调取信息获取子单元获取视频前后两帧的运动信息，包括x、y方向的移动量以及旋转角度；再调取平滑滤波子单元累加所有帧间的运动向量，并对视频进行平滑滤波，再调取运算子单元信息获取子单元对原始运动向量、累加后的运动向量、平滑滤波处理后的运动向量进行运算，得到新的运动向量；然后调取仿射变换子单元对新的运动向量进行仿射变换，得到稳像后的视频，视频处理模块将处理后的视频发送给存储模块进行保存，视频处理模块将处理前后的视频数据发送给显示模块，显示模块对处理前后的视频在操作界面进行对比显示。

本发明具有如下的优点和有益效果：

本发明一种基于OPENCV的图像及视频处理系统，可以进行单张图像的处理，包括几何操作、灰度变换、平滑处理、边缘检测、形态学操作；也可以对视频进行单帧处理和稳像处理。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的系统结构图。

图2为本发明的工作流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

目前兼具视频处理功能及图像处理功能的软件极少，且一般是通过代码及命令行的方式去处理图像或视频，操作过程复杂，本实施例提出了一种基于OPENCV的图像及视频处理系统，可自定义处理参数、操作简单、拥有可视化操作界面并且既可处理图像(增强对比度、去除噪声、进行形态学处理等)又可处理视频(视频整体灰度化、获取边缘、对其稳像等)，本实施例的系统结构如图1所示：包括接收模块、图像视频判断模块、图像处理模块和视频处理模块；接收模块用于接收数据，并将接收数据发送给图像视频判断模块；图像视频判断模块对接收的数据进行判断，如果判断为视频数据，则将视频数据发送给视频处理模块进行处理；如果判断为图像数据，则将图像数据发送给图像处理模块进行处理。

图像处理模块包括图像几何处理单元、图像灰度变换单元、图像平滑处理单元、图像边缘检测单元和图像形态学处理单元。图像几何处理单元具体包括镜像处理子单元、图像平移子单元、图像缩放子单元和图像旋转子单元；图像灰度变换单元具体包括阈值化子单元、灰度化子单元、灰度直方图子单元、BGR直方图子单元、灰度直方图均衡子单元、彩色直方图均衡子单元、线性变换子单元、对数变换子单元和对比度拉伸子单元；图像平滑处理单元具体包括添加椒盐噪声子单元、均值滤波子单元、中值滤波子单元、高斯滤波子单元和双边滤波子单元；图像边缘检测单元具体包括Sobel子单元、Scharr子单元、Laplace子单元、Canny子单元、活肤曼线检测子单元、霍夫圆检测子单元、轮廓检测子单元、凸包检测子单元、Moravec角点检测子单元、Harris角点检测子单元和Shi-Tomasi角点检测子单元；图像形态学处理单元具体包括腐蚀子单元、膨胀子单元、开运算子单元、闭运算子单元、形态学梯度子单元、顶帽子单元和底帽子单元。视频处理模块包括单帧视频处理单元和视频稳像处理单元，视频稳像处理单元包括第一稳像处理单元、第二稳像处理单元。单帧视频处理单元包括翻转子单元、灰度化子单元、滤波子单元和拉伸对比度子单元。第一稳像处理单元使用RANSAC+FAST进行特征点检测和图像匹配，第一稳像处理单元包括创建子单元、选择子单元和处理子单元；创建子单元用于准备运动估计生成器RANSAC、创建FAST特征检测器以及创建运动估计器；所述选择子单元用于选择稳定器；处理子单元用于处理稳定帧。第二稳像处理单元包括信息获取子单元、平滑滤波子单元、运算子单元和仿射变换子单元；信息获取子单元用于获取视频前后两帧的运动信息；平滑滤波子单元用于累加所有帧间的运动向量，并对视频进行平滑滤波；运算子单元用于对原始运动向量、累加后的运动向量、平滑滤波处理后的运动向量进行运算，得到新的运动向量；仿射变换子单元用于对每帧视频使用新的运动向量进行仿射变换，得到稳像后的视频。本实施例的系统还包括存储模块和显示模块，存储模块用于接收图像处理模块和视频处理模块发送的图像数据和视频数据并进行存储，显示模块用于接收图像处理模块和视频处理模块发送的图像数据和视频数据并进行显示。

本实施例的处理系统的工作原理如图2所示：

接收模块接收数据，并将数据发送给图像视频判断模块，图像视频判断模块判断该数据为视频数据还是图像数据，如果判断为图像数据，图像视频判断模块将该数据发送给图像处理模块，图像处理模块调取相关处理单元对图像进行处理，每完成一个操作，将处理后的图像发送给存储模块，再进行下一步操作，以此类推，直至获得理想图像，并将理想图像发送给存储模块，存储模块对理想图像进行保存，图像处理模块每完成一步操作，将处理后的图像数据发送给显示模块，显示模块对图像进行显示；如果判断为视频数据，图像视频判断模块将该数据发送给视频处理模块，视频处理模块调取单帧视频处理单元对视频进行处理或第一稳像处理单元对视频进行处理或第二稳像处理单元对视频进行处理，单帧视频处理单元对视频进行处理时，调取相应的处理子单元对视频进行处理，处理完成后，视频处理模块将处理后的视频发送给存储模块进行保存，视频处理模块将处理前后的视频数据发送给显示模块，显示模块对处理前后的视频在操作界面进行对比显示；第一稳像处理单元对视频进行处理时，依据RANSAC子集大小、最大异常值比率、内点的最大误差、内点的最小比率、特征检测器的最大误差、高斯运动滤波器的半径、稳定器滑动半径、修边率这些参数，首先调取创建子单元准备运动估计生成器RANSAC、创建FAST特征检测器、创建运动估计器；再调取选择子单元选择稳定器；然后调取处理子单元处理稳定帧，处理完成后，视频处理模块将视频数据发送给存储模块进行保存，视频处理模块将处理前后的视频数据发送给显示模块，显示模块对处理前后的视频在操作界面进行对比显示；第二稳像处理单元对视频进行处理时，依据置信水平、优化算法的最大迭代次数、RANSAC算法的最大误差、视频保留比例、角点检测窗口的大小、角点的质量水平、相邻角点的最小距离、检测角点的最大数量、运动滤波器的半径以及输出视频的帧率这些参数，首先调取信息获取子单元获取视频前后两帧的运动信息，包括x、y方向的移动量以及旋转角度；再调取平滑滤波子单元累加所有帧间的运动向量，并对视频进行平滑滤波，再调取运算子单元信息获取子单元对原始运动向量、累加后的运动向量、平滑滤波处理后的运动向量进行运算，得到新的运动向量；然后调取仿射变换子单元对新的运动向量进行仿射变换，得到稳像后的视频，视频处理模块将处理后的视频发送给存储模块进行保存，视频处理模块将处理前后的视频数据发送给显示模块，显示模块对处理前后的视频在操作界面进行对比显示。以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。