一种基于FPGA平台的快速位平面电子稳像方法

摘要

本发明的目的在于提供一种基于FPGA平台的快速位平面电子稳像方法，首先对视频数据流进行乒乓缓存处理，并且直接抽取位图并以byte的方式进行存储，然后使用快速的位平面块匹配算法进行循环匹配，确定出全局的相邻帧间的移动矢量，进行平均滤波之后得到视频的抖动矢量。最后针对视频的随机抖动矢量进行补偿，并输出稳定视频序列。本发明可以提高稳像算法处理的并行性，通过位平面提取的方式降低存储空间消耗，对于大幅抖动也可以精确稳像，能够对超高清视频进行实时稳像。

说明书

技术领域

本发明涉及的是一种视频图像处理方法，具体地说是抖动视频序列的后续 消抖处理方法。

背景技术

稳定的视频是后续观察，处理的前提，很多移动设备上装载的摄像头不可 避免的存在着不同强度的抖动，抖动的视频画面存在跳动、模糊等问题，长期 观察会使观察者产生疲劳感从而导致观察判断失误。稳像技术可以消除视频抖 动进行视频稳定，也可应用到其他视频技术领域，例如：视频压缩编码、运动 目标检测、图像拼接等。

在工业领域有着很多装配、加工、搬运机器人，它们的视觉处理系统对于 输入的视频有一定的稳定度要求。个人手持摄像机，监控摄像机等录像设备也 会由于各种原因存在抖动，不利于后续的观察和发布，因此稳像功能也是高端 摄像机的必备功能，

目前的电子稳像方法大都基于通用的计算机平台，无法实现高速并行的稳 像功能。基于计算机平台的稳像方法不仅速度不高，而且消耗更多的存储空间， 对目前广泛应用的超高清摄像设备需要消耗更多的时间，有些方法甚至都无法 达到实时的基本要求。因此如何提高算法的并行性，减小算法的存储空间，提 高算法的处理时间是目前稳像方法面临的一个挑战。

发明内容

本发明的目的在于提供能够对超高清视频进行实时稳像的一种基于FPGA 平台的快速位平面电子稳像方法。

本发明的目的是这样实现的：

本发明一种基于FPGA平台的快速位平面电子稳像方法，其特征是：

（1）对拍摄的视频序列进行乒乓存储，第偶数帧存储在第一视频缓存中， 第奇数帧存储在第二视频缓存中，针对两个视频缓存进行图像的第4位平面提 取，并将提取的位图按照字节的方式存储在第一位平面缓存和第二位平面缓存 中；

（2）设定与抖动幅度有关的两个参数：搜索长度和边框剪裁长度，搜索长 度包括search_length_y和search_length_x，表示的是搜索算法可以搜索到的最大范 围的长度；边框剪裁长度包括clip_length_y和clip_length_x，表示的是去除匹配区 域之外的边框部分；

①对第n帧图片进行灰度变换，根据剪裁区域的y、x方向参数确定匹配区 域的大小，对中心的匹配区域进行6×6分割，此36个块即是需要匹配的块；

②按照初始的搜索长度search_length_y和search_length_x，将匹配区域保持 中间位置、上移search_length_y、下移search_length_y、左移search_length_x、右 移search_length_x，得到五个不同位置的矩阵；

将移动后的匹配区域与第n-1帧图片相应位置进行同或运算，分别求每个 匹配块的运算结果和：

$D_{i,j}^k=\underset{g=0}{\overset{G}{\Sigma }}\underset{h=0}{\overset{H}{\Sigma }}|f_{n,i,j}(x+g,y+h)-f_{n-1,i,j}(x+g,y+h)|$

式中k代表匹配块所处的区域，包括中mid、上up、下down、左left、右 right；i、j代表匹配块在匹配区域中的行列数，分别从1～6，G、H代表每 个匹配块的长和宽所占的像素总数，g、h代表当前每个匹配块的长和宽所占的 像素数，f表示像素值，n表示视频帧数，x，y表示第i行第j列匹配块在k位 置的起始坐标，D表示表示第i行第j列匹配块的差的绝对值的和；

③比较的大小，针对每个i、j值求出五 个区域中最小的D_ij和它所处的方位，并且求出每个方位最小的D_ij的个数：

式中num^k表示在k方位值最小的块的个数；

④比较num^mid、num^up、num^down、num^left、num^right，其中最大值代表的方 位即是匹配区域在本次搜索中的最优匹配位置，根据最优块的方位对帧间偏移 量mov_y，mov_x进行修正：

⑤修正匹配区域的搜索长度和搜索位置：如果最佳匹配位置为mid， search_length_x、search_length_y都减半，匹配区域的起始位置保持不变；如果 最佳匹配位置为up，search_length_y先减半，匹配区域的起始位置向上移动 search_length_y；如果最佳匹配位置为down，search_length_y先减半，匹配区域 的起始位置向下移动search_length_y；如果最佳匹配位置为left，search_length_x先减半，匹配区域的起始位置向左移动search_length_x；如果最佳匹配位置为 right，search_length_x先减半，匹配区域的起始位置向右移动search_length_x；

重复步骤①～⑤操作，不断剔除运动目标保留背景块，对搜索长度进行减 半，修正匹配区域的搜索位置，修正帧间平移变量直到搜索长度search_length_y、 search_length_x都小于1，此时所得的mov_y和mov_x即为两帧图像的偏移量；

（3）根据所得的帧间运动矢量分别进行x，y两个方向的均值滤波，提取 出无意义的高频随机抖动矢量，将视频帧按照抖动矢量移动相反方向进行补偿， 最后输出稳定的视频序列。

本发明的优势在于：本发明可以提高稳像算法处理的并行性，通过位平面 提取的方式降低存储空间消耗，对于大幅抖动也可以精确稳像，能够对超高清 视频进行实时稳像。

附图说明

图1为本发明的流程图；

图2为本发明在视频数据流存取的乒乓存储和位平面提取操作框图；

图3为本发明在位平面快速匹配的操作流程框图；

图4为对进行视频帧的剪裁、分块示意图；

图5a为在位平面快速匹配的操作中对图像进行五个方向的搜索移动示意 图a；图5b为在位平面快速匹配的操作中对图像进行五个方向的搜索移动示意 图b；图5c为在位平面快速匹配的操作中对图像进行五个方向的搜索移动示意 图c；图5d为在位平面快速匹配的操作中对图像进行五个方向的搜索移动示意 图d；图5e为在位平面快速匹配的操作中对图像进行五个方向的搜索移动示意 图e；

图6为在位平面快速匹配之后最终提取出的背景图片块。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图1～6，本发明包括如下步骤：

第一步，图像乒乓存储和位平面提取：

对拍摄的视频序列进行奇偶帧分别缓存，然后针对相邻的奇偶帧提取第四 位平面，位平面提取之后使用字节的方式进行存放，减小了数据的存储量，有 效提高算法的运算效率。

第二步，位平面快速匹配：

根据运动载体的运动参数确定图像的边框剪裁参数和图像的起始搜索长 度，然后将匹配区域分割成n×n块。使用快速搜索对匹配区域的图像块进行五 个方向的搜索匹配，并且根据每次的搜索匹配结果调整搜索长度和匹配区域的 位置，同时对匹配块中的前景运动目标块进行剔除。迭代搜索过程直到想x，y 方向搜索长度为零时停止。

第三步，视频序列抖动补偿：

根据第二步所得的帧间运动矢量分别进行x，y两个方向的均值滤波。提取 出无意义的高频随机抖动矢量，然后将视频帧按照抖动矢量移动相反方向进行 补偿，最后输出稳定的视频序列。

图像乒乓存储和位平面提取，具体包含以下步骤。

对拍摄的视频序列分别进行奇偶帧缓存，确保当前相邻帧被存储。

提取奇偶帧图像的第四位平面，并且以字节的方式进行存储。

位平面快速匹配，具体包含以下步骤。

针对视频的抖动参数，设定剪裁图像匹配区域，设定搜索长度，并且对图 像匹配区域进行分块。

针对匹配区域以中、上、下、左、右，五个方位按照移动长度进行搜索。

选取匹配区域的最优方位，然后将搜索长度减半，同时剔除前景的运动目 标块，对相邻两帧的移动向量进行修正。

重复进行搜索直到搜索长度为0时停止，此时求得相邻帧间移动向量。

视频序列抖动补偿，具体包含以下步骤：

针对视频序列的抖动频率设定具体需要使用的平均滤波器的长度。

使用设置好的平均滤波器对图像x，y方向的移动分量进行高通滤波，提取 视频序列的无意义随机高频抖动。

对图像乒乓缓存中的图像按照提取的无意义随机高频抖动进行反向补偿。

本发明具体步骤如附图1所示：

首先针对摄像机载体的运动特性，设定和抖动相关的参数如：clip_length_y、 clip_length_x、search_length_y、search_length_x。针对抖动幅度大的视频将剪裁参 数clip_length_y、clip_length_x和原始搜索长度参数search_length_y、search_length_x设的稍微大一些，反之亦然。同时需要保证经过剪裁后的图像要能够被平均分割 成6×6的小块。

其次针对摄像机载体的运动频域特性设置平均滤波器的参数，如果摄像机载 体的无意义随机高频运动频率较高，则需要将平均滤波器的长度设置短一些；如 果摄像机载体的无意义随机高频运动频率较低，则需要将平均滤波器的长度设置 的长一些。这样能够达到较好的稳定效果。

第一步，图像数据的乒乓存储和位平面提取，如附图2所示。

首先对输入的视频序列进行乒乓存储，第偶数帧存储在视频缓存1中，第奇 数帧存储在视频缓存2中。然后针对两个视频缓存进行图像的第4位平面提取， 并且将提取的位图按照字节的方式存储在位平面缓存1和位平面缓存2中。

第二步，位平面快速匹配，如附图3所示。

本步骤针对步骤二中提取的两个相邻位平面缓存进行操作。本算法需要根据 设备的工作环境设定与抖动幅度有关的两个参数：①搜索长度：search_length_y。 （附图4中的y1）和search_length_x（附图4中的x1）表示的是搜索算法可以 搜索到的最大范围的长度；②边框剪裁长度：clip_length_y（附图4中的y2）和 clip_length_x（附图4中的x2）表示的是去除匹配区域之外的边框部分。

对搜索区域和剪裁区域的参数设置之后，整个稳像中最核心的操作就是匹配 过程。通过每一次匹配运算，都会对无法匹配的前景目标块进行一次剔除，降低 后续的匹配操作的运算量。

每次块匹配只需要做上、下、左、右、中间，五个方位的位置搜索，相比传 统的三步搜索法，每一轮搜索能够减少4/9左右的运算量。每次搜索完毕，搜索 长度减半，经过多次循环搜索直到搜索长度为0，最终确定出第n帧图像相对于 第n-1次的位移矢量。其操作步骤如下：

Step1：对第n帧图片进行灰度变换，根据剪裁区域的y、x方向参数可以确 定匹配区域的大小，然后对中心的匹配区域进行6×6分割，此36个块即是需要 匹配的块，如附图4所示的黑色小块。

Step2：按照初始的搜索长度search_length_y和search_length_x，将附图3中的 匹配区域保持中间位置、上移search_length_y、下移search_length_y、左移 search_length_x、右移search_length_x，可以得到五个不同位置的矩阵，如附图5 所示。

并将移动后的匹配区域与第n-1帧图片相应位置进行同或运算，然后分别求 每个匹配块的运算结果和。

$D_{i,j}^k=\underset{g=0}{\overset{G}{\Sigma }}\underset{h=0}{\overset{H}{\Sigma }}|f_{n,i,j}(x+g,y+h)-f_{n-1,i,j}(x+g,y+h)|$

式中k代表匹配块所处的区域（中mid、上up、下down、左left、右right）； i、j代表匹配块在匹配区域中的行列数，分别从1～6；G，H代表每个匹配块 的长和宽所占的像素数；f表示像素值；n表示视频帧数；x，y表示第i行第j 列匹配块在k位置的起始坐标；D表示表示第i行第j列匹配块的差的绝对值的 和。

Step3：比较的大小，针对每个i、j值求出 五个区域中最小的D_ij和它所处的方位，并且求出每个方位最小的D_ij的个数如 下：

式中num^k表示在k方位值最小的块的个数。

Step4：num^k代表着k方位的匹配块的个数。比较num^mid、num^up、num^down、 num^left、num^right，其中最大值代表的方位即是匹配区域在本次搜索中的最优匹配 位置，根据最优块的方位对帧间偏移量mov_y，mov_x进行修正。

同时记录在最优位置处的匹配块，而这些匹配块是剔除了运动目标的背景区 域，如附图6所示。

Step5：修正匹配区域的搜索长度和搜索位置。如果最佳匹配位置为mid： search_length_x，search_length_y都减半，匹配区域的起始位置保持不变；如果最 佳匹配位置为up：search_length_y先减半，匹配区域的起始位置向上移动 search_length_y；如果最佳匹配位置为down：search_length_y先减半，匹配区域 的起始位置向下移动search_length_y；如果最佳匹配位置为left：search_length_x先 减半，匹配区域的起始位置向左移动search_length_x；如果最佳匹配位置为right： search_length_x先减半，匹配区域的起始位置向右移动search_length_x。

重复第1～5步的操作，每轮计算都会根据匹配位置不断剔除运动目标保留背 景块，对搜索长度进行减半，修正匹配区域的搜索位置，修正帧间平移变量直到 搜索长度search_length_y，search_length_x都小于1，此时所得的mov_y和mov_x即为 两帧图像的偏移量。

第三步，视频序列补偿。

为了消除摄像头的无意义的高频随机抖动，同时保留有意义的主观移动，本 方法使用长度可设的平均滤波器进行高通滤波，提取出无意义的高频随机抖动矢 量，并且针对该帧图像参照抖动矢量进行相反方向的补偿。

相比其它稳像方法，本发明在FPGA平台进行模块化设计，因此具有很好 的并行性，提取位平面按照字节方式存储相比传统算法节约了8倍的存储空间， 运算过程中仅仅使用了简单的逻辑运算，降低了算法的运算量，不需要设置每 次匹配的阈值。本发明会在五个方位中选择最优的匹配位置，提高了适用性。 同时在每次选择最优位置之后，会剔除运动的区域（如附图6所示），相比其它 方法消除了前景运动目标的干扰，增加了可靠性。在剔除运动区域后，图像匹 配的区域减少，也减小了运算量。因此本发明在稳定性和运算效率上都有优势。