重要内容无感知畸变的视频图像非等比例缩放方法

摘要

本发明公开的一种重要内容无感知畸变的视频图像非等比例缩放方法，首先对关键帧分割打包，然后进行独立包内的视频帧缩放，依次定义视频能量、确定低能量线、选取最优低能量线、复制或删除相同的最优低能量线进行等比例缩放，最后进行相邻独立包间的连贯性处理。本发明重要内容无感知畸变的视频图像非等比例缩放方法基于内容感知技术，通过对视频进行预处理后，在空间域及时间域上进行能量函数的定义，保证视觉上重要内容具有高能量，次要内容具有较低能量，然后对视频序列进行最优能量线删除或复制，从而完成视频的非等比例缩放。

说明书

技术领域

本发明属于视频图像的非等比例幅型比转换技术领域，涉及一种视频重要内容感知、视频连贯性保持的方法，具体涉及一种重要内容无感知畸变的视频图像非等比例缩放方法。

背景技术

随着数字媒体信息应用的广泛性及数字视频获得的便利性的提高，多样化的显示设备对数字媒体提出了更高的要求。同时，随着大屏幕液晶电视的普及，4:3的电视信号与16:9的屏幕大小之间的矛盾变得日益急迫。这就需要对原始视频进行非等比例缩放。另外，由于视频有时间、空间连贯性以及每秒25帧以上的要求，因而需要采用某种方法，使视频在非等比例缩放的过程中能实时、连贯且保证其内容不发生大的畸变。

视频缩放的最简单方法是等间隔采样或等间隔插值方法。这类方法存在的最大问题是，在将4:3视频转换为16:9时，水平、垂直两个方向是非等比例缩放，景物的畸变较大。

发明内容

本发明的目的是提供一种重要内容无感知畸变的视频图像非等比例缩放方法，解决了采用现有的等间隔采样或等间隔插值方法对视频缩放时，景物畸变较大的问题。

本发明所采用的技术方案是，一种重要内容无感知畸变的视频图像非等比例缩放方法，具体按照以下步骤实施：

步骤1：关键帧的分割打包

在原始视频帧上设置矩形检测窗，对矩形检测窗内图像帧纹理的变化进行检测，矩形检测窗内图像帧纹理发生变化，则将变化前的帧打包成视频包，构成独立包；

步骤2：独立包内的视频帧缩放

1)定义视频能量

定义视频立方体的能量函数为

E＝α·E₁+(1-α)·E₂，

其中E₁为边缘效应使关键帧在空间上具有的能量，E₂为目标物在时间轴上的时间运动能量，α为能量加权系数，α∈[0，1]，设每帧视频图像的像素值为I(x，y，t)，

$E_1=\sqrt{{\mathrm{DX}}^2+{\mathrm{DY}}^2},$

其中，

DX＝[I(x+1，y-1，t)-I(x-1，y-1，t)]+2[I(x+1，y，t)-I(x-1，y，t)]+[I(x+1，y+1，t)-I(x-1，y+1，t)]，

DY＝[I(x-1，y+1，t)-I(x-1，y-1，t)]+2[I(x，y+1，t)-I(x，y-1，t)]+[I(x+1，y+1，t)-I(x+1，y-1，t)]，

E₂＝β·DTX+(1-β)·DTY，

其中，β为加权系数，β∈[0，1]，

$\mathrm{DTX}=\sqrt{{{\mathrm{DTX}}_1}^2+{{\mathrm{DTX}}_2}^2},$$\mathrm{DTY}=\sqrt{{{\mathrm{DTY}}_1}^2+{{\mathrm{DTY}}_2}^2},$

DTX₁＝[I(x+1，y，t-1)-I(x-1，y，t-1)]+2[I(x+1，y，t)-I(x-1，y，t)]+[I(x+1，y，t+1)-I(x-1，y，t+1)]，

DTX₂＝[I(x-1，y，t+1)-I(x-1，y，t-1)]+2[I(x，y，t+1)-I(x，y，t-1)]+[I(x+1，y，t+1)-I(x+1，y，t-1)]，

DTY₁＝[I(x，y+1，t-1)-I(x，y-1，t-1)]+2[I(x，y+1，t)-I(x，y-1，t)]+[I(x，y+1，t+1)-I(x，y-1，t+1)]，

DTY₂＝[I(x，y-1，t+1)-I(x，y-1，t-1)]+2[I(x，y，t+1)-I(x，y，t-1)]+[I(x，y+1，t+1)-I(x，y+1，t-1)]；

2)确定低能量线

采用预测最低能量性，在已知选择的前提下，选择下一行中构成低能量线的像素；

3)选取最优低能量线

选择累计总能量最小的低能量线作为最优低能量线，分别选择横向最优低能量线和纵向最优低能量线；

4)在每个独立包中的所有帧复制相同的最优低能量线，完成非等比例放大；或者删除相同的最优低能量线，完成非等比例缩小；

步骤3：相邻独立包间的连贯性处理

设在包A_k中选择的最优低能量线为L_k，在A_k+1中优先选择A_k所选列的相邻几列，当需要进行非等比例放大时，在A_k所选列的相邻几列中选择最优低能量线进行复制，当需要进行非等比例缩小时，在A_k所选列的相邻几列中选择最优低能量线进行删除，当在A_k+1中的列中出现高能量点时，最优低能量线的选择跳出限制保护，重新选择。

本发明的特点还在于，

步骤2中确定低能量线，具体按照以下步骤实施：

在已知选择p(i，j)的前提下，将步骤2中1)步定义的能量函数E代入以下公式：

C_L(i，j)＝|E(i，j+1)-E(i，j-1)|+|E(i-1，j)-E(i，j-1)|，

C_U(i，j)＝|E(i，j+1)-E(i，j-1)|，

C_R(i，j)＝|E(i，j+1)-E(i，j-1)|+|E(i-1，j)-E(i，j+1)|，

求出C_L(i，j)，C_U(i，j)，C_R(i，j)值，其中，C_L(i，j)为左侧能量差分，C_U(i，j)为下侧能量差分，C_R(i，j)为右侧能量差分，取C_L(i，j)，C_U(i，j)，C_R(i，j)中的最小值所在的点为下一个点，保证所选择的下一像素一定是最不会产生新的边缘的最低加权能量点。

步骤2中选取最优低能量线，具体按照以下步骤实施：

设(i＝1，2，...，m)为第i条横向低能量线，(j＝1，2，...，n)为第j条纵向低能量线，则横向最优低能量线为：

${L_x}^{*}=\underset{L_{x_i}}{\min }\left\{E\left(L_{x_i}\right)\right|i=\mathrm{1,2},...,m\}=\underset{L_{x_i}}{\min }\{\underset{j=1}{\overset{n}{\Sigma }}E\left(L_{x_i}\left(j\right)\right|i=\mathrm{1,2},...,m)\},$

纵向最优低能量线为：

${L_y}^{*}=\underset{L_{y_j}}{\min }\left\{E\left(L_{y_j}\right)\right|j=\mathrm{1,2},...,n\}=\underset{L_{y_j}}{\min }\{\underset{i=1}{\overset{m}{\Sigma }}E\left(L_{y_j}\left(i\right)\right|j=\mathrm{1,2},...,n)\}.$

其中的矩形检测窗等间隔设置有九个。

本发明的有益效果是，通过对视频进行预处理后，在空间域及时间域上进行能量函数的定义，保证视觉上重要内容具有高能量，次要内容具有较低能量。然后对视频立方体进行最优能量线删除或复制，从而完成视频的非等比例缩放。

附图说明

图1为本发明方法中确定关键帧时的观测窗示意图；

图2为本发明方法中视频立方体的概念示意图；

图3为本发明方法中低能量线选择过程示意图，其中，a为最低能量性，b为预测最低能量性。

图中，1.矩形检测窗。

具体实施方式

下面结合附图及具体实施方式对本发明进行详细说明。

本发明重要内容无感知畸变的视频图像非等比例缩放方法，具体按照以下步骤实施：

步骤1：关键帧的分割打包

考虑实时性的要求，如图1所示，本方法在原始视频帧上等间隔地设置若干个(建议为九个)矩形检测窗1，检测窗内图像帧纹理的变化。如果其纹理发生变化，则将变化前的帧打包成视频包A₁，构成一个独立包。依次采用相同的方法得到A₂，A₃，......。每个包中的第一帧设为视频序列的关键帧。

步骤2：独立包内的视频帧缩放

每个独立包中，第一帧为关键帧，第二帧之后的称为非关键帧，定义每个独立包为一个视频立方体，视频立方体的示意图见图2。

(1)定义视频能量

单帧图像中目标物的边缘效应维持着各个目标物的空间结构，现定义这种边缘效应会使关键帧在空间(X-Y平面)上具有能量E₁。同时由于目标物的运动，镜头的变化，使得目标物在时间轴上产生了时间运动能量E₂。

故视频立方体的能量函数可描述为

E＝α·E₁+(1-α)·E₂            (1)

其中，α(α∈[0，1])为能量加权系数。

对视频立方体中的每一帧图像，景物的边缘维持了图像中各个目标的结构，能够被人眼忽略的地方，属于某一区域中比较平坦的部分。因此，这里采用SOBEL算子得到的幅值差分的大小定义各像素点上能量的空间能量E₁。设每帧视频图像的像素值为I(x，y，t)，

$E_1=\sqrt{{\mathrm{DX}}^2+{\mathrm{DY}}^2}---\left(2\right)$

其中，

DX＝[I(x+1，y-1，t)-I(x-1，y-1，t)]+2[I(x+1，y，t)-I(x-1，y，t)]+[I(x+1，y+1，t)-I(x-1，y+1，t)]                   (3)

DY＝[I(x-1，y+1，t)-I(x-1，y-1，t)]+2[I(x，y+1，t)-I(x，y-1，t)]+[I(x+1，y+1，t)-I(x+1，y-1，t)]                   (4)

考虑到人眼对于运动物体较为关注，对静态物体则不太注意的事实，为了表征目标物在时间轴上的运动及连贯性，引入时间能量E₂，

E₂＝β·DTX+(1-β)·DTY                        (5)

其中，β(β∈[0，1])为加权系数，

$\mathrm{DTX}=\sqrt{{{\mathrm{DTX}}_1}^2+{{\mathrm{DTX}}_2}^2},$$\mathrm{DTY}=\sqrt{{{\mathrm{DTY}}_1}^2+{{\mathrm{DTY}}_2}^2}---\left(6\right)$

DTX₁＝[I(x+1，y，t-1)-I(x-1，y，t-1)]+2[I(x+1，y，t)-I(x-1，y，t)]+[I(x+1，y，t+1)-I(x-1，y，t+1)]                   (7)

DTX₂＝[I(x-1，y，t+1)-I(x-1，y，t-1)]+2[I(x，y，t+1)-I(x，y，t-1)]+[I(x+1，y，t+1)-I(x+1，y，t-1)]                   (8)

DTY₁＝[I(x，y+1，t-1)-I(x，y-1，t-1)]+2[I(x，y+1，t)-I(x，y-1，t)]+[I(x，y+1，t+1)-I(x，y-1，t+1)]                   (9)

DTY₂＝[I(x，y-1，t+1)-I(x，y-1，t-1)]+2[I(x，y，t+1)-I(x，y，t-1)]+[I(x，y+1，t+1)-I(x，y+1，t-1)]                   (10)

(2)确定低能量线

低能量线指一帧图像中横向或纵向方向上起非主要作用，忽略后不会影响视觉效果的像素连接在一起形成的线。以列方向为例，低能量线需要满足以下条件。

①单独性，即每一行中有且仅选择一个像素。

②连贯性，即上一个被选中的像素与下一个被选中的像素存在相邻关系。

③预测最低能量性，在已知选择p(i，j)的前提下，选择下一行中构成低能量线的像素。

由条件①，②知，如图3所示，可以选择p(i+1，j-1)，p(i+1，j)，p(i+1，j+1)中一个像素。若只考虑最低能量性，则选择以上三点中能量值最低的点为下一行中构成低能量线的像素(如图3a中的点P_i+1，j+1)可能会使复制或者删除本低能量线时产生新的边缘出现。故本专利中的低能量线选取原则采用了预测最低能量性，即按照公式(11)，(12)，(13)求C_L(i，j)，C_U(i，j)，C_R(i，j)值，取其最小值所在的点为下一个点(如图3b中的点P_i+1，j+1)，从而保证所选择的下一像素一定是最不会产生新的边缘的最低加权能量点。

C_L(i，j)＝|E(i，j+1)-E(i，j-1)|+|E(i-1，j)-E(i，j-1)|        (11)

C_U(i，j)＝|E(i，j+1)-E(i，j-1)|                              (12)

C_R(i，j)＝|E(i，j+1)-E(i，j-1)|+|E(i-1，j)-E(i，j+1)|        (13)

其中，C_L(i，j)为左侧能量差分，C_U(i，j)为下侧能量差分，C_R(i，j)为右侧能量差分。

(3)选取最优低能量线

从低能量线的定义可知，如果图像的大小为m×n，则可以找到m条横向低能量线，n条纵向低能量线。在图像缩放时，本专利选择累计总能量最小的低能量线作为最优低能量线。

设(i＝1，2，...，m)为第i条横向低能量线，(j＝1，2，...，n)为第j条纵向低能量线，则横向最优低能量线为

${L_x}^{*}=\underset{L_{x_i}}{\min }\left\{E\left(L_{x_i}\right)\right|i=\mathrm{1,2},...,m\}=\underset{L_{x_i}}{\min }\{\underset{j=1}{\overset{n}{\Sigma }}E\left(L_{x_i}\left(j\right)\right|i=\mathrm{1,2},...,m)\}---\left(14\right)$

纵向最优低能量线为

${L_y}^{*}=\underset{L_{y_j}}{\min }\left\{E\left(L_{y_j}\right)\right|j=\mathrm{1,2},...,n\}=\underset{L_{y_j}}{\min }\{\underset{i=1}{\overset{m}{\Sigma }}E\left(L_{y_j}\left(i\right)\right|j=\mathrm{1,2},...,n)\}---\left(15\right)$

(4)对于一个独立包，关键帧的能量图E能够代表整个独立包的能量分布。因此，在这个独立包中的所有帧复制相同的最优低能量线，完成非等比例放大；或者删除相同的最优低能量线，完成非等比例缩小；

步骤3：相邻独立包间的连贯性处理

按照上面的关键帧分割打包方法分割得到的相邻包A_k与A_k+1有可能是因为镜头不动，目标物运动而分割开的。如果对A_k与A_k+1分别独立进行处理，由于两包视频在时间方向的不连续复制(删除)会导致包与包之间的相接帧出现抖动。为避免这样的问题，需要对其进行限制保护。

若在包A_k中选择的最低能量线为L_k，那么在A_k+1中优先选择A_k所选列的相邻几列，在其中选择最低能量线进行删除或复制。当在A_k+1中的此列中出现了高能量点时，就说明在此最低能量线的位置上，包A_k+1中的帧与A_k中的帧发生了大的变化，这时，最低能量线的选择可以跳出限制保护，安全地重新选择。