视频编码中背景图像的更新方法及其装置

摘要

本发明涉及视频处理，公开了一种视频编码中背景图像的更新方法及其装置。本发明中，背景图像的更新方法包括以下步骤：如果需要更新背景图像，则判断当前帧是否为静止帧；如果判断结果为是，则将第一背景图像更新为当前帧；如果判断结果为否，则根据通过背景建模得到的候选背景图像处理背景图像。能够极好的在背景图像中保留背景细节，为提取前景图像和后续编码背景区域提供良好的参考图像，并有效提高背景图像的提取效率。

说明书

技术领域

本发明涉及视频处理，特别涉及视频编码中背景图像的更新方法及其装置。

背景技术

基于前景背景分离的结构化编码技术大致思想为，待编码图像经过背景重建技术分成前景和背景两部分，前景和背景的重要程度不一样，在编码时对两者分别处理，编码后将两者形成一个码流。

背景重建技术是视频分析领域常用的一种方法，有很多主流方法，典型的有高斯背景建摸、基于码本模型的背景重建、非参数学习方法、中值滤波等。这些方法的目标侧重都是提取干净的运动前景，而且大多数时候为了去除扰动的影响，会维护多个背景模型，运算复杂度高。而在视频编码应用中，处理的图像分辨率大部分都是19201088等大分辨率，直接应用主流方法无法达到实时编码的高性能要求，另外，结构化编码中的背景图像希望能最佳的保留背景细节，克服瞬时光线干扰，为后续编码背景区域编码提供参考图像。

半结构化编码中的背景图像需要通过背景建模模块生成，由于编码分辨率常常会达到1920*1088等大分辨率，且编码要求实时运行，这就要求背景建模模块实时运行，这需要巨大的计算量，严重影响编码效率。

发明内容

本发明的目的在于提供一种视频编码中背景图像的更新方法及其装置，能够极好的在背景图像中保留背景细节，为提取前景图像和后续编码背景区域提供良好的参考图像，并有效提高背景图像的提取效率。

为解决上述技术问题，本发明的实施方式公开了一种视频编码中背景图像的更新方法，包括以下步骤：

根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新；

如果当前帧是静止帧，则将第一背景图像更新为当前帧；

如果当前帧不是静止帧，则根据通过背景建模得到的候选背景图像处理第一背景图像。

本发明的实施方式还公开了一种视频编码中背景图像的更新装置，包括：

第一更新单元，用于根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新；

第一判断单元，用于判断当前帧是否为静止帧；

第二更新单元，用于在第一判断单元的判断结果为是时，将第一背景图像更新为当前帧；

处理单元，用于在第一判断单元的判断结果为否时，根据通过背景建模得到的候选背景图像处理第一背景图像。

本发明实施方式与现有技术相比，主要区别及其效果在于：

采用静止帧和背景建模混合提取背景图像的方式，能够极好的在背景图像中保留背景细节，为提取前景图像和后续编码背景区域提供良好的参考图像，并有效提高背景图像的提取效率。

进一步地，通过计算候选背景图像或其中宏块的置信度，能对候选背景 图像或其部分区域是否可以作为背景图像进行可能性分析，并减少运动目标的偶尔加入对候选背景图像建立过程产生的影响，提高图像背景提取的准确度。

进一步地，对于大分辨率图像(如分辨率≥1920*1088)，可采用将分辨率的方法对候选背景图像是否发生变化进行检测，在降采样背景图像发生较大变化时，再对候选背景图像进行更新，可在保证背景图像即时更新的同时降低背景图像的更新频率，降低计算量。

进一步地，将作为静止帧和背景图像的当前帧作为候选背景图像，能够提高后续候选背景图像的更新准确度，因为静止帧保留有更原始更准确的背景细节。

附图说明

图1是本发明第一实施方式中一种视频编码中背景图像的更新方法的流程示意图；

图2是本发明第二实施方式中一种更新候选背景图像的方式流程示意图；

图3是本发明第二实施方式中一种对降采样图像进行背景建模的方法示意图；

图4是本发明第三实施方式中一种视频编码中背景图像的更新装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的 技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种视频编码中背景图像的更新方法。图1是该视频编码中背景图像的更新方法的流程示意图。

如图1所示，该视频编码中背景图像的更新方法包括以下步骤：

在步骤101中，获取当前帧，根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新，并判断获取的当前帧是否为静止帧。其中，静止帧是指与历史帧相比，整个帧中没有运动宏块或运动宏块占有量较小的图像，即表示与历史帧图像相比，发生的变化较小的图像。

如果判断结果为是，则进入步骤102；否则，继续进入步骤103。

在步骤102中，将第一背景图像更新为当前帧；

在步骤103中，根据通过背景建模得到的候选背景图像处理第一背景图像。

此后结束本流程。

此外，在本申请中，判断当前帧是否为静止帧的方法可以是：对当前帧进行降分辨率采用以得到降采样当前帧；基于帧间运动矢量(例如N帧帧差、光流等)或上述背景建模过程中得到的前景信息，对降采样当前帧中的运动宏块和非运动宏块的数目进行统计；如果非运动宏块与运动宏块的数目的比值大于某一预定阈值，则将该当前帧判定为静止帧。

此外，还可以根据当前帧中运动宏块和非运动宏块的数目对当前帧的静止特性进行等级划分，例如，划分为五个不同的等级，第一等级对应的静止宏块数目最多，第五等级对应的静止宏块数目最少。每次检测当前帧是否为静止帧时先从第一等级开始检测，检测不到则降低条件，转到第二等级，依 次类推，到第四等级还不能将当前帧判断为静止帧时，表示没有理想的静止帧，不将当前帧输出作为背景图像，而是采用背景建模得到的候选背景图像作为背景图像。表1列出了宽度为W，高度为H的分辨率下的五个等级对应的运动条件、检测时间以及使用时间，W、H代表输入图像的宽度和高度。表中的数字阈值只是阈值实例，并不仅限于此具体值。

表1 静止抽检测的五个等级列表

等级运动宏块数检测时间使用时间一[0,W*H*0.02]15001500二[W*H*0.02,W*H*0.04]10001000三[W*H*0.04,W*H*0.1]1000500四[W*H*0.1,W*H*0.2]500250五[W*H*0.2,W*H]150

在本发明的其他实施方式中，也可以采取其他方式判断当前帧是否为静止帧，且判断当前帧是否为静止帧也可以不预先进行降采样，直接对原始图像进行判断，在此不做限制。

此外，候选背景图像在建立过程中会受到场景中运动目标的影响，如果运动目标呆在场景中的时间超过了那个位置背景出现的时间，则建立的候选背景图像往往是不干净的，会有运动目标的像素值在里面。为减少不纯背景的影响，在当前帧不是静止帧时，本发明可以采取各种方式对第一背景图像进行处理，例如，在一优选例中，上述步骤103包括以下子步骤：

计算候选背景图像的置信度；如果候选背景图像的置信度大于第一预定 阈值，则将第一背景图像更新为该候选背景图像；如果候选背景图像的置信度小于第一预定阈值，则不对第一背景图像进行更新，将编码方式切换为帧内编码模式。

在本发明的其他实施方式中，也可以在候选背景图像的置信度小于第一预定阈值时，不将候选背景图像更新为第一背景图像，编解码回归到普通编码方式。反之，根据候选背景图像的置信度高低，设置参考候选背景图像对整个图像前景和背景处理的影响系数，其中，置信度越低，表示候选背景图像作为背景越不可靠，因此，在编码时对背景图像的参考程度越小。

在另一优选例中，该步骤103包括以下子步骤：

计算候选背景图像中各宏块的置信度；如果候选背景图像中具有置信度大于第二预定阈值的宏块，则根据置信度大于第二预定阈值的宏块，更新第一背景图像中对应区域的宏块。此处对应区域的宏块，是指在候选背景图像和第一背景图像中具有相同位置的宏块。

可以理解，置信度表示图像或者宏块的历史运动信息情况，置信度值越大表示该处的背景越可靠。例如，对于候选背景图像中的某一宏块，在过去的1500帧内，该宏块处没有出现运动目标的像素，则该宏块的置信度为最高值(如225)，如果有n帧出现了运动目标的像素，则其置信度介于最高值和0之间(如通过下式计算：(1-n/1500)*255)。整个候选背景图像的置信度可以是整幅图像中，置信度大于某一预定值的宏块占整幅图像的宏块的比例。

通过计算候选背景图像或其中宏块的置信度，能对候选背景图像或其部分区域是否可以作为背景图像进行可能性分析，并减少运动目标的偶尔加入对候选背景图像建立过程产生的影响，提高图像背景提取的准确度。

此外，可以理解，在本发明中，对一幅图像(或其中的宏块)对另一幅图像(或其中的宏块)的更新，包括直接替换、加权融合等操作，在此不做 限制。

采用静止帧和背景建模混合提取背景图像的方式，能够极好的在背景图像中保留背景细节，为提取前景图像和后续编码背景区域提供良好的参考图像，并有效提高背景图像的提取效率。

本发明第二实施方式涉及一种视频编码中背景图像的更新方法。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：对于大分辨率图像(如分辨率≥1920*1088)，可采用降分辨率采样的方法对候选背景图像是否发生变化进行检测，在降采样背景图像发生较大变化时，再对候选背景图像进行更新，可在保证背景图像即时更新的同时降低背景图像的更新频率，降低计算量。将作为静止帧和第一背景图像的当前帧作为候选背景图像，能够提高后续候选背景图像的更新准确度，因为静止帧保留有更原始更准确的背景细节。

具体地说，在本发明中，候选背景图像在以一定的频率进行更新，或者在满足某些预定条件时，会将候选背景图像进行更新，以提高上述步骤101中采用候选背景图像进行相关处理的准确性。例如，图2所示为在满足某一预定条件时，将候选背景图像进行更新的优选例，其中，候选背景图像通过以下方式进行更新，即上述步骤101包括以下子步骤：

在子步骤2011中，判断当前帧是否为静止帧。

如果判断结果为是，则进入子步骤2012；否则，进入子步骤2013。

在子步骤2012中，将已有的候选背景图像更新为当前帧。此后返回上述子步骤2011。

在子步骤2013中，对当前帧进行降分辨率采样以得到降采样图像。此后进入子步骤2014。

在子步骤2014中，根据当前帧的降采样图像更新候选背景图像的降采 样候选背景图像。例如，在该步骤中，将降采样候选背景图像中被更新的像素标被记为第一标识，未被更新的像素标被记为第二标识。

此后进入子步骤2015，根据降采样候选背景图像中被更新的像素，对候选背景图像中与被更新的像素对应的宏块进行更新。例如，将候选背景图像中对应像素被标记为第一标识的宏块进行更新。此后返回上述步骤2011。

例如，该子步骤2015通过以下方式实现：

将降采样背景图像与候选背景图像的降采样候选背景图像进行对比，得出需要更新的宏块，然后将得出的宏块在候选背景图像中对应的宏块进行更新。例如，采用8*8的倍率进行降采样，降采样候选背景图像中坐标为(10，10)的1个像素点，在候选背景图像中对应坐标从(80，80)开始的8*8像素块，如果该像素需要更新，则可以更新坐标从(80，80)开始的8*8像素块。

在本发明的各实施方式中，降采样背景图像和候选背景对应的降采样候选背景图像的降采样率可以相同，降采样背景图像和候选背景对应的降采样候选背景图像的降采样率也可以不同，不同时只需知道各自的分辨率，便可按照分辨率比例确定相应对比的宏块。

此外，可以理解，可基于现有的背景建模方法对降采样图像进行背景建模得到降采样背景图像，如混合高斯背景建模、中值滤波等，也可以采用其他方式，例如，在一优选例中，上述步骤2014包括以下子步骤：

根据预定更新频率，判断当前帧是否处于更新周期；如果判断结果为是，则获取当前帧对应的降采样图像的静止区域，并将降采样背景图像中对应的区域更新为静止区域。

在另一优选例中，上述步骤2014包括以下子步骤：

计算降采样图像和更新前的降采样候选背景图像之间的差分，并通过连 通域分析得到该降采样图像的运动区域和静止区域；将更新前降采样候选背景图像中，与得到的静止区域对应的区域更新为该静止区域。

在另一优选例中，上述步骤2014包括以下子步骤：

获取降采样图像的静止区域；基于历史降采样图像，判断静止区域中是否存在出现次数超过第二预定阈值的像素；如果判断结果为是，则将降采样候选背景图像中对应位置的像素更新为出现次数超过第二预定阈值的像素。

此外，也可以结合两个优选例中的方法实现上述步骤2014，例如，如图3所示，首先，如果当前帧属于初始获取的N帧图像范围内，即属于第0-N帧内的某一帧，则对当前帧进行降采样，采用分段直方图统计每个像素点出现概率最多的像素，构造一幅初始背景图像作为降采样背景图像；其次，如果当前帧属于第N帧-2N帧图像，将当前帧降采样处理后与初始背景图像进行差分(背景差快速更新背景)，通过连通域分析后得到运动区域和静止区域，如果满足预先设定更新周期，则将初始背景图像中的对应静止区域的区域进行更新，对应运动区域的区域不更新，得到降采样背景图像；如果当前帧属于第2N帧以后输入的图像，根据前景检测结果，对静止区域和运动区域分别进行累计计时，当静止区域背景像素出现的时间达到一定阈值时，更新降采样背景图像(稳定更新，输出更新率)。其中，上述N的值可以根据具体情况进行设定，在此不做限制。

在本发明的其他实施方式中，也可以根据预定频率对候选背景图像进行更新，例如，在得到降采样背景图像后，如果到达更新候选背景图像的更新周期，则基于降采样背景图像对候选背景图像进行更新。或者在接收到更新指令后，基于降采样背景图像对候选背景图像进行更新。在此不做限制。

此外，可以理解，第一幅候选背景图像可以直接采用第一帧输入的原始图像。

在本发明中，如果视频编码为结构化编码，则第一背景图像为实时更新 的备用背景图像，结构化编码中正常使用的为第二背景图像，只有满足一定条件时，才将使用的第二背景图像进行更新，更新为第一背景图像，例如，在一优选例中，且当满足下列任一种条件时，将当前结构化编码中使用的第二背景图像更新为第一背景图像：

当前时刻达到第二背景图像的更新周期；

第一背景图像和第二背景图像之间的差异超过第三预定阈值；

距离检测到拍摄场景发生切换后的时间段超过了第四预定阈值；

通过运动矢量分析，检测到当前帧的图像发生了整体光线变化。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第三实施方式涉及一种视频编码中背景图像的更新装置。图4是该视频编码中背景图像的更新装置的结构示意图。

具体地说，如图4所示，该视频编码中背景图像的更新装置包括：

第一更新单元，用于根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新；

第一判断单元，用于判断当前帧是否为静止帧；

第二更新单元，用于在第一判断单元的判断结果为是时，将第一背景图像更新为当前帧；

处理单元，用于在第一判断单元的判断结果为否时，根据通过背景建模得到的候选背景图像处理第一背景图像

此外，在一优选例中，上述处理单元包括以下子单元：

图像计算子单元，用于计算候选背景图像的置信度。

图像更新子单元，用于当候选背景图像的置信度大于第一预定阈值时，将第一背景图像更新为该候选背景图像。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种视频编码中背景图像的更新装置。

第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：对于大分辨率图像(如分辨率≥1920*1088)，可采用降分辨率采样的方法对候选背景图像是否发生变化进行检测，在降采样背景图像发生较大变化时，再对候选背景图像进行更新，可在保证背景图像即时更新的同时降低背景图像的更新频率，降低计算量。将作为静止帧和背景图像的当前帧作为候选背景图像，能够提高后续候选背景图像的更新准确度，因为静止帧保留有更原始更准确的背景细节。

具体地说，在本发明中，候选背景图像在以一定的频率进行更新，或者在满足某些预定条件时，会将候选背景图像进行更新，以提高上述处理单元采用候选背景图像进行相关处理的准确性。例如，该装置的第一更新单元包括以下子单元：

第一降采样子单元，用于在当前帧不是静止帧时，对当前帧进行降分辨率采样以得到降采样图像；

第一更新子单元，用于根据当前帧的降采样图像更新候选背景图像的降采样候选背景图像；

第二更新子单元，根据降采样候选背景图像中被更新的像素，对候选背景图像中与被更新的像素对应的宏块进行更新；

第三更新子单元，用于在当前帧是静止帧时，则将已有的候选背景图像更新为当前帧。

此外，在一优选例中，上述第一更新子单元将降采样候选背景图像中被更新的像素标被记为第一标识，未被更新的像素标被记为第二标识；并且上述第二更新子单元包括以下子模块：

标记更新子模块，用于将候选背景图像中对应像素被标记为第一标识的宏块进行更新。

在另一优选例中，上第一更新子单元包括以下子模块：

差分计算子模块，用于计算降采样图像和更新前的降采样候选背景图像之间的差分，并通过连通域分析得到该降采样图像的运动区域和静止区域。

静止更新子模块，用于将更新前降采样候选背景图像中，与得到的静止区域对应的区域更新为静止区域。

在另一优选例中，上述第一更新子单元包括以下子模块：

静止获取子模块，用于获取降采样图像的静止区域；

次数判断子模块，用于基于历史降采样图像，判断静止区域中是否存在出现次数超过第二预定阈值的像素；

次数更新子模块，用于在次数判断子模块的判断结果为是时，将降采样 候选背景图像中对应位置的像素更新为出现次数超过第二预定阈值的像素。

此外，在另一优选例中，该视频编码中背景图像的更新装置还包括以下单元：

第三更新单元，用于视频编码为结构化编码，且当满足下列任一种条件时，将当前结构化编码中使用的第二背景图像更新为第一背景图像：

当前时刻达到第二背景图像的更新周期；

第一背景图像和第二背景图像之间的差异超过第三预定阈值；

距离检测到拍摄场景发生切换后的时间段超过了第四预定阈值；

通过运动矢量分析，检测到当前帧的图像发生了整体光线变化。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性 的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。