首页> 中国专利> 深度图的预测方法和检测像素点的方法及相关装置

深度图的预测方法和检测像素点的方法及相关装置

摘要

本发明实施例公开了一种深度图的预测方法和检测像素点的方法以及相关装置。其中,一种深度图的预测方法包括:获取当前块的特征值中的最大值和最小值;若当前块为深度图中的图像块,特征值为原始像素值;或若当前块为深度图中的图像块经过预测而得到的残差块,特征值为残差值;若当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据当前块的部分像素点的特征值对当前块进行分区直流编码SDC处理,当前块的部分像素点中不包括当前块中的第一类像素点,当前块中的第一类像素点为当前块中的特征值大于或等于第二阈值的像素点。本发明实施例的方案有利于提高编码效率和合成视的重建图像质量。

著录项

  • 公开/公告号CN104333758A

    专利类型发明专利

  • 公开/公告日2015-02-04

    原文格式PDF

  • 申请/专利权人 华为技术有限公司;

    申请/专利号CN201410534603.X

  • 发明设计人 朱策;李帅;郑建铧;

    申请日2014-10-11

  • 分类号H04N19/57;H04N19/587;H04N19/597;

  • 代理机构深圳市深佳知识产权代理事务所(普通合伙);

  • 代理人王仲凯

  • 地址 518129 广东省深圳市龙岗区坂田华为总部办公楼

  • 入库时间 2023-12-17 03:45:10

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-07-19

    授权

    授权

  • 2015-03-11

    实质审查的生效 IPC(主分类):H04N19/57 申请日:20141011

    实质审查的生效

  • 2015-02-04

    公开

    公开

说明书

技术领域

本发明涉及图像处理技术领域,具体涉及深度图的预测方法和检测像素点的方法及相关装置。

背景技术

随着光电采集技术的发展及不断增长的高清数字视频需求,视频数据量越来越大,有限异构的传输带宽、多样化的视频应用不断地对视频编码效率提出了更高的需求,高性能视频编码(英文:high efficient video coding,缩写:HEVC)标准的制定工作因需启动。

视频编码压缩的基本原理是利用空域、时域和码字之间的相关性,尽可能去除冗余。目前流行做法是采用基于块的混合视频编码框架,通过预测(包括帧内预测和帧间预测)、变换、量化、熵编码等操作实现视频编码压缩。帧内预测技术利用当前图像块的空间像素信息去除当前图像块的冗余信息以获得残差;帧间预测技术利用当前图像邻近的已编码或已解码图像像素信息去除当前图像块的冗余信息以获得残差。这种编码框架显示了很强生命力,HEVC也仍沿用这种基于块的混合视频编码框架。

三维(英文:3Dimensions,缩写:3D)视频编解码中为了能够反映出物体深度信息,需要对深度图进行编解码。其中,深度图与传统纹理图有不同的特性,深度图边界通常过渡尖锐,所以在编码中如果预测不准,则会产生较大的残差值,进而在变换量化后可能产生较大失真,且由于变换作用,失真不仅会出现在预测不准的像素位置,其它邻近像素位置也很可能产生失真,进而严重降低编码效率。

深度图是用于进行视点合成的,深度图的失真为几何失真,所以深度图的失真不能用普通的均方误差(英文:mean square error,缩写:MSE)失真等来衡量,为此在传统方法中使用合成视的失真对深度图质量进行衡量。在一定程度上,当深度失真超过一定量时,深度失真本身的大小对合成视点失真并无太大影响。另一方面,深度图虽然在物体间边界变化尖锐,但是各个物体区域较平滑。

在深度图的平滑区域中,物体的深度一般是平滑过渡的。在深度图的生成过程中,由于物体间的相互遮挡,在物体边界部分由于遮挡经常可能造成生成的深度图的平滑区域中出现像素值突变的孤立像素点(其中,这类孤立像素点可称之为奇异像素点,或者特殊像素点,或者突变像素点,当然亦可能具有其他名称),进而可能在对应残差块中出现预测残差值突变的孤立像素点,这类像素点往往较大不同于其周边的像素点。其中,由于深度图中像素点的像素值代表物体在场景中的相对深度位置,通过深度图中各个像素点得到的合成视图像因为这类像素点的存在而很可能会造成合成视的图像质量下降,因为这些像素点通常是不能反应真实的物体深度位置的。另一方面,这些像素点的存在也很可能会影响到深度图编码质量。

然而,传统技术中并未对块中的这类像素点进行特别考虑。如在分区直流编码(英文:segment-wise DC coding,缩写:SDC)中,对块内的分区直流分量估计中,这类像素点通常会造成分区直流分量估计不准确,进而造成预测精度不高,出现较大预测残差,从而影响编码效率,另外,这类像素点也很可能影响合成视的重建图像质量。

发明内容

本发明实施例提供一种深度图的预测方法和检测像素点的方法以及相关装置,以期提高编码效率和合成视的重建图像质量。

本发明第一方面提供一种深度图的预测方法,可包括:

获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为残差值;

若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前块的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,其中,所述当前块的部分像素点中不包括所述当前块中的第一类像素点,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

结合第一方面,在第一方面的第一种可能的实施方式中,

当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

结合第一方面的第一种可能的实施方式,在第一方面的第二种可能的实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值,或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。

结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式,在第一方面的第三种可能的实施方式中,

所述第一阈值的典型取值范围为[1,10];

和/或,所述第二阈值的典型取值范围为[5,10]。

结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式或第一方面的第三种可能的实施方式,在第一方面的第四种可能的实施方式中,所述方法还包括:

从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;

从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

结合第一方面的第四种可能的实施方式,在第一方面的第五种可能的实施方式中,所述SDC偏移量候选子集中的SDC偏移量的个数小于所述SDC偏移量候选集中的SDC偏移量的个数。

本发明第二方面提供一种深度图的预测方法,包括:

获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,其中,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点;

利用校正处理后的所述当前块计算所述当前块的分区直流分量。

结合第二方面,在第二方面的第一种可能的实施方式中,第一类像素点Pi为所述当前块中的任意一个第一类像素点,

其中,对所述第一类像素点Pi的特征值进行校正处理包括:

从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理,所述M为正整数。

结合第二方面的第一种可能的实施方式,在第二方面的第二种可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数;

或者,

所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点;其中,所述k1和k3为正整数。

结合第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式,在第二方面的第三种可能的实施方式中,

所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

结合第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式或第二方面的第三种可能的实施方式,在第二方面的第四种可能的实施方式中,所述根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理包括:将所述第一类像素点Pi的原始像素值校正为所述候选像素点的原始像素值;或者,将所述第一类像素点Pi的预测像素值与所述候选像素点的原始像素值的差值作为所述第一类像素点Pi的预测残差值。

结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式或第二方面的第三种可能的实施方式或第二方面的第四种可能的实施方式,在第二方面的第五种可能的实施方式中,

所述第一阈值的典型取值范围为[1,10];

和/或,所述第二阈值的典型取值范围为[5,10]。

结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式或第二方面的第三种可能的实施方式或第二方面的第四种可能的实施方式或第二方面的第五种可能的实施方式,在第二方面的第六种可能的实施方式中,

当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

本发明第三方面提供一种检测像素点的方法,包括:

获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,将所述当前块中的特征值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

结合第三方面,在第三方面的第一种可能的实施方式中,

当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

结合第三方面的第一种可能的实施方式,在第三方面的第二种可能的实施方式中,

所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值,或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。

结合第三方面或第三方面的第一种可能的实施方式或第三方面的第二种可能的实施方式,在第三方面的第三种可能的实施方式中,

所述第一阈值的典型取值范围为[1,10];

和/或,所述第二阈值的典型取值范围为[5,10]。

本发明第四方面提供一种深度图的预测方法,可包括:

获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;

从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为对所述当前块进行SDC处理所对应的分区直流分量。

结合第四方面,在第四方面的第一种可能的实施方式中,

所述SDC偏移量候选子集中的SDC偏移量的个数小于所述SDC偏移量候选集中的SDC偏移量的个数。

本发明第五方面提供一种深度图的预测装置,可包括:

获取单元,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为残差值;

预测处理单元,用于若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前块的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,其中,所述当前块的部分像素点中不包括所述当前块中的第一类像素点,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

结合第五方面,在第五方面的第一种可能的实施方式中,

当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

结合第五方面的第一种可能的实施方式,在第五方面的第二种可能的实施方式中,

所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值,或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。

结合第五方面或第五方面的第一种可能的实施方式或第五方面的第二种可能的实施方式,在第五方面的第三种可能的实施方式中,

所述第一阈值的典型取值范围为[1,10];

和/或,所述第二阈值的典型取值范围为[5,10]。

结合第五方面或第五方面的第一种可能的实施方式或第五方面的第二种可能的实施方式或第五方面的第三种可能的实施方式,在第五方面的第四种可能的实施方式中,

所述装置还包括:搜索单元,用于从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

结合第五方面的第四种可能的实施方式,在第五方面的第五种可能的实施方式中,

所述SDC偏移量候选子集中的SDC偏移量的个数小于所述SDC偏移量候选集中的SDC偏移量的个数。

本发明第六方面提供一种深度图的预测装置,包括:

获取单元,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

预测处理单元,用于若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,利用校正处理后的所述当前块计算所述当前块的分区直流分量;其中,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

结合第六方面,在第六方面的第一种可能的实施方式中,第一类像素点Pi为所述当前块中的任意一个第一类像素点,其中,在对所述第一类像素点Pi的特征值进行校正处理的方面,所述预测处理单元具体用于,从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理,所述M为正整数。

结合第六方面的第一种可能的实施方式,在第六方面的第二种可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数;

或者,

所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点;其中,所述k1和k3为正整数。

结合第六方面的第一种可能的实施方式或第六方面的第二种可能的实施方式,在第六方面的第三种可能的实施方式中,

所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

结合第六方面的第一种可能的实施方式或第六方面的第二种可能的实施方式或第六方面的第三种可能的实施方式,在第六方面的第四种可能的实施方式中,

在所述根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理的方面,所述预测处理单元具体用于,将所述第一类像素点Pi的原始像素值校正为所述候选像素点的原始像素值;或者,将所述第一类像素点Pi的预测像素值与所述候选像素点的原始像素值的差值作为所述第一类像素点Pi的预测残差值。

结合第六方面或第六方面的第一种可能的实施方式或第六方面的第二种可能的实施方式或第六方面的第三种可能的实施方式或第六方面的第四种可能的实施方式,在第六方面的第五种可能的实施方式中,

所述第一阈值的典型取值范围为[1,10];

和/或,所述第二阈值的典型取值范围为[5,10]。

结合第六方面或第六方面的第一种可能的实施方式或第六方面的第二种可能的实施方式或第六方面的第三种可能的实施方式或第六方面的第四种可能的实施方式或第六方面的第五种可能的实施方式,在第六方面的第六种可能的实施方式中,

当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

本发明第七方面提供一种检测像素点的装置,包括:

获取单元,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

判决单元,用于若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,将所述当前块中的特征值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

结合第七方面,在第七方面的第一种可能的实施方式中,

当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

结合第七方面的第一种可能的实施方式,在第七方面的第二种可能的实施方式中,

所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值,或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。

结合第七方面或第七方面的第一种可能的实施方式或第七方面的第二种可能的实施方式,在第七方面的第三种可能的实施方式中,

所述第一阈值的典型取值范围为[1,10];

和/或,所述第二阈值的典型取值范围为[5,10]。

本发明第八方面提供一种深度图的预测装置,可包括:

获取单元,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

搜索单元,用于从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为对所述当前块进行SDC处理所对应的分区直流分量。

结合第八方面,在第八方面的第一种可能的实施方式中,

所述SDC偏移量候选子集中的SDC偏移量的个数小于所述SDC偏移量候选集中的SDC偏移量的个数。

可以看出,本发明实施例的一些方案中,提供甄别当前块中的第一类像素点的机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),并对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,而后利用校正处理之后的所述当前块计算所述当前块的分区直流分量,就可能有利于提高分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

其中,本发明实施例另一些方案中,提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),根据所述当前块的不包括所述当前块中的第一类像素点的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,由于较为充分的考虑到了第一类像素点对深度图编码和合成视图像质量等的影响,而这就有利于提高SDC处理过程中的分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1-a是本发明实施例提供的一种检测像素点的方法的流程示意图;

图1-b是本发明实施例提供的一种存在突变像素点的场景示意图;

图2是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图3是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图4-a是本发明实施例提供的一种深度图的预测方法的流程示意图;

图4-b~4-d是本发明实施例提供的领域像素点的几种分部示意图;

图5是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图6是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图7是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图8是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图9是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图10是本发明实施例提供的另一种检测像素点的方法的流程示意图;

图11是本发明实施例提供的一种深度图的预测装置的示意图;

图12是本发明实施例提供的一种视频编码装置的示意图;

图13是本发明实施例提供的另一种深度图的预测装置的示意图;

图14是本发明实施例提供的另一种视频编码装置的示意图;

图15是本发明实施例提供的一种检测像素点的装置的示意图;

图16是本发明实施例提供的另一种视频编码装置的示意图;

图17是本发明实施例提供的另一种深度图的预测装置的示意图;

图18是本发明实施例提供的另一种视频编码装置的示意图。

具体实施方式

本发明实施例提供一种深度图的预测方法和检测像素点的方法以及相关装置,以期提高编码效率和合成视的重建图像质量。

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

以下分别进行详细说明。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面先介绍本发明实施例提供的检测像素点的方法,本发明实施例提供的检测像素点的方法的执行主体是视频编码装置或视频解码装置,该视频编码装置或视频解码装置可以是任何需要输出或存储视频的装置,例如笔记本电脑、平板电脑、个人电脑、手机或视频服务器等设备。

本发明检测像素点的方法一个实施例,其中,一种检测像素点的方法可包括:获取当前块的特征值中的最大值和最小值;若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,将所述当前块中的特征值大于第二阈值的像素点判决为所述当前块中的第一类像素点;若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值。

首先参见图1-a,图1-a为本发明的一实施例提供的一种检测像素点方法的流程示意图,如图1-a所示,本发明的一实施例提供的一种检测像素点方法可以包括以下内容:

101、获取当前块的特征值中的最大值和最小值。其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值。或若所述当前块为深度图中的图像块经过预测(如帧内预测或帧间预测)而得到的残差块,所述特征值为预测残差值。

可选的,在本发明的一些可能实施方式中,获取当前块的特征值中的最大值和最小值可包括:获取当前块的部分或全部像素点的特征值中的最大值和最小值。

102、若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,将所述当前块中的特征值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

在本发明的一些可能实施方式中,若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,则可认为所述当前块中存在第一类像素点。当前块中有可能存在一个或多个第一类像素点。

其中,第一类像素点是当前块中出现的特征值突变的孤立像素点,第一类像素点可称之为奇异像素点或者特殊像素点或者突变像素点等,当然亦可能具有其他名称。其中,第一类像素点的特征值往往较大不同于其周边的像素点的特征值。

例如图1-b所示,图1-b举例示出了当前块的16个像素点的像素值,其中像素值为50的像素点与其周围像素点的像素值差异较大,也就是说,像素值为50的像素点是一个像素值突变的像素点,这个像素值为50的像素点就可认为是第一类像素点。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值。或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。例如,所述当前块的特征值的平均值可以根据所述当前块的相邻块的若干个像素点的特征值预测得到。

可以看出,本实施例提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),这就使得后续对其进行区别处理变得可能,进而有利于提高编码效率和合成视的重建图像质量。

举例来说,在分区直流编码中,由于事先将可能会造成分区直流分量估计不准确的第一类像素点找出来,若对块内的分区直流分量进行估计时,对第一类像素点进行剔除或校正等等处理,就可能有利于提高预测精度,进而可能提高编码效率。

参见图2,图2为本发明的另一实施例提供的一种检测像素点方法的流程示意图,如图2所示,本发明的另一实施例提供的一种检测像素点方法可以包括以下内容:

201、获取深度图中的当前图像块的原始像素值中的最大值和最小值。

可选的,在本发明的一些可能实施方式中,获取深度图中的当前图像块的原始像素值中的最大值和最小值可包括:获取深度图中的当前图像块的部分或全部像素点的原始像素值中的最大值和最小值。也就是说,当前图像块的原始像素值中的最大值和最小值可以为,当前图像块的部分或全部像素点的原始像素值中的最大值和最小值。

202、计算深度图中的当前图像块的原始像素值的平均值。

可选的,在本发明的一些可能实施方式中,计算深度图中的当前图像块的原始像素值的平均值,可包括:计算深度图中的当前图像块的部分或全部像素点的原始像素值的平均值。即,当前图像块的原始像素值的平均值可为当前图像块的部分或全部像素点的原始像素值的平均值。

203、若所述当前图像块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,根据当前图像块的原始像素值中的最大值、最小值和平均值确定第二阈值。

在本发明的一些可能实施方式中,若所述当前图像块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,则可认为所述当前图像块中存在第一类像素点。当前图像块中有可能存在一个或多个第一类像素点。

举例来说,当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如,所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前图像块的原始像素值的最大值与所述当前图像块的原始像素值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前图像块的原始像素值的最小值与所述当前图像块的原始像素值的平均值之间差值的绝对值。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

204、将所述当前块中的原始像素值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

其中,第一类像素点是当前块中出现的原始像素值突变的孤立像素点,第一类像素点可称之为奇异像素点,或者特殊像素点,或者突变像素点,当然亦可能具有其他名称。第一类像素点的原始像素值往往较大不同于其周边的像素点的原始像素值。

可选的,在本发明的一些可能实施方式中,所述当前图像块的原始像素值的平均值为所述当前图像块的部分或全部像素点的原始像素值的平均值。或者,所述当前图像块的原始像素值的平均值根据所述当前图像块的相邻块的原始像素值预测得到。例如,所述当前图像块的原始像素值的平均值可以根据所述当前图像块的相邻块的若干个像素点的原始像素值预测得到。

可以看出,本实施例提供找出当前图像块中第一类像素点的可行机制,在获取当前图像块的原始像素值中的最大值和最小值之后,利用第一阈值、第二阈值、当前图像块的原始像素值中的最大值和最小值等参量联合判决出当前图像块中的第一类像素点。由于甄别出当前图像块中出现的原始像素值突变的这类孤立像素点(第一类像素点),使得后续对其进行区别处理变得可能,进而有利于提高编码效率和合成视的重建图像质量。

举例来说,在分区直流编码中,由于事先将可能会造成分区直流分量估计不准确的第一类像素点找出来,若对块内的分区直流分量进行估计时,对第一类像素点进行剔除或校正等等处理,就可能有利于提高预测精度,进而可能提高编码效率。

参见图3,图3为本发明的另一实施例提供的一种检测像素点方法的流程示意图,如图3所示,本发明的另一实施例提供的一种检测像素点方法可以包括以下内容:

301、获取当前残差块的预测残差值中的最大值和最小值。

其中,所述当前残差块为深度图中的图像块经过帧内预测或帧间预测而得到的残差块。

可选的,在本发明的一些可能实施方式中,获取当前残差块的预测残差值中的最大值和最小值,可包括:获取当前残差块的部分或全部像素点的预测残差值中的最大值和最小值。也就是说,当前残差块的预测残差值中的最大值和最小值例如可以为,当前残差块的部分或全部像素点的预测残差值中的最大值和最小值。

302、计算当前残差块的预测残差值的平均值。

可选的,在本发明的一些可能实施方式中,计算当前残差块的预测残差值的平均值,可包括:计算当前残差块的部分或全部像素点的预测残差值的平均值。即,当前残差块的预测残差值的平均值可为当前残差块的部分或全部像素点的预测残差值的平均值。

303、若所述当前残差块的预测残差值的最大值与最小值之间的差值的绝对值大于或等于第一阈值,根据当前残差块的预测残差值的最大值、最小值和平均值确定第二阈值。

在本发明的一些可能实施方式中,若所述当前残差块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,则可认为所述当前残差块中存在第一类像素点。当前残差块中有可能存在一个或多个第一类像素点。

举例来说,当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如,所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前残差块的预测残差值的最大值与所述当前残差块的预测残差值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前残差块的预测残差值的最小值与所述当前残差块的预测残差值的平均值之间差值的绝对值。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或者10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

304、将所述当前残差块中的预测残差值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

其中,第一类像素点是当前块中出现的预测残差值突变的孤立像素点,第一类像素点可称之为奇异像素点,或者特殊像素点,或者突变像素点,当然亦可能具有其他名称。第一类像素点的预测残差值往往较大不同于其周边的像素点的预测残差值。

可选的,在本发明一些可能实施方式中,所述当前残差块的预测残差值的平均值为所述当前残差块的部分或全部像素点的预测残差值的平均值。或者所述当前残差块的预测残差值的平均值根据所述当前残差块的相邻块的预测残差值预测得到。例如,所述当前残差块的预测残差值的平均值可以根据所述当前残差块的相邻块的若干个像素点的预测残差值预测得到。

可以看出,本实施例提供甄别当前残差块中第一类像素点的可行机制,在获取当前残差块的预测残差值中的最大值和最小值之后,利用第一阈值、第二阈值、当前残差块的预测残差值中的最大值和最小值等参量联合判决出当前残差块中的第一类像素点。由于甄别出当前残差块中出现的预测残差值突变的这类孤立像素点(第一类像素点),使得后续对其进行区别处理变得可能,进而有利于提高编码效率和合成视的重建图像质量。

举例来说,在分区直流编码中,由于事先将可能会造成分区直流分量估计不准确的第一类像素点找出来,若对块内的分区直流分量进行估计时,对第一类像素点进行剔除或校正等等处理,就可能有利于提高预测精度,进而可能提高编码效率。

下面介绍本发明实施例提供的深度图的预测方法,本发明实施例提供的深度图的预测方法的执行主体是视频编码装置,该视频编码装置可以是任何需输出或存储视频的装置,例如笔记本电脑、平板电脑、个人电脑、手机或视频服务器等设备。

本发明一种深度图的预测方法的一个实施例,一种深度图的预测方法可以包括:获取当前块的特征值中的最大值和最小值;若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块;利用校正处理后的所述当前块计算所述当前块的分区直流分量,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

参见图4-a,图4-a为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图4-a所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

401、获取当前块的特征值中的最大值和最小值。其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值。

402、若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块。

其中,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点,也就是说,可将所述当前块中的特征值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

403、利用校正处理后的所述当前块计算所述当前块的分区直流分量。

可以看出,本实施例提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),并对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,而后利用校正处理之后的所述当前块计算所述当前块的分区直流分量,就可能有利于提高分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

可选的,在本发明的一些可能实施方式中,获取当前块的特征值中的最大值和最小值可包括:获取当前块的部分或全部像素点的特征值中的最大值和最小值。

在本发明的一些可能实施方式中,若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,则可认为所述当前块中存在第一类像素点。当前块中有可能存在一个或多个第一类像素点。

其中,第一类像素点是当前块中出现的特征值突变的孤立像素点,第一类像素点可称之为奇异像素点或者特殊像素点或者突变像素点等,当然亦可能具有其他名称。其中,第一类像素点的特征值往往较大不同于其周边的像素点的特征值。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值。或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。例如,所述当前块的特征值的平均值可以根据所述当前块的相邻块的若干个像素点的特征值预测得到。

其中,对所述当前块中的第一类像素点的特征值进行校正处理的方式可能是多种多样的,校正处理的主要目的是尽量消除当前块中的第一类像素点的特征值的突变性。

例如第一类像素点Pi为所述当前块中的任意一个第一类像素点。

可选的,在本发明的一些可能的实施方式中,对所述第一类像素点Pi的特征值进行校正处理可以包括:从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理,所述M为正整数。例如所述M等于1、2、3、4、5、8、10或其他值。

其中,第一类像素点Pi的邻域像素点是指处于第一类像素点Pi的邻域中的像素点。而第一类像素点Pi的邻域是指当前块中与第一类像素点Pi间隔的像素位置数量小于设定值的各像素点所组成的像素区域。

可选的,在本发明的一些可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点;所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点;所述k1和k3为正整数。

可选的,在本发明的一些可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点可包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数。

其中,所述k1、k2、k3和k4可以相同或部分相同或互不相同。

其中,k1可等于1、2、3、4、6、8或其他值。

其中,k2可等于1、2、3、4、6、9、5或其他值。

其中,k3可等于1、2、3、4、6、8、7或其他值。

其中,k4可等于1、2、3、4、6、8、10或其他值。

参见图4-b,图4-b举例示出了当k1、k2、k3和k4都等于3时的一种场景。

参见图4-c和图4-d,图4-c和图4-d举例示出了像素点Pi1、i2、i3和i4的其他可能的分布情况。

可选的,在本发明的一些可能的实施方式中,所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或者等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

举例来说,假设第一类像素点Pi的预测像素值与像素点Pi1的原始像素值之间的差值的绝对值L;第一类像素点Pi的预测像素值与像素点Pi2的原始像素值之间的差值的绝对值R;第一类像素点Pi的预测像素值与像素点Pi3的原始像素值之间的差值的绝对值U;第一类像素点Pi的预测像素值与像素点Pi4的原始像素值之间的差值的绝对值D。

其中,假设所述M个邻域像素点包括像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4。

若所述L等于min(L,R,U,D),则可将像素点Pi1确定候选像素点。

若所述R等于min(L,R,U,D),则可将像素点Pi2确定候选像素点。

若所述U等于min(L,R,U,D),则可将像素点Pi3确定候选像素点。

若所述D等于min(L,R,U,D),则可将像素点Pi4确定候选像素点。

可选的,在本发明一些可能的实施方式中,根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理包括:将所述第一类像素点Pi的原始像素值校正为所述候选像素点的原始像素值;或者所述第一类像素点Pi的预测像素值与所述候选像素点的原始像素值的差值作为所述第一类像素点Pi的预测残差值。

参见图5,图5为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图5所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

501、获取当前图像块的原始像素值中的最大值和最小值。

其中,所述当前图像块为深度图中的图像块。

502、若所述当前图像块的原始像素值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前图像块中的第一类像素点的原始像素值进行校正处理以得到校正处理后的当前图像块。

其中,所述当前图像块中的第一类像素点为所述当前图像块中的原始像素值大于或等于第二阈值的像素点。即,可将所述当前图像块中的原始像素值大于或等于第二阈值的像素点判决为所述当前图像块中的第一类像素点。

503、利用校正处理后的所述当前图像块计算所述当前图像块的分区直流分量。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的原始像素值的最大值与所述当前块的原始像素值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的原始像素值的最小值与所述当前块的原始像素值的平均值之间差值的绝对值。

可选的,在本发明的一些可能实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值。或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。例如,所述当前块的特征值的平均值可以根据所述当前块的相邻块的若干个像素点的特征值预测得到。

其中,对所述当前图像块中的第一类像素点的原始像素值进行校正处理的方式可能是多种多样的,校正处理的主要目的是尽量消除当前图像块中的第一类像素点的原始像素值的突变性。

例如第一类像素点Pi为所述当前图像块中的任意一个第一类像素点。

可选的,在本发明的一些可能的实施方式中,对所述第一类像素点Pi的原始像素值进行校正处理可以包括:从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的原始像素值进行校正处理,所述M为正整数。

例如所述M等于1、2、3、4、5、8、10或其他值。

其中,第一类像素点Pi的邻域像素点是指处于第一类像素点Pi的邻域中的像素点。而第一类像素点Pi的邻域是指当前图像块中与第一类像素点Pi间隔的像素位置数量小于设定值的各像素点所组成的像素区域。

可选的,在本发明的一些可能的实施方式中,所述当前图像块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点。所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点。所述k1和k3为正整数。

可选的,在本发明的一些可能的实施方式中,所述当前图像块中的第一类像素点Pi的M个邻域像素点可包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数。

其中,所述k1、k2、k3和k4可以相同或部分相同或互不相同。

其中,k1可等于1、2、3、4、6、8或其他值。

其中,k2可等于1、2、3、4、6、9、5或其他值。

其中,k3可等于1、2、3、4、6、8、7或其他值。

其中,k4可等于1、2、3、4、6、8、10或其他值。

可选的,在本发明的一些可能的实施方式中,所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或者等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

举例来说,假设第一类像素点Pi的预测像素值与像素点Pi1的原始像素值之间的差值的绝对值L;第一类像素点Pi的预测像素值与像素点Pi2的原始像素值之间的差值的绝对值R;第一类像素点Pi的预测像素值与像素点Pi3的原始像素值之间的差值的绝对值U;第一类像素点Pi的预测像素值与像素点Pi4的原始像素值之间的差值的绝对值D。

其中,假设所述M个邻域像素点包括像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4。

若所述L等于min(L,R,U,D),则可将像素点Pi1确定候选像素点。

若所述R等于min(L,R,U,D),则可将像素点Pi2确定候选像素点。

若所述U等于min(L,R,U,D),则可将像素点Pi3确定候选像素点。

若所述D等于min(L,R,U,D),则可将像素点Pi4确定候选像素点。

可选的,在本发明一些可能的实施方式中,根据所述候选像素点的原始像素值对所述第一类像素点Pi的原始像素值进行校正处理包括:将所述第一类像素点Pi的原始像素值校正为所述候选像素点的原始像素值。

可以看出,本实施例提供了一种甄别当前图像块中的第一类像素点的可行机制,在获取到当前图像块的原始像素值中的最大值和最小值之后,利用第一阈值、第二阈值、当前图像块的原始像素值中的最大值和最小值等参量联合判决出当前图像块中的第一类像素点。由于甄别出当前图像块中出现的原始像素值突变的这类孤立像素点(第一类像素点),并对所述当前图像块中的第一类像素点的原始像素值进行校正处理以得到校正处理后的当前图像块,而后利用校正处理之后的所述当前图像块计算所述当前图像块的分区直流分量,这就有利于提高就可能有利于提高分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

参见图6,图6为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图6所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

601、获取当前残差块的预测残差值中的最大值和最小值。

其中,所述当前残差块为深度图中的图像块经过帧内预测或帧间预测而得到的残差块。

602、若所述当前残差块的预测残差值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前残差块中的第一类像素点的预测残差值进行校正处理以得到校正处理后的当前残差块。

其中,所述当前残差块中的第一类像素点为所述当前残差块中的预测残差值大于或等于第二阈值的像素点。

603、利用校正处理后的所述当前残差块计算所述当前残差块的分区直流分量。

其中,对所述当前残差块中的第一类像素点的预测残差值进行校正处理的方式可能是多种多样的,校正处理的主要目的是尽量消除当前残差块中的第一类像素点的预测残差值的突变性。

例如第一类像素点Pi为所述当前残差块中的任意一个第一类像素点。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的预测残差值的最大值与所述当前块的预测残差值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的预测残差值的最小值与所述当前块的预测残差值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,对所述第一类像素点Pi的预测残差值进行校正处理可以包括:从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的预测残差值进行校正处理,所述M为正整数。

例如所述M等于1、2、3、4、5、8、10或其他值。

其中,第一类像素点Pi的邻域像素点是指处于第一类像素点Pi的邻域中的像素点。而第一类像素点Pi的邻域是指当前残差块中与第一类像素点Pi间隔的像素位置数量小于设定值的各像素点所组成的像素区域。

可选的,在本发明的一些可能的实施方式中,所述当前残差块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点。所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点。所述k1和k3为正整数。

可选的,在本发明的一些可能的实施方式中,所述当前残差块中的第一类像素点Pi的M个邻域像素点可包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数。

其中,所述k1、k2、k3和k4可以相同或部分相同或互不相同。

其中,k1可等于1、2、3、4、6、8或其他值。

其中,k2可等于1、2、3、4、6、9、5或其他值。

其中,k3可等于1、2、3、4、6、8、7或其他值。

其中,k4可等于1、2、3、4、6、8、10或其他值。

可选的,在本发明的一些可能的实施方式中,所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或者等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

举例来说,假设第一类像素点Pi的预测像素值与像素点Pi1的原始像素值之间的差值的绝对值L;第一类像素点Pi的预测像素值与像素点Pi2的原始像素值之间的差值的绝对值R;第一类像素点Pi的预测像素值与像素点Pi3的原始像素值之间的差值的绝对值U;第一类像素点Pi的预测像素值与像素点Pi4的原始像素值之间的差值的绝对值D。

其中,假设所述M个邻域像素点包括像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4。

若所述L等于min(L,R,U,D),则可将像素点Pi1确定候选像素点。

若所述R等于min(L,R,U,D),则可将像素点Pi2确定候选像素点。

若所述U等于min(L,R,U,D),则可将像素点Pi3确定候选像素点。

若所述D等于min(L,R,U,D),则可将像素点Pi4确定候选像素点。

可选的,在本发明一些可能的实施方式中,根据所述候选像素点的原始像素值对所述第一类像素点Pi的预测残差值进行校正处理包括:所述第一类像素点Pi的预测像素值与所述候选像素点的原始像素值的差值作为所述第一类像素点Pi的预测残差值。

可以看出,本实施例提供了一种甄别当前残差块中的第一类像素点的可行机制,在获取到当前残差块的预测残差值中的最大值和最小值之后,利用第一阈值、第二阈值、当前残差块的预测残差值中的最大值和最小值等参量联合判决出当前残差块中的第一类像素点。由于甄别出当前残差块中出现的预测残差值突变的这类孤立像素点(第一类像素点),并对所述当前残差块中的第一类像素点的预测残差值进行校正处理以得到校正处理后的当前残差块,而后利用校正处理之后的所述当前残差块计算所述当前残差块的分区直流分量,这就有利于提高就可能有利于提高分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

本发明一种深度图的预测方法的另一个实施例,一种深度图的预测方法可以包括:获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为残差值;若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前块的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,所述当前块的部分像素点中不包括所述当前块中的第一类像素点,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

参见图7,图7为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图7所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

701、获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为残差值。

702、若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前块的部分像素点的特征值对所述当前块进行分区直流编码SDC处理。其中,所述当前块的部分像素点中不包括所述当前块中的第一类像素点。

其中,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。即,可将所述当前块中的特征值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,方法还可包括:从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以看出,本实施例提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),根据所述当前块的不包括所述当前块中的第一类像素点的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,由于较为充分的考虑到了第一类像素点对深度图编码和合成视图像质量等的影响,而这就有利于提高SDC处理过程中的分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

进一步的,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

参见图8,图8为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图8所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

801、获取当前图像块的原始像素值中的最大值和最小值。

其中,所述当前图像块为深度图中的图像块。

802、若所述当前图像块的原始像素值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前图像块的部分像素点的原始像素值对所述当前图像块进行SDC处理,其中,所述当前图像块的部分像素点中不包括所述当前图像块中的第一类像素点。

其中,所述当前图像块中的第一类像素点为所述当前图像块中的原始像素值大于或等于第二阈值的像素点,即,可将所述当前图像块中的原始像素值大于或等于第二阈值的像素点判决为所述当前图像块中的第一类像素点。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的原始像素值的最大值与所述当前块的原始像素值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的原始像素值的最小值与所述当前块的原始像素值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,方法还可包括:从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以看出,本实施例中提供了一种甄别当前图像块中的第一类像素点的可行机制,在获取当前图像块的原始像素值中的最大值和最小值之后,利用第一阈值、第二阈值、当前图像块的原始像素值中的最大值和最小值等参量联合判决出当前图像块中的第一类像素点。由于甄别出当前图像块中出现的原始像素值突变的这类孤立像素点(第一类像素点),根据所述当前图像块的不包括所述当前图像块中的第一类像素点的部分像素点的原始像素值对所述当前图像块进行分区直流编码SDC处理,由于较为充分的考虑到了第一类像素点对深度图编码和合成视图像质量等的影响,这就有利于提高SDC处理过程中的分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

进一步的,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

参见图9,图9为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图9所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

901、获取当前残差块的预测残差值中的最大值和最小值。

其中,所述当前残差块为深度图中的图像块经过帧内预测或帧间预测而得到的残差块

902、若所述当前残差块的预测残差值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前残差块的部分像素点的预测残差值对所述当前残差块进行SDC处理。其中,所述当前残差块的部分像素点中不包括所述当前残差块中的第一类像素点。

其中,所述当前残差块中的第一类像素点为所述当前残差块中的预测残差值大于或等于第二阈值的像素点。即,可将所述当前残差块中的预测残差值大于或等于第二阈值的像素点判决为所述当前残差块中的第一类像素点。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的预测残差值的最大值与所述当前块的预测残差值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的预测残差值的最小值与所述当前块的预测残差值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,方法还可包括:从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以看出,本实施例中提供了一种甄别当前残差块中的第一类像素点的可行机制,在获取当前残差块的预测残差值中的最大值和最小值之后,利用第一阈值、第二阈值、当前残差块的预测残差值中的最大值和最小值等参量联合判决出当前残差块中的第一类像素点。由于甄别出当前残差块中出现的预测残差值突变的这类孤立像素点(第一类像素点),根据所述当前残差块的不包括所述当前残差块中的第一类像素点的部分像素点的预测残差值对所述当前残差块进行分区直流编码SDC处理,由于较为充分的考虑到了第一类像素点对深度图编码和合成视图像质量等的影响,这就有利于提高SDC处理过程中的分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

本发明一种深度图的预测方法的另一个实施例,一种深度图的预测方法可以包括:获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为对所述当前块进行SDC处理所对应的分区直流分量。

参见图10,图10为本发明的另一实施例提供的一种深度图的预测方法的流程示意图,如图10所示,本发明的另一实施例提供的一种深度图的预测方法可以包括以下内容:

1001、获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值。

1002、从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集。

1003、从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为对所述当前块进行SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以看出,本实施例获取当前块的特征值中的最大值和最小值后,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

下面还提供用于实施上述方案的相关装置。

参见图11,一种深度图的预测装置1100,可包括:

获取单元1110,用于获取当前块的特征值中的最大值和最小值。其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为残差值;

预测处理单元1120,用于若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前块的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,其中,所述当前块的部分像素点中不包括所述当前块中的第一类像素点,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

可选的,在本发明的一些可能的实施方式中,当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,

所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值,或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。

可选的,在本发明的一些可能的实施方式中,所述第一阈值的典型取值范围为[1,10];

可选的,在本发明的一些可能的实施方式中,所述第二阈值的典型取值范围为[5,10]。

可选的,在本发明的一些可能的实施方式中,所述装置1100还包括:搜索单元1130,用于从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以理解的是,本实施例的装置1100的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。装置1100可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例提供的装置1100可甄别当前块中的第一类像素点,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),根据所述当前块的不包括所述当前块中的第一类像素点的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,由于较为充分的考虑到了第一类像素点对深度图编码和合成视图像质量等的影响,而这就有利于提高SDC处理过程中的分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

进一步的,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

参见图12,图12是本发明的另一个实施例提供的视频编码装置1200的结构框图。其中,视频编码装置1200可包括:至少1个处理器1201、存储器1205和至少1个通信总线1202。可选的,视频编码装置1200还可包括:至少1个网络接口1204和/或用户接口1203。其中,用户接口1203例如包括显示器(例如触摸屏、LCD、全息成像(Holographic)、CRT或者投影(Projector)等)、点击设备(例如鼠标或轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。

其中,存储器1205可以包括只读存储器和随机存取存储器,并向处理器1201提供指令和数据。存储器1205中的一部分还可以包括非易失性随机存取存储器。

在一些实施方式中,存储器1205存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:

操作系统12051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。

应用程序模块12052,包含各种应用程序,用于实现各种应用业务。

在本发明的实施例中,通过调用存储器1205存储的程序或指令,处理器1201获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为残差值;若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,根据所述当前块的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,所述当前块的部分像素点中不包括所述当前块中的第一类像素点,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,处理器1201还可用于从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为所述SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以理解的是,本实施例的视频编码装置1200的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

其中,视频编码装置1200可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例提供的视频编码装置1200可以甄别当前块中的第一类像素点,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),根据所述当前块的不包括所述当前块中的第一类像素点的部分像素点的特征值对所述当前块进行分区直流编码SDC处理,由于较为充分的考虑到了第一类像素点对深度图编码和合成视图像质量等的影响,而这就有利于提高SDC处理过程中的分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

进一步的,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

参见图13、本发明实施例还提供一种深度图的预测装置1300,包括:

获取单元1310,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

预测处理单元1320,用于若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,利用校正处理后的所述当前块计算所述当前块的分区直流分量;其中,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

可选的,在本发明的一些可能的实施方式中,第一类像素点Pi为所述当前块中的任意一个第一类像素点,其中,在对所述第一类像素点Pi的特征值进行校正处理的方面,所述预测处理单元具体用于,从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理,所述M为正整数。

可选的,在本发明的一些可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数;

可选的,在本发明的一些可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点;其中,所述k1和k3为正整数。

可选的,在本发明的一些可能的实施方式中,

所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

可选的,在本发明的一些可能的实施方式中,在所述根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理的方面,所述预测处理单元具体用于,将所述第一类像素点Pi的原始像素值校正为所述候选像素点的原始像素值;或者,将所述第一类像素点Pi的预测像素值与所述候选像素点的原始像素值的差值作为所述第一类像素点Pi的预测残差值。

可选的,在本发明的一些可能的实施方式中,所述第一阈值的典型取值范围为[1,10]。

可选的,在本发明的一些可能的实施方式中,所述第二阈值的典型取值范围为[5,10]。

可选的,在本发明的一些可能的实施方式中,当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可以理解的是,本实施例的装置1300的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。装置1300可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例提供的装置1300提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),并对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,而后利用校正处理之后的所述当前块计算所述当前块的分区直流分量,就可能有利于提高分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

参见图14,图14是本发明的另一个实施例提供的视频编码装置1400的结构框图。其中,视频编码装置1400可包括:至少1个处理器1401、存储器1405和至少1个通信总线1402。可选的,视频编码装置1400还可包括:至少1个网络接口1404和/或用户接口1403。其中,用户接口1403例如包括显示器(例如触摸屏、LCD、全息成像(Holographic)、CRT或者投影(Projector)等)、点击设备(例如鼠标或轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。

其中,存储器1405可以包括只读存储器和随机存取存储器,并向处理器1401提供指令和数据。存储器1405中的一部分还可以包括非易失性随机存取存储器。

在一些实施方式中,存储器1405存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:

操作系统14051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。

应用程序模块14052,包含各种应用程序,用于实现各种应用业务。

在本发明的实施例中,通过调用存储器1405存储的程序或指令,处理器1401获取当前块的特征值中的最大值和最小值;若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块;利用校正处理后的所述当前块计算所述当前块的分区直流分量,所述当前块中的第一类像素点为所述当前块中的特征值大于或等于第二阈值的像素点。

可选的,在本发明的一些可能实施方式中,处理器1401获取当前块的特征值中的最大值和最小值可包括:获取当前块的部分或全部像素点的特征值中的最大值和最小值。

在本发明的一些可能实施方式中,若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,则可认为所述当前块中存在第一类像素点。当前块中有可能存在一个或多个第一类像素点。

其中,第一类像素点是当前块中出现的特征值突变的孤立像素点,第一类像素点可称之为奇异像素点或者特殊像素点或者突变像素点等,当然亦可能具有其他名称。其中,第一类像素点的特征值往往较大不同于其周边的像素点的特征值。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值。或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。例如,所述当前块的特征值的平均值可以根据所述当前块的相邻块的若干个像素点的特征值预测得到。

其中,对所述当前块中的第一类像素点的特征值进行校正处理的方式可能是多种多样的,校正处理的主要目的是尽量消除当前块中的第一类像素点的特征值的突变性。

例如第一类像素点Pi为所述当前块中的任意一个第一类像素点。

可选的,在本发明的一些可能的实施方式中,处理器1401对所述第一类像素点Pi的特征值进行校正处理可以包括:从所述第一类像素点Pi的M个邻域像素点中确定候选像素点;根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理,所述M为正整数。例如所述M等于1、2、3、4、5、8、10或其他值。

其中,第一类像素点Pi的邻域像素点是指处于第一类像素点Pi的邻域中的像素点。而第一类像素点Pi的邻域是指当前块中与第一类像素点Pi间隔的像素位置数量小于设定值的各像素点所组成的像素区域。

可选的,在本发明的一些可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点包括:像素点Pi1和像素点Pi3中的至少一个像素点;所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点;所述k1和k3为正整数。

可选的,在本发明的一些可能的实施方式中,所述当前块中的第一类像素点Pi的M个邻域像素点可包括:像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4中的至少一个像素点;其中,所述像素点Pi1为所述第一类像素点Pi向左偏移k1个像素位置而确定的像素点,所述像素点Pi2为所述第一类像素点Pi向右偏移k2个像素位置而确定的像素点,所述像素点Pi3为所述第一类像素点Pi向上偏移k3个像素位置而确定的像素点,所述像素点Pi4为所述第一类像素点Pi向下偏移k4个像素位置而确定的像素点;其中,所述k1、k2、k3和k4为正整数。

其中,所述k1、k2、k3和k4可以相同或部分相同或互不相同。

其中,k1可等于1、2、3、4、6、8或其他值。

其中,k2可等于1、2、3、4、6、9、5或其他值。

其中,k3可等于1、2、3、4、6、8、7或其他值。

其中,k4可等于1、2、3、4、6、8、10或其他值。

参见图4-b,图4-b举例示出了当k1、k2、k3和k4都等于3时的一种场景。

参见图4-c和图4-d,图4-c和图4-d举例示出了像素点Pi1、i2、i3和i4的其他可能的分布情况。

可选的,在本发明的一些可能的实施方式中,所述候选像素点的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,小于或者等于邻域像素点x的原始像素值与所述第一类像素点Pi的预测像素值之间的差值的绝对值,其中,所述邻域像素点x为所述M个邻域像素点中除所述候选像素点之外的任意一个邻域像素点。

举例来说,假设第一类像素点Pi的预测像素值与像素点Pi1的原始像素值之间的差值的绝对值L;第一类像素点Pi的预测像素值与像素点Pi2的原始像素值之间的差值的绝对值R;第一类像素点Pi的预测像素值与像素点Pi3的原始像素值之间的差值的绝对值U;第一类像素点Pi的预测像素值与像素点Pi4的原始像素值之间的差值的绝对值D。

其中,假设所述M个邻域像素点包括像素点Pi1、像素点Pi2、像素点Pi3和像素点Pi4。

若所述L等于min(L,R,U,D),则可将像素点Pi1确定候选像素点。

若所述R等于min(L,R,U,D),则可将像素点Pi2确定候选像素点。

若所述U等于min(L,R,U,D),则可将像素点Pi3确定候选像素点。

若所述D等于min(L,R,U,D),则可将像素点Pi4确定候选像素点。

可选的,在本发明一些可能的实施方式中,处理器1401根据所述候选像素点的原始像素值对所述第一类像素点Pi的特征值进行校正处理包括:将所述第一类像素点Pi的原始像素值校正为所述候选像素点的原始像素值;或者所述第一类像素点Pi的预测像素值与所述候选像素点的原始像素值的差值作为所述第一类像素点Pi的预测残差值。

可以理解的是,本实施例的视频编码装置1400的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

其中,视频编码装置1400可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例提供的视频编码装置1400提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),并对所述当前块中的第一类像素点的特征值进行校正处理以得到校正处理后的当前块,而后利用校正处理之后的所述当前块计算所述当前块的分区直流分量,就可能有利于提高分区直流分量的预测精度,进而有利于提高编码效率和合成视的重建图像质量。

参见图15,本发明实施例提供一种检测像素点的装置1500,包括:

获取单元1510,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

判决单元1520,用于若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,将所述当前块中的特征值大于或等于第二阈值的像素点判决为所述当前块中的第一类像素点。

可选的,在本发明的一些可能的实施方式中,当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到,当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到;

其中,所述第一绝对值等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值;所述第二绝对值等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能的实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值,或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。

可选的,在本发明的一些可能的实施方式中,所述第一阈值的典型取值范围为[1,10]。

可选的,在本发明的一些可能的实施方式中,所述第二阈值的典型取值范围为[5,10]。

可以理解的是,本实施例的装置1500的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

其中,装置1500可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例装置1500提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),这就使得后续对其进行区别处理变得可能,进而有利于提高编码效率和合成视的重建图像质量。

参见图16,图16是本发明的另一个实施例提供的视频编码装置1600的结构框图。其中,视频编码装置1600可包括:至少1个处理器1601、存储器1605和至少1个通信总线1602。可选的,视频编码装置1600还可包括:至少1个网络接口1604和/或用户接口1603。其中,用户接口1603例如包括显示器(例如触摸屏、LCD、全息成像(Holographic)、CRT或者投影(Projector)等)、点击设备(例如鼠标或轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。

其中,存储器1605可以包括只读存储器和随机存取存储器,并向处理器1601提供指令和数据。存储器1605中的一部分还可以包括非易失性随机存取存储器。

在一些实施方式中,存储器1605存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:

操作系统16051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。

应用程序模块16052,包含各种应用程序,用于实现各种应用业务。

在本发明的实施例中,通过调用存储器1605存储的程序或指令,处理器1601获取当前块的特征值中的最大值和最小值;若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或者等于第一阈值,将所述当前块中的特征值大于第二阈值的像素点判决为所述当前块中的第一类像素点;若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值。

可选的,在本发明的一些可能实施方式中,处理器1601获取当前块的特征值中的最大值和最小值可包括:获取当前块的部分或全部像素点的特征值中的最大值和最小值。

在本发明的一些可能实施方式中,若所述当前块的特征值中的最大值与最小值之间的差值的绝对值大于或等于第一阈值,则可认为所述当前块中存在第一类像素点。当前块中有可能存在一个或多个第一类像素点。

其中,第一类像素点是当前块中出现的特征值突变的孤立像素点,第一类像素点可称之为奇异像素点或者特殊像素点或者突变像素点等,当然亦可能具有其他名称。其中,第一类像素点的特征值往往较大不同于其周边的像素点的特征值。

其中,当前块中的除第一类像素点之外的像素点可称第二类像素点。

其中,第一阈值和第二阈值的具体取值可根据实际需要来确定。

可选的,第一阈值的大于0且小于255的整数或实数。

可选的,第二阈值的大于0且小于255的整数或实数。

可选的,在本发明的一些可能实施方式中,第一阈值的典型取值范围例如可为[1,10]或[1,20],例如第一阈值可等于1、2、3、5、6、8、9或10,当然第一阈值可以具有其他典型取值范围,第一阈值可等于其他可能取值。当然亦可通过其他方式来确定第一阈值的具体取值。

可选的,在本发明的一些可能实施方式中,第二阈值的典型取值范围例如可为[5,10]或[4,20],例如第一阈值可等于5、6、7、8、9或10,当然第二阈值可以具有其他典型取值范围,第二阈值可等于其他可能取值。当然亦可通过其他方式来确定第二阈值的具体取值,例如当第一绝对值小于或者等于第二绝对值时,所述第二阈值基于所述第二绝对值得到(例如所述第二阈值可以等于所述第二绝对值,或者所述第二阈值可以略大于或略小于所述第二绝对值),当所述第一绝对值大于所述第二绝对值时,所述第二阈值基于所述第一绝对值得到(例如所述第二阈值可以等于所述第一绝对值,或者所述第二阈值可以略大于或略小于所述第一绝对值);其中,所述第一绝对值可等于所述当前块的特征值的最大值与所述当前块的特征值的平均值之间差值的绝对值。所述第二绝对值可等于所述当前块的特征值的最小值与所述当前块的特征值的平均值之间差值的绝对值。

可选的,在本发明的一些可能实施方式中,所述当前块的特征值的平均值为所述当前块的部分或全部像素点的特征值的平均值。或者,所述当前块的特征值的平均值根据所述当前块的相邻块的特征值预测得到。例如,所述当前块的特征值的平均值可以根据所述当前块的相邻块的若干个像素点的特征值预测得到。

可以理解的是,本实施例的视频编码装置1600的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

其中,视频编码装置1600可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例视频编码装置1600提供甄别当前块中的第一类像素点的可行机制,获取当前块的特征值中的最大值和最小值后,利用第一阈值、第二阈值、当前块的特征值中的最大值和最小值等参量联合判决出当前块中的第一类像素点。由于甄别出当前块中出现的特征值突变的这类孤立像素点(第一类像素点),这就使得后续对其进行区别处理变得可能,进而有利于提高编码效率和合成视的重建图像质量。

参见图17,本发明实施例一种深度图的预测装置1700,可包括:

获取单元1710,用于获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;

搜索单元1720,用于从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为对所述当前块进行SDC处理所对应的分区直流分量。

可选的,在本发明的一些可能的实施方式中,所述SDC偏移量候选子集中的SDC偏移量的个数小于所述SDC偏移量候选集中的SDC偏移量的个数。

可以理解的是,本实施例的装置1700的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

其中,装置1700可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例装置1700获取当前块的特征值中的最大值和最小值后,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

参见图18,图18是本发明的另一个实施例提供的视频编码装置1800的结构框图。其中,视频编码装置1800可包括:至少1个处理器1801、存储器1805和至少1个通信总线1802。可选的,视频编码装置1800还可包括:至少1个网络接口1804和/或用户接口1803。其中,用户接口1803例如包括显示器(例如触摸屏、LCD、全息成像(Holographic)、CRT或者投影(Projector)等)、点击设备(例如鼠标或轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。

其中,存储器1805可以包括只读存储器和随机存取存储器,并向处理器1801提供指令和数据。存储器1805中的一部分还可以包括非易失性随机存取存储器。

在一些实施方式中,存储器1805存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:

操作系统18051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。

应用程序模块18052,包含各种应用程序,用于实现各种应用业务。

在本发明的实施例中,通过调用存储器1805存储的程序或指令,处理器1801获取当前块的特征值中的最大值和最小值;其中,若所述当前块为深度图中的图像块,所述特征值为原始像素值;或若所述当前块为深度图中的图像块经过预测而得到的残差块,所述特征值为预测残差值;从SDC偏移量候选集中确定SDC偏移量候选子集,所述SDC偏移量候选子集中的任意一个SDC偏移量属于所述SDC偏移量候选集;从SDC偏移量候选子集中搜索最优SDC偏移量,所述SDC偏移量候选子集中的任意一个SDC偏移量与分区直流分量的和值小于或等于所述最大值且大于或等于所述最小值,其中,所述分区直流分量为对所述当前块进行SDC处理所对应的分区直流分量。

其中,所述SDC偏移量候选子集中的SDC偏移量的个数小于或等于所述SDC偏移量候选集中的SDC偏移量的个数。

可以理解的是,本实施例的视频编码装置1800的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

其中,视频编码装置1800可为任何需要输出、播放视频的装置,如笔记本电脑,平板电脑、个人电脑、手机或视频服务器等设备。

可以看出,本实施例视频编码装置1800获取当前块的特征值中的最大值和最小值后,利用该最大值和最小值从SDC偏移量候选集中确定SDC偏移量候选子集,进而将最优SDC偏移量的搜索范围从SDC偏移量候选集缩小为SDC偏移量候选子集,由于对缩小了最优SDC偏移量的搜索范围,有利于提前终止搜索操作,这样有利于减少在深度图分区直流编码SDC处理中的无效偏移搜索循环,进而有利于降低复杂度。

下面介绍下分区直流编码。

分区直流编码(SDC)是一种残差编码方法,块的残差数据可以不经过变换和量化过程。在帧内编码时,SDC可以使用到所有深度图的帧内预测模式,包括HEVC的帧内预测模式和深度图模型模式(英文:depthmodelling modes,缩写:DMM)。

对于HEVC的帧内预测模式,整个块可以看作是一个分区,对于DMM模式,一般有2个分区,每个分区用使用一个常数表示,即该分区的直流分量,这个分区常数(英文:constant partition value,缩写:CPV)用来表示相应分区内的样本值。

在帧间编码时,SDC处理可以用于编码预测块的残差,每个预测块编码成一个直流残差值,代表该预测块,块的残差数据可以不经过变换和量化过程。

SDC处理过程基于原始深度值的均值和预测深度值计算,对于对于HEVC帧内预测模式,SDC处理过程使用的预测深度值,根据预测块的左上,右上,左下,右下的样本点计算得到。对于DMM模式,SDC处理过程使用的预测深度值,根据分区的直流分量得到。

SDC处理中寻找分区直流分量,需要设置若干个偏移量进行循环计算,将全部可能的分区直流分量遍历,当当前块存在多个分区时,每个分区有一个直流分量,相应的当前块使用不同可能的分区直流分量组合所表示的当前块都进行率失真计算,其中合成视率失真代价最小的为最优分区直流分量,在使用不同SDC偏移量循环中,对应最优的分区直流分量的SDC偏移量即为最优SDC偏移量。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上上述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号