用于处理组合的图像数据和深度数据的图像处理系统

摘要

提供了图像数据和深度数据的组合，其分别定义了图像中的图像位置的亮度和/或颜色以及到所述图像位置处可见的目标的距离。图像数据和深度数据由压缩器(120)压缩并且由解压缩器(16)解压缩。在所述压缩之前对深度数据进行膨胀，以便将具有相对较小的距离的图像位置的区域与具有相对较大的距离的图像位置的区域之间的边缘移向所述具有相对较大的距离的图像位置的区域。

说明书

技术领域

本发明涉及用于处理图像数据(包括编码和解码)的方法和系统以 及用于编码的方法和设备。

编码用于三维观察的视频信息的一种方法包括将深度数据图像添 加到常规编码的视频数据，使得视频数据定义了作为图像中图像位置的 函数的强度和/或颜色并且深度数据图像定义了到图像位置处可见的目 标的距离。

C.Varekamp的题为“Compression artefacts in 3D television signals”并 且发表在The proceedings of the second annual IEEE BENELUX/DSP Valley Signal Processing Symposium(SPS-DARTS 2006)，2006年3月 28-29，Metropolis，Antwerp，Belgium的出版物中描述了使用这样的技 术时出现的问题。

这篇论文描述了当使用像用于依照MPEG标准压缩视频信息那样的 量化的DCT系数编码深度数据时出现的问题。这篇论文指出，在解码量 化的DCT系数之后，可能由解压缩的深度数据限定目标深度边界(深度 步长)的人为不规则局部移位。结果，目标深度边界不再与图像中的强 度边缘重合。当深度数据用来改变图像所描绘的场景的视点(viewpoint) 时，这导致目标的可见锯齿状边缘。除了建议编码较低分辨率(降尺度) 深度图并且在解码之后对这种深度图(或者更一般地说为深度数据)进 行插值，这篇论文没有描述这个问题的解决方案。其次，建议了执行边 缘保持后滤波以便减少伪像(artefact)。

发明内容

首先，本发明的目的是提供用于编码和解码包括深度信息的图像数 据的方法和系统，其受压缩误差的损害较小。

依照一个方面，提供了依照权利要求1的方法。这里，在压缩之前 执行深度数据的膨胀，从而将其中深度数据指示不同距离处的区域之间 的深度边缘的图像位置移动到具有最大距离的区域中。因此，深度边缘 变成位于这样的图像位置，在这些图像位置处，深度边缘两侧上的图像 数据相应于最大距离处的目标。已经发现，这以最小的图像校正防止了 伪像的出现。在一个实施例中，这应用于根据解压缩的图像数据和解压 缩的膨胀的深度数据计算合成视点的图像。膨胀防止了在这种情况下当 对应不同位置的强度数据彼此移动时出现伪像。

在另一个实施例中，对图像适应性地设置膨胀的量。检测其中压缩 和解压缩的组合造成距离的误差的位置。根据图像中作为位置的函数的 梯度和检测的位置的重合的度量，调节膨胀的量。这样，可以设置膨胀 的量以便最小化伪像。这也可以用来在解压缩之后控制膨胀。

附图说明

根据使用下列附图的示例性实施例的描述，这些和其他的目的和有 利方面将变得清楚明白。

图1示出了图像处理系统；

图2示出了压缩装置；

图3示出了压缩流程图；

图4示出了解压缩装置。

具体实施方式

图1示出了图像处理系统，其包括照相机10、压缩装置12、信道 14、解压缩装置16以及深度相关处理单元18。

照相机10设有图像传感器100和深度确定单元102。照相机10具 有用于向压缩装置12提供图像数据和深度数据的输出端104。图像数据 定义了作为图像中位置的函数的图像强度以及优选地还有颜色。深度数 据定义了从照相机到目标的距离，图像数据作为图像中位置的函数被认 为是所述目标的属性。

确定深度的特定方法对于本发明而言不是关键的。可以使用各种不 同的方法，例如使用立体图像传感器，接着确定不同的立体图像中的图 像位置之间的对应性，分析照相机移动时目标成像所在的图像位置的变 化，从图像获取深度(depth-from-image)的技术(例如从聚焦获取深度 (depth from focus))，除了图像传感器100之外还使用深度传感器， 人工或半人工深度图创建等等。许多这样的技术本身是已知的。举例而 言，在图像传感器100与深度确定单元102之间示出了连接，以便说明 使用图像传感器100捕获的图像来确定深度。然而，如果使用了单独的 深度感测方法，那么就可以不需要这样的连接。优选地，以将图像流描 述为时间的函数的数据以及相应的深度数据流的形式提供图像数据和 深度数据。为了进行说明，对于图像数据和深度数据示出了单独的连接， 但是应当理解的是，该数据可以在共享的连接上复用。

压缩装置12包括压缩器120和膨胀器122。膨胀器122被配置成从 照相机10接收深度数据并且对深度数据施加图像膨胀。压缩器120接 收来自照相机10的图像数据以及膨胀的深度数据。压缩器120被配置 成根据图像数据和膨胀的深度数据计算压缩的数据并且将压缩的数据 传送到信道14。压缩器120使用频率变换来执行压缩。例如，可以使用 已知的JPEG或MPEG压缩技术。在JPEG DCT压缩技术中，针对图像 中的位置的分块计算图像值的DCT(离散余弦变换)系数。对这些DCT 系数进行量化以压缩图像。MPEG中使用了类似的技术，其直接应用到 某些图像以及应用到由运动矢量进行的图像表示之后剩余的残余量。在 当前的示例性系统中，将DCT变换应用到由图像数据定义的强度图像 和/或颜色平面图像并且应用到由膨胀的深度数据定义的深度图像。压缩 器12中的单独的压缩器可以用于该目的，或者复用技术可以用来针对 图像数据和深度数据共享单个核心压缩器。这里使用的术语深度数据和 图像数据可以表示截然不同的数据集合，但是这些术语也涵盖其中深度 数据和图像数据不完全分开的情况。在一个实施例中，共享的运动矢量 用来表示相对于不同帧的帧内编码图像数据和深度数据的某个帧的图 像数据和深度数据。

在一个实施例中，相比于对于强度图像，对于深度数据使用更强的 压缩(具有更多的信息损失)。例如，相比于对于强度图像，对于深度 图像丢弃更多较高频率的DCT系数(例如只有DC系数)，或者更粗的 量化用于深度图像的DCT系数。因此，最小化了用于编码深度数据的 开销。可替换地或者附加地，相比于图像数据，可以将降低的空间和/ 或时间分辨率用于深度数据，例如，对深度数据进行子采样。

解压缩装置16耦合到信道14以便接收压缩的信息。信道14可以 代表广播传输信道或者例如记录器-再现装置的组合。当JPEG或MPEG 技术用于压缩时，解压缩装置16典型地使用JPEG或MPEG技术来进 行解压缩。解压缩装置16从压缩的数据中重构近似的图像数据和深度 数据，其表示与压缩装置12最初使用的强度和/或颜色图像以及膨胀的 深度图像相似的强度和/或颜色图像以及深度图像。由于压缩的原因，偏 差可能会出现。

深度相关处理单元18接收重构的图像数据和深度数据并且使用该 数据来重构图像。可以使用各种不同形式的处理。在一个实施例中，深 度相关处理单元18被配置成计算成对的立体图像。在另一个实施例中， 深度相关处理单元18被配置成计算连续视点的一系列图像，以便在准 三维显示器上显示。在一个实施例中，深度相关处理单元18具有用于 接收视点(或视点变化)的用户选择的输入端。在每个实施例中，深度 相关处理单元18使用图像数据和深度数据来计算视点相关图像。用于 这点的技术本身是已知的。这些技术的结果是，一定图像位置的图像数 据将从该位置跨过一定的移动距离和方向移动到另一位置，其取决于视 点的变化以及与该图像位置关联的深度。

这种移动可能导致若干伪像。首先，在前景图像区域部分地跨越背 景区域移动的地方可能出现改变的边界。其次，在背景图像区域由移动 去除遮挡的地方可能出现间隙。在这些间隙中，必须插入替代的图像数 据。为此目的，优选地考虑与间隙相邻的图像区域集合。从该集合中选 择具有最大距离的区域。间隙中的图像内容根据选择的区域来进行外 推。外推可以使用来自图像本身的图像数据来进行，或者可以插入已经 针对选择的图像区域从其中该区域被较少遮挡的视频流中的其他图像 获得的外推数据。

膨胀器122被配置成对深度数据施加图像膨胀。图像膨胀本身是已 知的。当应用于膨胀器122中时，膨胀器122被配置成在其中深度图像 包含具有相对较大的深度的区域与具有相对较小的深度的区域之间的 边缘的任何位置改变深度图像(由深度数据表示)，将所述边缘移动到 所述具有相对较大的深度的区域中。因此，使得前景目标在深度图像中 看起来更大。可以将任何已知的技术用于膨胀。在一个实施例中，对于 图像中的每个位置，膨胀的深度是该位置的邻域中的最小深度，相同形 状和尺寸的邻域用于每个位置，平移到那些位置。在一个实施例中，可 以使用一个像素高并且多个像素(等于膨胀的量)长的水平线状邻域。 在这种情况下，可以在逐行的基础上应用膨胀，这减少了所需处理的量。 在另一个实施例中，例如可以将方形或圆形邻域用于该目的，邻域的直 径由膨胀的程度决定。

在另一个实施例中，可以将图像分割成与目标关联的分段，一定位 置与一定分段连接，该分段与该位置的邻域重叠并且与具有最小深度的 目标关联。在这种情况下，可以例如通过外推或者拷贝离目标中的最近 图像位置的距离从该目标导出膨胀的深度。在另一个实施例中，从所述 位置的不同侧上的区域外推的深度的最小值可以用来获得膨胀的深度。

相应的膨胀不施加到表示强度图像和/或颜色图像的图像数据。因 此，在图像数据和膨胀的深度数据的组合中，膨胀的效果在于，在更近 的目标与更远的目标之间的边缘附近给属于更远的目标的图像数据分 配更近的目标的距离。

深度数据用来控制图像数据的移动以便计算选择的视点的图像。在 这点完成时，深度数据的膨胀的效果在于，针对稍微超出图像中前景目 标的边缘之外的位置的图像数据将与来自该边缘内的前景目标的图像 数据一致地移动。结果，由于移动而引起的间隙将被来自背景(更远的 目标)的图像数据包围，像改变的边界将出现的那样。其效果在于，由 于视点的改变而引起的伪像将不那么明显。

压缩引起的深度数据中的误差将导致深度数据中边缘的位置误差。 当相比于对于图像数据以更高(更多损失)的压缩率进行深度数据的压 缩时，深度误差可能是大的并且相比于图像误差在空间上更加分散。由 于膨胀的原因，包围这些误差位置的图像数据将全部来自对应有误差(in errors)背景的图像数据。因此，这防止了这些误差使得对应前景目标上 的任何位置的图像数据值与对应前景目标上的其他位置的图像数据值 不同地移动。

通过在压缩之前执行膨胀，避免了由于压缩/解压缩而引起的误差被 膨胀。这首先防止了深度数据中的振铃伪像被膨胀。施加到人为地产生 甚至比前景目标更近的深度的振铃伪像的在后解压缩膨胀将由于膨胀 而生长，导致前景和背景中的误差。通过在压缩之前执行膨胀，防止了 膨胀增大振铃效应。振铃效应限于对应背景的图像数据。已经发现，通 过在压缩之前执行膨胀，相比于在解压缩之后执行膨胀的情况，需要较 少的膨胀来防止前景图像数据的不同移动。因此，与将膨胀看作移除伪 像的后处理滤波步骤的常识相反的是，优选地将膨胀作为伪像出现之前 的预处理而执行。

图2示出了可替换的压缩装置12，其中在反馈环中控制膨胀的量。 除了图1中所示的部件之外，该压缩装置包括解压缩器20和控制电路 22。解压缩器20具有耦合到压缩器120的输出端的输入端。控制电路 22具有耦合到深度数据输入端以及耦合到膨胀器122和解压缩器20的 输出端的输入端。控制电路22具有耦合到膨胀器122的控制输入端的 输出端。

图3示出了压缩实施例的流程图，其中在反馈环中控制膨胀的量。 在第一步骤31中，接收输入的图像数据和关联的深度数据。图像数据 定义了对应图像中的位置的强度和/或颜色，并且深度数据定义了到这些 位置处可见的目标的距离。在第二步骤32中，设置膨胀控制参数。在 第三步骤33中，膨胀器122对深度数据进行膨胀，即它修改定义的深 度，从而跨越膨胀控制参数所控制的距离将不同深度处的图像位置的区 域之间的边缘移动到具有更大的深度的区域中。在第四步骤34中，压 缩器120压缩图像数据和膨胀的深度数据。在第五步骤35中，解压缩 器20对压缩的膨胀的深度数据解压缩。在第六步骤36中，控制电路22 对膨胀进行评估。控制电路22计算多个图像位置处的解压缩的膨胀的 深度与压缩之前的膨胀的深度之间的差值。将这些差值与由相应图像位 置处的原始深度数据定义的梯度大小值相乘。

在第七步骤37中，控制电路22测试得到的任何乘积是否超过阈值。 如果是这样，那么控制电路更新膨胀控制参数以便增大移动由深度数据 定义的边缘所跨越的距离，并且该流程图从第三步骤23重复。如果得 到的所有乘积都低于阈值，那么该过程结束。应当理解的是，与图1相 比，图2的系统添加了第六和第七步骤36、37。

在视频序列的情况下，随后以相同的方式处理图像数据-深度数据的 下一个配对。在这种情况下，单独地处理视频序列中的图像。在另一个 实施例中，可以针对视频序列中的连续图像序列设置膨胀的量，例如以 便防止伪像(或者序列的任何图像中超过最小数量的伪像)。在另一个 实例中，设置膨胀的量的视频时间依赖关系，以便滤掉预定时间频率以 上的变化并且防止伪像(或者任何图像中超过最小数量的伪像)。例如， 可以使用膨胀的最大选择的量的低通滤波频率包络。设置用于序列的膨 胀的量的优点在于，避免了时间伪像。

尽管给出了其中如果任何乘积超过阈值则增大膨胀的量的实例，但 是应当理解的是，可替换地，所述增大可以取决于超过阈值的乘积的总 合(aggregate)，从而如果大的乘积仅局部地出现在孤立的位置，则不 进行膨胀的增大。所述乘积和总合是检测的位置与边缘的重合度量的实 例。还应当理解的是，其他的重合度量可以用来评估膨胀。

在一个可替换的实施例中，控制电路22使用压缩和解压缩之后从 图像数据和深度数据获得的合成视点的视图评估膨胀。如果可检测到该 视图包含超过预定量的伪像，则认为膨胀不充分。通过这种方式，当前 景和背景图像数据之间的差值如此之小，以至于即使深度数据包含误差 也不出现伪像时，可以避免不必要的膨胀。用于使用深度数据和图像数 据产生任意视点的视图的合成视点发生器本身是已知的。可以使用诸如 利用用于该目的的程序编程的计算机或者专用硬件之类的合成视点发 生器。可以例如通过将压缩和解压缩之后产生的视图与针对所述视点不 经过压缩和解压缩从深度数据和图像数据产生的视图进行比较来执行 伪像的检测。可替换地，可以处理压缩和解压缩之后产生的视图，以便 检测具有与压缩伪像效果以及这样的边缘的强度和预定阈值的比较结 果相应的尺寸的空间不规则性的空间不规则边缘的存在。

作为另一个实例，可以在结果中对深度数据与解压缩的膨胀的深度 数据之间的差值的位置附近的图像数据内容的梯度进行加权。此外，应 当理解的是，可以使得用于决定增大膨胀并且返回到第三步骤33的准 则随着膨胀的量的增加而越发具有限制性，或者甚至可以完全避免增加 超出最大值。此外，再现的视图的信噪比(PSNR)可以用作准则。

应当理解的是，该流程图假设开始时将膨胀控制参数设置为最小值 并且随后增大，直到不出现由于压缩和解压缩而引起的伪像或者仅仅出 现最少的伪像。可替换地，该过程可以从最大膨胀开始，减小膨胀，直 到出现这样的伪像或者出现多于最少的这样的伪像。在另一个可替换的 方案中，该过程可以从任何膨胀开始并且沿着与计算的伪像有关的方向 继续。

因此，通过在压缩之前控制膨胀，可以防止令人烦恼的伪像的量。 另外，压缩装置12向解压缩装置16传送用于图像的最终选择的膨胀的 量。该选择的量的指示可以包括在包含图像数据和深度数据的视频流信 号中。可以提供可以是解压缩装置的深度相关处理单元18的一部分的 图像处理装置，并且可以向该图像处理装置提供传送的膨胀的量以便使 得该图像处理装置能够减少由于膨胀而引起的伪像。

在一个实施例的实例中，所述图像处理装置被配置成在滤除由于压 缩而引起的伪像(该滤波可以例如包括中值滤波)之后以与膨胀距离的 从压缩装置接收的选择的量相应的量(例如以小于100％的百分数)腐 蚀深度图像。因此，可以最小化由于膨胀而引起的伪像。在这个或另一 个实施例中，所述图像处理装置可以被配置成依照解压缩和腐蚀之后获 得的深度数据控制其他形式的深度相关图像处理(例如前景和背景目标 之间的边缘处的前景/背景颜色混合)。

在另一个实施例中，设置压缩之前的膨胀的量超过避免图像中目标 的深度边界与该目标的强度/颜色边界交叉所严格需要的最小量膨胀。图 4示出了用于该实施例的解压缩装置。在该实施例中，添加了腐蚀单元 40，用于在解压缩之后施加腐蚀以便腐蚀解压缩的深度图像。优选地， 腐蚀的量不多于多余的膨胀的量(这里使用的腐蚀从具有较小距离的区 域的边界生长具有较大距离的区域)；在一个实施例中，腐蚀通过用围 绕每个像素位置的邻域中的最大深度代替该像素位置的深度来实现。这 用于对解压缩的深度图像进行滤波，移除由于伪像而引起的这样的区域 的窄扩展或者小的前景区域。腐蚀的量可以通过用信号表示的(signaled) 膨胀的量来控制。代替施加腐蚀的单元40的是，可以使用处理器40， 该处理器被配置成执行与用信号表示的膨胀的量有关的其他处理操作。

可以使用被特别设计成执行所描述功能的电子电路来实现压缩装 置12和解压缩装置。可替换地，可以使用可编程处理器，其利用执行 这些功能的计算机程序编程，或者可以使用经过特别设计的硬件以及经 过编程的处理器的混合物。

如上所述，在压缩之前施加膨胀具有的效果在于，将减少从合成视 点产生的视图中的伪像。权利要求中阐明了本发明。本文使用的措词“包 括”并没有排除其他的元件或步骤，“一”或“一个”并没有排除复数， 并且单个处理器或其他单元可以实现权利要求中列出的若干装置的功 能。权利要求中的附图标记不应当被视为对范围的限制。