用于对数字化图像序列进行编码的方法

摘要

本发明涉及一种用于对数字化图像（I1,I2,I3）的序列进行编码的方法，所述数字化图像（I1,I2,I3）包括多个具有所分配的像点值的像点（P，P’，P’’），其中图像（I1,I2,I3）的要编码的像点（P，P’，P’’）被预测，并且由预测产生的预测误差被编码。对要编码的像点（P，P’，P’’）的预测在此针对要编码的像点（P）的至少一部分进行，使得确定多个轨迹（T，T’），其中轨迹（T，T’）分别穿过要编码的像点（P）以及来自要编码的像点（P）的图像（I3）和/或来自一个或多个在时间上与要编码的像点（P）的图像（I3）相邻的图像（I1，I2）的其他已经编码的像点（P’）。针对所确定的轨迹（T，T’）分别确定评估尺度，所述评估尺度被设计，使得沿着轨迹（T，T’）的其他像点（P’）的未编码的像点值（w

说明书

技术领域

本发明涉及一种用于对数字化图像的序列进行编码的方法、以及相应的解码方法和相应的编码器和解码器，其中所述数字化图像包括多个具有所分配的像点值的像点。

背景技术

在大量技术应用领域中所期望的是，尽可能好地以小的损失压缩数字化图像，以便由此将图像的存储空间保持得小。除此之外常常需要即使在网络带宽有限的情况下也尽可能快地通过传输网络从存储器中调用大数据量的数字化图像序列，其中必要时也可以接受压缩图像数据时的轻微损失。

数字化图像序列尤其是出现在医学应用中，其中例如在借助于计算机断层成像（Computertomographen）的X射线照片的情况下生成受X射线检查的病人的器官的二维截面图像序列，其中这些截面图像以彼此一定的空间距离被拍摄。从现有技术中公知用于对这样的图像数据进行无损压缩的不同的压缩方法，其中这些方法也被用于任意其他数字化图像。为了压缩尤其是使用标准JPEG-LS或JPEG-2000，其中图像序列的各个图像彼此无关地被压缩。在此，未充分利用相继的各个图像之间的已存在的相关性。

另外，从现有技术中公知用于对运动的图像内容、例如视频电影进行压缩所使用的不同视频编码标准。在编码标准H.264/AVC中，借助于运动补偿预测相继的图像的图像块。然后所得出的预测误差被编码。

发明内容

本发明的任务是，提供用于对图像进行编码或解码的方法或装置，所述方法或装置能够实现任意图像内容的图像的良好压缩比。

该任务通过根据独立权利要求1所述的方法以及根据独立权利要求19所述的方法以及根据独立权利要求21所述的编码器以及根据独立权利要求22所述的解码器来解决。在从属权利要求中定义本发明的改进方案。

在根据本发明的方法中，包括多个具有所分配的像点值的像点的数字化图像的序列被编码，其中所述图像的要编码的像点被预测，并且由预测产生的预测误差被编码。在此，对于像点的至少一部分借助于沿着编码像点的轨迹进行对要编码的像点的预测。在此，基于轨迹的预测优选地总是在该预测是可能的时、即在存在足够多的已经编码的像点时被执行。

在根据本发明基于轨迹对要编码的像点进行预测时，首先确定多个轨迹，其中所述轨迹分别穿过要编码的像点以及来自要编码的像点的图像和/或来自一个或多个在时间上与要编码的像点的图像相邻的图像的其他像点。针对所确定的轨迹分别确定评估尺度，所述评估尺度这样被设计，使得沿着轨迹其他像点的未编码的像点值的波动越小，则轨迹根据评估尺度被越高地评估。于是，基于具有最高评估或最高评估尺度的轨迹的其他像点，要编码的像点的像点值的预测值被确定。

根据本发明的方法所基于的认识是，具有相似像点值的像点常常在预先给定的方向上延伸，使得借助于其像点具有相似像点值的轨迹来实现特别好的预测。由此尤其是可以针对无损或几乎无损的编码实现高的编码效率。

在此在特别优选的实施形式中，该评估尺度取决于轨迹的其他像点的像点值与这些像点值的平均值之间的数值偏差或平方偏差之和，其中数值偏差或平方偏差越小，则轨迹被越高地评估。

必要时，该评估尺度也取决于轨迹的其他像点之间的距离，其中所述距离越大，则轨迹被越高地评估。由此实现对评估尺度的适当的归一化。评估尺度同样可以取决于要编码的像点与距要编码的像点最近的其他像点之间的距离，其中该距离越小，轨迹被越高地评估。由此在评估轨迹时引入可靠性因子，其中可以认为，轨迹的其他像点越接近要编码的像点，则要编码的像点属于具有相似像点值的结构这一陈述就越可靠。

在根据本发明所执行的预测中，可以考虑具有相同长度的轨迹和/或也可以考虑具有不同长度的轨迹。具有决定性意义的仅仅是，轨迹包括至少两个其他已经编码的像点。

在根据本发明的方法的另一扩展方案中，在预测时所使用的轨迹的允许长度在图像的每一编码以后增加一个像点。由此考虑，越多的图像已经被编码，则可以由不同图像的像点形成越长的轨迹。必要时，轨迹的允许长度也可以至少针对预定数目的相继图像固定地被选择。

在特别优选的实施形式中，要编码的像点的像点值的预测值借助于外插（Extrapolation）被确定。在此，可以使用任意的外插法、尤其是线性外插和/或样条外插和/或多项式外插。必要时也可能的是，作为要编码的像点的像点值的预测值确定其他像点的像点值的平均值。

在根据本发明的方法的优选实施形式中，针对图像的至少一部分借助于包括来自同一图像的像点的轨迹和/或借助于包括来自不同图像的像点的轨迹预测像点。尤其是在该方法初始化时，至少针对最先的两个图像借助于来自同一图像的轨迹预测像点和/或基于与根据本发明的方法不同的编码对像点进行编码。如果还不存在足够多的像点用于基于轨迹预测，则该不同的编码被用在图像中。

在优选的实施形式中，由预测产生的预测误差至少部分由要编码的像点的像点值与所预测的像点值之间的偏差来表示。在此，该偏差尤其是带符号的，以便在以后的解码时也借助于该偏差正确地纠正解码像点。

在根据本发明的方法中，必要时可以为了提高编码效率而接受编码图像中的信息损失。在此，优选地预先给定阈值，其中由预测产生的预测误差在按数值超过阈值时由要编码的像点的像点值与所预测的像点值之间的偏差来表示，并且否则被设置为值0。通过这种方式，考虑到误差界限，其中所有小于或等于该误差界限的预测误差均被设置为0，由此提高编码效率。在此，具有为0的预测误差的像点的像点值优选地被所预测的像点值代替，以便由此避免图像的编码与解码之间的漂移（Drift）。

在根据本发明的方法中，本来的预测误差既可以无损地也可以有损地被编码。在此，使用从现有技术中公知的用于对预测误差进行编码的方法，这些方法尤其是包括变换（优选DCT变换）和/或量化和/或熵编码。在此，量化包含信息损失，而熵编码是无损的。

在预测误差的有损编码的情况下，预测误差被确定所针对的像点的像点值优选地由被预测并且利用解码预测误差纠正的像点值代替。通过这种方式再次保证：不出现图像的编码与解码之间的漂移。

在根据本发明的方法中，在通常情况下不需要传输与编码的执行有关的辅助信息（seiteninformationen），因为在解码时以与编码时类似的方式采取措施，并且为此不需要执行编码的编码器的信息。但是如果使用多个不同的预测模式，则可能必要时生成辅助信息用于用信号通知针对编码图像的所使用的预测模式。

本发明的特别优选的应用领域是对医学照片、尤其是医学X射线照片形式的数字化图像的编码。尤其是在这些照片的情况下，具有相同或相似的像点值的结构在所拍摄的对象（例如病人的器官）所处的方向或者表示器官与其周围的边界的方向上延伸。

除了所述编码方法以外，本发明还包括用于对利用根据本发明的编码方法编码的数字化图像的序列进行解码的方法。在此，相应像点的预测误差被解码并且要解码的相应像点被预测，其中解码像点由利用解码预测误差对所预测的像点的纠正而得出。在此，对要解码的像点的预测再次基于轨迹进行。尤其是多个轨迹被确定，其中所述轨迹分别穿过要解码的像点以及来自要解码的像点的图像和/或来自一个或多个在时间上与要解码的像点的图像相邻的图像的其他已经解码的像点。针对所确定的轨迹分别确定评估尺度，所述评估尺度这样被设计，使得沿着轨迹的其他像点的解码像点值的波动越小，则轨迹根据评估尺度被越高地评估。于是，基于具有最高评估或最高评估尺度的轨迹的其他像点，要解码的像点的像点值的预测值被确定。

除了上述编码和解码方法以外，本发明还包括用于传输数字化图像序列的方法，其中所述序列的图像利用根据本发明的编码方法被编码，通过传输线段被传输并且接着利用根据本发明的解码方法被解码。

除此之外，本发明还涉及用于对数字化图像的序列进行编码的编码器，该编码器包括用于预测图像的要编码的像点的预测装置、以及用于对由预测产生的预测误差进行编码的编码装置。在此，该预测装置这样被设计，使得可以借助于轨迹利用该预测装置来执行根据本发明的上述预测。

另外，本发明涉及用于对利用根据本发明的方法编码的图像的序列进行解码的相应的解码器，其中该解码器包括用于对相应像点的预测误差进行解码的解码装置、以及用于预测要解码的像点的预测装置，其中解码像点由利用解码预测误差对所预测的像点的纠正得出。在此，该预测装置这样被设计，使得预测借助于轨迹基于根据本发明的解码方法进行。

除此之外，本发明还涉及包括根据本发明的编码器和根据本发明的解码器的系统。

附图说明

下面根据附图详细描述本发明的实施例。

图1示出按照根据本发明的方法的实施形式的对图像解码的示意图；

图2示出解释按照根据本发明的方法的实施形式计算要编码的像点的预测值的图；以及

图3示出按照根据本发明的方法的实施形式的由用于对数字化图像序列进行编码和解码的编码器和解码器构成的系统的示意图。

具体实施方式

下面根据图1基于数字化图像序列的片段来描述根据本发明的编码的原理，其中所述数字化图像包括三个在时间上相继的图像I1、I2和I3。该图像序列例如可以是医学成像系统的照片。各个图像尤其是可以是病人器官的利用计算机断层成像所检测的截面照片。通过这样的系统生成非常大的数据量，所述数据量为了存档而必须无损地或几乎无损地被存储。

根据图1的数字化图像序列的每个单独的图像I1、I2或I3都包含多个以像素形式的像点，其中给每个像素分配有像点值，所述像点值在黑白照片的情况下是白度值（Helligkeitswert），并且在彩色照片的情况下通常是亮度值（Luminanzwert）。在图1中，图像的各个像点由点来表示，其中区分三种不同类型的像点。由白色像点来描述要编码的像点P，由黑色像点和划阴影线的像点P’和P’’来描述已经编码的像点。在此在图1中，划阴影线的像点P’用于形成用以预测图像I3的第三行和第三列中的要编码的像点的轨迹。在图1中为清楚起见，仅仅给所述像点中的一些配备有相应的附图标记P、P’和P’’。另外在图1中，用x、y和z方向来描述坐标系。在此，x-y平面表示相应图像的二维延伸，并且由z方向来描述图像的时间顺序，其中图像I1在图像I2之前被拍摄并且图像I2在图像I3之前被拍摄。

在图1的例子中描述了对图像I3的第三列和第三行中的像素的编码。在此在根据本发明的编码中，从要编码的像点出发通过在同一图像I3中或者在相邻图像I1和I2中的至少两个其他已经编码的像点来确定轨迹。在此，在图1中用T’表示穿过同一图像I3中的像点的轨迹。而用附图标记T来表示穿过时间上在先的图像I1和I2中的像点的轨迹。为了清楚起见，再次仅仅给一些轨迹配备有相应的附图标记T或T’。基于所述轨迹，利用根据本发明的编码能够实现对要编码的像点的适当预测。在此，用于预测的各个步骤如以下所阐述的那样进行。

首先，针对每个轨迹所选择的像点的数目n被确定。在此，该数目对应于每轨迹的像点的总数减去要编码的像点。在此，必须存在至少两个像点作为最小数目。在图1的场景中，该数目被设置为n=2。但是也可能的是，像点数目的值n在该方法的过程中变化或者针对具有同一图像内的像点的轨迹与针对具有来自不同图像的像点的轨迹不同地被选择。必要时可以在对新图像的每一编码以后总是将每轨迹的允许像点的数目增加1。

在确定像点的数目以后，穿过已经编码的像点的轨迹被确定。在此在图1的场景中，轨迹不仅在图像I3中而且在两个在先的图像I1和I2中被考虑。必要时也可能的是，在该方法中仅仅使用来自同一图像的轨迹或者仅仅使用具有来自不同图像的像点的轨迹。根据图1，存在具有来自同一图像I3的像点的四个轨迹T’以及分别具有来自图像I1和图像I2的像点的新的轨迹T。现在，针对轨迹中的每一个确定误差尺度f₁，所述误差尺度f₁表示相应轨迹的像点P’的像点值同这些像点值的平均值的偏差。也就是说，误差尺度在此处所述的实施形式中如下来定义：

，其中。

上述的误差尺度对应于根据权利要求1所述的评估尺度的特定变型方案，其中较小的误差尺度对应于较高的评估。

该误差尺度必要时也可以不同地被定义，决定性的仅仅是，误差尺度表示沿着轨迹像点值的波动的尺度。例如替代于像点值与平均值之间的数值差形式的偏差也可以使用平方偏差以及由此使用方差来计算误差尺度。

借助于上述的误差尺度，针对图1的选择n=2的场景得出误差尺度如下：

。

必要时，该误差尺度也可以如此被定义，使得该误差尺度通过轨迹上的像点的距离d被归一化。于是相应的误差尺度f₂如下：

，其中，

在此，Δx、Δy和Δz是轨迹上的两个像点在x、和y和z方向上的距离。在图1的场景中，这些距离沿着轨迹是恒定的。必要时，上述的方程也可以这样被修改，使得各个像点之间的变化的距离被考虑。

最后基于误差尺度，具有最小误差尺度、即具有最高评估的轨迹被选出。在此所考虑到的事实是，尤其是在医学图像中，具有相同或相似白度值的结构在一个方向上延伸。于是在此处所述的实施形式中，要编码的像素的预测量（pr?diktor）或预测值基于沿着所选轨迹的外插被确定。对于在图1中所考虑的有n=2适用的情况，例如使用线性外插，其中如下得出预测量：

。

在图2中示出了利用线性外插对预测量的计算。沿着横坐标描述轨迹的被适当地参数化的变化曲线。在此，值P1和P2表示沿着用于预测所使用的轨迹的已经编码的像点的位置，并且点P3是可以预测的像点的位置。沿着纵坐标例如作为相应的白度值绘出了像点的相应像点值。在此，用w₁表示位置P1处的像点的像点值，并且用w₂表示位置P2处的像点的像点值。在线性外插的情况下，现在作穿过像点w₁和w₂的直线，并且根据直线方程在位置P3处确定要编码的像点的像点值。认识到，在图1的场景中，像点值从w₁向w₂减小距离Δm。于是，所预测的像点值也比像点值w₂小该距离。

替代于上述线性外插，也可以通过其他方式、例如通过样条内插或者多项式外插来确定预测值。必要时同样也可以将像点的平均值用作预测值。

在根据本发明的方法的另一变型方案中，对轨迹的选择可以通过可靠性因子g（a）被修改，所述可靠性因子g（a）取决于要预测的像点与轨迹上的最近的像点的间距a。在此，该经过修改的距离尺度f₁’例如可以为如下：

。

利用上述方程可以考虑，优选地选出包括与所预测的像点相距小距离的像点的轨迹。在这种情况下，函数g（a）是单调上升的。利用可靠性因子考虑，轨迹的像点距要预测的像点越近，则正确预测的概率越高。

最后，在确定预测值之后接着确定残留误差以及接下来对这些残留误差编码。在通常情况下，预测量不对应于要编码的原始像点值。因此，误差信号（亦称为预测误差）被计算，所述误差信号对应于预测量与原始像点值之间的差。在无损编码的情况下，该误差信号被编码。但是也可能的是，为了编码预先给定误差界限，其中最初确定的误差信号仅在误差信号的数值差不处于误差界限之内时才被编码。如果数值差处于误差界限之内，则传输为0的预测误差。必要时也可以改变误差界限，其中对于无损编码的情况，误差界限被设置为0。

通过考虑误差界限实现对编码图像的较高压缩。尽管图像质量下降，但是该图像质量可能对于确定的应用而言继续地是足够的。在考虑误差界限的情况下有利的是，如果差处于误差界限之内，则所预测的像点的最初的像点值被所预测的像点的像点值代替。通过这种方式保证：编码器和解码器在相同的数据基础上工作，由此避免漂移。

在确定误差信号或预测误差以后，该误差被编码。所述编码可以以任意方式利用从现有技术中公知的方法进行。尤其是可以执行对预测误差的变换（优选DCT变换），并且接着基于所变换的预测误差进行量化和/或熵编码。所述量化和熵编码的步骤在此从视频编码领域中是充分公知的。在此，量化导致损失，而通过熵编码执行无损压缩。

如果图像序列应当无损地被编码，则在对预测误差进行编码时仅仅使用熵编码而不使用量化。如果预测误差通过编码（即尤其是通过量化）被改变，则有利的是，由从所预测的值以及被编码并且接着又被解码的预测误差中得出的像点值代替编码像素的最初的像点值。通过这种方式再次保证：编码器和解码器具有用于确定预测量的相同数据基础，使得漂移被避免。

在刚才所述的对预测误差的编码以后，编码误差被传输给解码器。在解码器中，以类似的方式基于前述对轨迹的确定实施解码。解码器尤其是对预测误差进行解码，并且对各个像点值基于轨迹执行根据本发明的预测。接着，所预测的像点利用解码预测误差被纠正，以便由此获得最初的像素值。于是，在无损编码的情况下也准确地获得最初的像素值。

在根据本发明的方法中，在解码时不需要将用于选择轨迹的辅助信息传输给解码器，因为解码器可以与编码器类似地追溯轨迹的选择。仅仅对于编码器出于效率原因而选另一轨迹或者在不同的预测模式之间（例如在用于对预测误差进行编码的以标准H.264/AVC的公知模式之间）切换的情况，可以可选地传送相应的辅助信息。

在初始化根据本发明的方法时，对最先的两个图像的编码必然不在来自不同图像的三维轨迹上进行，因为开始时还不存在来自不同图像的编码像点以用于形成轨迹。取代之，基于同一图像的像点使用像点的二维方向预测。另外，针对第一或第二图像的要编码的第一像点使用完全不同的编码（例如无预测的帧内编码（Intracodierung）），因为开始时也还不能形成同一图像中的二维轨迹。在该方法初始化以后只有在对第三图像进行编码时才进行基于三维、即在考虑z方向的情况下的方向预测。

为要编码的第三图像设置长度n=2的三维以及还有二维轨迹，这如图1中所表明的那样。可替代地，也可以在第三图像中仅仅使用同一图像内的二维轨迹。但是于是需要针对所选的图像区域（例如预先给定大小的块）用信号通知预测模式并且作为辅助信息传输给解码器。现在，三维预测也可以对其他要编码的图像继续进行，其中必要时随着每个所添加的图像可以将三维轨迹的最大长度增加1。

根据本发明的方法具有一系列优点。通过基于相应的轨迹针对每个像点选择优选的预测方向，尤其是可以针对如下结构实现良好的预测：在所述结构中，对象的相同白度值在一个方向上延伸，尤其是在医学图像数据时情况如此。因此，尤其是可以针对无损或几乎无损的编码实现较高的编码效率。根据本发明，预测方向根据已经编码的像点来确定。该确定在解码器中以与在编码器中相同的方式进行，使得不必将附加的预测信息从编码器传输给解码器。这附加地提高编码效率。

在图3中示意化地描述了用于基于根据本发明的方法的实施形式对图像序列进行编码和解码的系统。在此，用附图标记1表示用于对图像序列进行编码的编码器，并且被输送给编码器的包括图像I1、I2和I3的图像数据流首先被输送给预测装置2，该预测装置2基于根据本发明的方法借助于轨迹确定预测值以及各个像点的预测值与最初的像点值之间的相应预测误差。然后，所述预测误差被输送给编码装置3，所述编码装置3基于相应公知的编码方法、比如量化或熵编码对预测误差进行编码。

最后，编码预测误差通过用箭头P表明的传输路径被传输给解码器4。在此，传输路径可以是有线或无线的。在解码器中，在相应的解码装置5中进行对所接收的预测误差的解码。另外，在预测装置6中执行对像点值的预测，其中该预测类似于预测装置2基于轨迹进行。然后，所预测的像点利用解码预测误差被纠正，使得在无损编码的情况下获得最初的像点值并且在有损编码的情况下获得所近似的像点值。