小波变换设备、小波逆变换设备和方法、程序和记录介质

摘要

本发明涉及小波变换设备、小波逆变换设备和方法、程序和记录介质，其中具体公开了一种用于对图像信号进行多个级别的小波变换的小波变换设备，包括水平滤波单元，用于使图像信号经受水平方向低频带分析滤波和高频带分析滤波，和对于每个级别来说独立的缓冲器，用于对每个级别保存通过水平滤波单元的水平方向分析滤波而产生的频率分量。

说明书

对相关申请的交叉引用

本发明包含与2006年7月14日在日本专利局申请的日本专利申请No.2006-193669相关的主题，其整个内容通过引用结合在本申请中。

技术领域

本发明涉及小波变换设备和方法、小波逆变换设备和方法、程序及记录介质，更具体地说，涉及通过与内部存储器交换数据，使得能够进行高速小波变换的小波变换设备和方法、小波逆变换设备和方法、程序及记录介质。

背景技术

已知方法中的典型图像压缩方法是由ISO(国际标准化组织)标准化的JPEG(联合图像专家组)方法。众所周知，在使用DCT(离散余弦变换)和占用大量比特的情况下，JPEG方法提供极好的编码图像和解码图像。但是，超过一定水平减少编码比特会导致DCT的显著块失真特性，并且能够主观地观察到劣化。

另一方面，近年来，对于其中利用称为滤波器组(其中组合高通滤波器和低通滤波器)把图像分成多个频带(子带)，并对每个频带进行编码的方法进行了大量的研究。特别地，小波变换编码被看作一种可能是代替DCT的候选方法的新技术，因为它不存在DCT所具有的问题，即，高压缩率下的显著块失真。

JPEG 2000的国际标准化完成于2001年1月。JPEG 2000结合小波变换和高效熵编码(基于位平面的比特模拟和算术编码)，并且和JPEG相比，在编码效率方面实现显著的改进。

小波变换使用一种技术，其中图像数据被作为输入，所述输入经受水平方向滤波和垂直方向滤波，其中低频带分量被分级划分。此时，需要在高频下进行相对于存储器的数据读写，比如图像数据的读出，通过滤波产生的频率系数的写入，再一次的频率系数的读出等。

由于图像信号具有大量的数据，因此需要一种高速进行小波变换的技术。另外，已提出了从外部把频率系数写入存储器，并再次读出这些频率系数的大量技术(例如，日本未经审查的专利申请公开No.10-283342)。

发明内容

但是，由于数据在外部存储器和小波变换单元之间被交换，因此频率系数被写出到外部存储器并被再次读入的技术存在不能获得足够带宽的问题，从而，一直难以高速进行小波变换。

另外，升高时钟(工作频率)在增大外部存储器和小波变换单元之间数据的速率方面是有效的，但是时钟的简单增大不仅导致能耗增大的问题；诸如FPGA(现场可编程门阵列)和PLD(可编程逻辑器件)之类的硬件不易于处理该问题。

已认识到存在不需要外部存储器地实现高速小波变换的需要。

根据本发明的一个实施例的用于在多个级别对图像信号进行小波变换的小波变换设备包括：水平滤波单元，用于使图像信号经受水平方向低频带分析滤波和高频带分析滤波；和对于每个级别来说独立的，用于对每个级别保存通过水平滤波单元的水平方向分析滤波而产生的频率分量的缓冲器。

通过水平方向分析滤波而获得的频率分量中的低频带分量和高频带分量可被重新排序并保存在缓冲器中。

小波变换设备还可包括进行作为图像信号的元素的亮度信号和色差信号的重新排序的再排序单元；水平滤波单元使由再排序单元重新排序的图像信号受到水平方向低频带分析滤波和高频带分析滤波。

作为水平滤波单元进行的水平分析滤波的结果而产生的亮度信号的频率分量和色差信号的频率分量均可单独地被保存在缓冲器中。

小波变换设备还可包括：垂直滤波单元，用于使通过水平方向分析滤波而产生的保存在缓冲器中的频率分量经受垂直方向低频带分析滤波和高频带分析滤波。

垂直滤波单元还可包括：亮度信号垂直滤波单元，用于使作为图像信号的元素的亮度信号的频率分量经受垂直方向低频带分析滤波和高频带分析滤波；和色差信号垂直滤波单元，用于使作为图像信号的元素的色差信号的频率分量经受垂直方向低频带分析滤波和高频带分析滤波。

亮度信号垂直滤波单元和色差信号垂直滤波单元可并行操作。

小波变换设备还可包括：再排序单元，用于进行通过亮度信号垂直滤波单元进行的垂直方向分析滤波而产生的亮度信号的频率分量，和通过色差信号垂直滤波单元进行的垂直方向分析滤波而产生的色差信号的频率分量的低频带分量的重新排序；水平滤波单元使再排序单元重新排序的低频带分量经受水平方向低频带分析滤波和高频带分析滤波。

在再排序单元的重新排序之前，亮度垂直滤波单元和色差信号垂直滤波单元之一可等待，直到另一方的分析滤波结束为止。

水平滤波单元可按照预定数目的级别进行水平方向低频带分析滤波和高频带分析滤波。

作为由水平滤波单元进行的水平方向分析滤波的结果而产生的亮度信号的频率分量和色差信号的频率分量可被单独地保存在缓冲器中。

水平滤波单元和垂直滤波单元可按照分层方式对最低频带的频率分量进行分析滤波。

水平滤波单元和垂直滤波单元可由小波变换的提升方案实现。

水平滤波单元可以行为增量输入图像信号，每次水平方向上的样本数达到预定数目时，进行水平方向低频带分析滤波和高频带分析滤波；每次水平滤波单元进行的水平方向分析滤波的结果中的频率分量的垂直方向上的行数达到预定数目时，垂直滤波单元进行垂直方向低频带分析滤波和高频带分析滤波。

图像信号可以是包含多个画面的视频信号，小波变换设备还包括检测单元，用于通过检测视频信号的垂直同步信号，检测每个画面的结束，水平滤波单元和垂直滤波单元进行每个画面的分析滤波。

根据本发明的一个实施例，对图像信号进行多个级别的小波变换的小波变换设备的小波变换方法包括下述步骤：使图像信号经受水平方向低频带分析滤波和高频带分析滤波；和对于每个级别，把通过水平方向分析滤波而产生的频率分量保存在对每个级别来说独立的缓冲器中。

借助上述配置，图像信号经受水平方向低频带分析滤波和高频带分析滤波。对于每个级别，通过水平方向分析滤波而产生的频率分量被保存在对每个级别来说独立的缓冲器中。从而，能够在不需要外部存储器的情况进行高速小波变换。

根据本发明的一个实施例，对由对图像信号进行的多个级别的小波变换产生的频率分量执行小波逆变换，从而重建图像的小波逆变换设备包括：水平滤波单元，用于使频率分量经受水平方向低频带合成滤波和高频带合成滤波；和对于除最低频带之外的每个级别来说独立的缓冲器，用于对每个级别，保存通过水平滤波单元的水平方向合成滤波而产生的频率分量。

小波逆变换设备还可包括：垂直滤波单元，用于使频率分量经受垂直方向低频带分析滤波和高频带分析滤波；水平滤波单元对通过垂直方向合成滤波而产生的频率分量进行水平方向低频带合成滤波和高频带合成滤波。

垂直滤波单元和水平滤波单元可由小波逆变换的提升方案实现。

水平滤波单元可以行为增量输入频率分量，每次水平方向上的样本数达到预定数目时，进行水平方向低频带合成滤波和高频带合成滤波；每次水平滤波单元进行的水平方向合成滤波的结果中的频率分量的垂直方向上的行数达到预定数目时，垂直滤波单元进行垂直方向低频带合成滤波和高频带合成滤波。

图像信号可以是包含通过按照分级方式对最低频带频率分量进行分析滤波而分成多个频率分量的多个画面的视频信号；垂直滤波单元和水平滤波单元根据多个频率分量中，包括最低频带频率分量的预定数目频率分量，以分级方式执行合成滤波，最终产生一个画面。

小波逆变化设备还可包括在垂直滤波单元和水平滤波单元产生的画面之间插入垂直同步信号，从而产生视频信号的垂直同步信号插入单元。

可对作为图像信号的元素的亮度信号和色差信号独立地提供垂直滤波单元、水平滤波单元和缓冲器；用于亮度信号的垂直滤波单元、水平滤波单元和缓冲器，以及用于色差信号的垂直滤波单元、水平滤波单元和缓冲器被并行操作。

根据本发明的一个实施例，对由关于图像信号进行的多级小波变换而产生的频率分量进行小波逆变换，从而重建图像的小波逆变换方法，包括下述步骤：使频率分量经受水平方向低频带合成滤波和高频带合成滤波；和对于每个级别，把通过水平滤波单元的水平方向合成滤波而产生的频率分量保存在对除最低频带之外的每个级别而言独立的缓冲器中。

借助上述配置，由对图像信号进行的多个级别的小波变换而产生的频率分量经受水平方向低频带合成滤波和高频带合成滤波。对于每个级别，通过水平滤波单元的水平方向合成滤波而产生的频率分量被保存在对除最低频带之外的每个级别而言独立的缓冲器中。从而，能够不需要外部存储器地进行高速小波逆变换。

附图说明

图1是图解说明应用本发明的一个实施例的小波变换设备的一个实施例的配置例子的示图；

图2是说明图1中所示的小波变换设备的小波变换处理的流程图；

图3是说明其中Y和C已被交错的图像信号的水平分析滤波的例子的示图；

图4是说明分别对Y和C进行垂直分析滤波的例子的示图；

图5是为了与图4比较，说明进行分成低频带和高频带的Y和C的垂直分析滤波的例子的示图；

图6是图解说明分别对Y和C进行划分级别1分析滤波的结果的示图；

图7是说明对划分级别1低频带分量交错Y和C的例子的示图；

图8是为了与图4比较，说明在Y和C被交错的情况下，执行垂直分析滤波的例子的示图；

图9是图解说明在分别对Y和C进行垂直分析滤波的情况下的时间图的例子的示图；

图10是图解说明在分别对Y和C进行垂直分析滤波的情况下的时间图的另一例子的示图；

图11是说明关于5×3分析滤波器的提升方案的例子的示图；

图12是图解说明关于HDTV标准的亮度和色差信号的数据阵列的例子的示图；

图13是说明以行为增量的分析滤波的示图；

图14是说明划分级别1分析滤波中的垂直滤波的示图；

图15是图解说明进行划分级别2分析滤波的结果的示图；

图16是图解说明对实际图像进行划分级别3分析滤波的结果的示图；

图17是说明视频信号中的垂直同步信号的示图；

图18是图解说明和对应于图1中所示的小波变换设备的小波逆变化设备相关的结构例子的示图；

图19是说明图18中所示的小波逆变换设备的小波逆变换处理的流程图；

图20是说明垂直合成滤波的示图；

图21是说明水平合成滤波的示图；

图22是图解说明进行合成滤波的结果的示图；

图23是说明关于5×3分析滤波器的提升方案的另一例子的示图；

图24是图解说明应用本发明的一个实施例的图像编码设备的一个实施例的结构例子的示图；

图25是说明图24中所示的图像编码设备的图像编码处理的流程图；

图26是图解说明与图24中所示的图像编码设备对应的图像解码设备的一个实施例的结构例子的示图；

图27是说明图26中所示的图像解码设备的图像解码处理的流程图；

图28是图解说明应用本发明的一个实施例的数字三轴(triax)系统的一个例子的结构的方框图；

图29是图解说明应用了本发明的一个实施例的无线传输系统的一个例子的结构的方框图；

图30是图解说明把图29中所示的无线传输系统应用于家庭游戏控制台的一个例子的示意图；

图31是图解说明应用本发明的一个实施例的计算机的一个实施例的结构例子的方框图。

具体实施方式

图1是图解说明应用本发明的一个实施例的小波变换设备的一个实施例的结构例子的示图。小波变换设备1是一种频带分析设备，它把图像数据作为输入，并进行水平方向滤波和垂直方向滤波，其中低频带分量被分级地分成预定的划分级别(在图1中所示的例子中，被分成划分级别4)。

图1中所示的小波变换设备由交错单元10、水平分析滤波器单元11、1级缓冲器12、2级缓冲器13、3级缓冲器14、4级缓冲器15、选择器16、Y(亮度)垂直分析滤波器单元17、C(色差)垂直分析滤波器单元18、交错单元19、水平分析滤波器单元20和控制单元21组成。

亮度信号(亮度分量信号)D10和色差信号(色差分量信号)D11(它们是图像信号的元素)被输入交错单元10。下面注意，亮度(分量)可视情况被称为“Y”，色差(分量)可视情况被称为“C”。交错单元10交错亮度信号D10和色差信号D11。如果输入其中Y和C已被交错的图像信号，那么和后面参考图12说明的视频信号的情况一样，当然不需要交错单元10进行的处理。交错的图像信号D12被输入水平分析滤波器单元11。

水平分析滤波器单元11对其中Y和C已被交错的图像信号D12进行划分级别1的水平方向的低频带分析滤波和高频带滤波，并产生由通过水平分析滤波获得的低频带分量系数和高频带分量系数组成的频率分量系数(下面视情况也称为低频带分量、高频带分量和频率分量)。

现在，水平分析滤波器单元11对Y或C数据进行水平方向上的低频带分析滤波和高频带分析滤波，同时交替地从未示出的内部存储器(或者寄存器)读出按照踏脚石方式位于基带的Y和C数据。

1级缓冲器12保存和保持划分级别1水平分析滤波的结果。即，1级缓冲器12独立保存和保持通过水平分析滤波器单元11进行的划分级别1水平分析滤波而获得的Y频率分量(低频带分量和高频带分量)和C频率分量(低频带分量和高频带分量)。一旦能够实现垂直方向分析滤波的预定数目的垂直行的数据(频率分量)已被累积在1级缓冲器12中，就通过选择器16读出频率分量D14的该数目的垂直行量值。

2级缓冲器13保存和保持划分级别2水平分析滤波的结果。即，2级缓冲器13独立保存和保持通过水平分析滤波器单元20进行的划分级别2水平分析滤波而获得的Y频率分量(低频带分量和高频带分量)和C频率分量(低频带分量和高频带分量)。一旦能够实现垂直方向分析滤波的预定数目的垂直行的数据已被累积在2级缓冲器13中，就通过选择器16读出频率分量D15的该数目的垂直行量值。

3级缓冲器14保存和保持划分级别3水平分析滤波的结果。即，3级缓冲器14独立保存和保持通过水平分析滤波器单元20进行的划分级别3水平分析滤波而获得的Y频率分量(低频带分量和高频带分量)和C频率分量(低频带分量和高频带分量)。一旦能够实现垂直方向分析滤波的预定数目的垂直行的数据已被累积在3级缓冲器14中，就通过选择器16读出频率分量D16的该数目的垂直行量值。

4级缓冲器15保存和保持划分级别4水平分析滤波的结果。即，4级缓冲器15独立保存和保持通过水平分析滤波器单元20进行的划分级别4水平分析滤波而获得的Y频率分量(低频带分量和高频带分量)和C频率分量(低频带分量和高频带分量)。一旦能够实现垂直方向分析滤波的预定数目的垂直行的数据(频率分量)已被累积在4级缓冲器15中，就通过选择器16读出频率分量D17的该数目的垂直行量值。

在Y垂直分析滤波器单元17和C垂直分析滤波器单元18的控制下，选择器16从1级缓冲器12-4级缓冲器15中选择对应划分级别缓冲器的输出，并把选择的输出作为频率分量18输出给Y垂直分析滤波器单元17和C垂直分析滤波器单元18。

Y垂直分析滤波器单元17和C垂直分析滤波器单元18对来自选择器16的频率分量D18的预定数目的垂直行数据进行Y和C垂直分析滤波。

即，Y垂直分析滤波器单元17从对应级别的缓冲器读出频率分量D18的预定数目的垂直行数据，进行Y垂直方向低频带分析滤波和高频带分析滤波，并且在通过Y垂直分析滤波获得的频率分量中，只把低频带分量D19(对于Y来说，低频带分量D19在水平方向和垂直方向上都是低频带)输出给交错单元19，并从小波变换设备1对外输出Y的其它高频带分量D23(下面简称为“外部”)。

另外，C垂直分析滤波器单元18从对应划分级别的缓冲器读出频率分量D18的预定数目的垂直行数据，进行C垂直方向低频带分析滤波和高频带分析滤波，并且在通过C垂直分析滤波获得的频率分量中，只把低频带分量D20(对于C来说，低频带分量D20在水平方向和垂直方向上都是低频带)输出给交错单元19，并对外输出C的其它高频带分量D24。

交错单元19交错来自Y垂直分析滤波器单元17的Y低频带分量D19和来自C垂直分析滤波器单元18的C低频带分量D20。交错的低频带分量D21被输入到水平分析滤波器单元20。

水平分析滤波器单元20的结构基本上和水平分析滤波器单元11的结构相同，除了待处理的频率分量的划分级别不同之外。即，对于水平分析滤波器单元20，以踏脚石方式存在于基带上的Y和C低频带分量D21由水平分析滤波器单元20交替地从未示出的内置存储器读出，并且交替地对Y和C低频带分量D21执行水平方向低频带分析滤波和高频带分析滤波。

水平分析滤波器单元20随后把作为水平分析滤波的结果的频率分量(低频带分量和高频带分量)D22保存和保持在对应级别的缓冲器中(2级缓冲器13～4级缓冲器15之一)。

控制单元21例如由包括CPU(中央处理器)、ROM(只读存储器)和RAM(随机存取存储器)的微计算机等构成，并且通过执行各种程序，控制小波变换设备1的各个单元的处理。

下面，参考图2中的流程图，说明图1中所示的小波变换设备1的操作。即，图2图解说明由小波变换设备1执行的小波变换处理。

图像信号从外部输入交错单元10(例如，从后面说明的图28中所示的摄像机单元303)。在步骤S11中，交错单元10确定是否进行交错。例如，如果作为图像信号的元素的亮度信号D10和色差信号D11被输入，那么在步骤S11中确定要进行交错，流程进入步骤S12，交错单元10在内部存储器中交错亮度信号D10和色差信号D11。交错的图像信号D12被输入到水平分析滤波器单元11。

另外，如果输入和后面参考图12说明的视频信号的情况一样，其中Y和C被交错的图像信号(即，信号等同于图像信号D12)，那么在步骤S11中，确定不进行交错，其中Y和C被交错的图像信号D12通过交错单元10无变化地被输入到水平分析滤波器单元11。流程随后跳过步骤S12，并进入步骤S13。在步骤S13中，水平分析滤波器单元11对其中Y和C被交错的图像信号D12进行划分级别1水平分析滤波。

即，水平分析滤波器单元11具有未示出的内部存储器(或寄存器)，并且如图3中所示在内部存储器中呈递其中Y和C已被交错的输入图像信号。注意对于图3中的例子，图解说明了其中由方块表示的Y和C在存储器中被交替呈递的图像信号的基带图像。

在移动位置的同时，水平分析滤波器单元11读出在内部存储器中呈递的按照踏脚石方式位于基带上的预定数目的Y数据(就图3来说，3个样本)或者预定数目的C数据，并交替地进行Y水平方向低频带分析滤波和高频带分析滤波，和C水平方向低频带分析滤波和高频带分析滤波。

水平方向数据易于呈递给存储器地址。因此，在交替从存储器读出Y数据和C数据的同时，在水平分析滤波器单元11易于顺序执行水平分析滤波。

在步骤S14中，水平分析滤波器单元11把通过划分级别1水平分析滤波获得的频率分量保存到对应级别的缓冲器(这种情况下，1级缓冲器12)。

此时，水平分析滤波器单元11交错作为Y水平分析滤波的结果的Y高频带分量(H)和低频带分量(L)，并且独立于C地保存在1级缓冲器12中，随后交错作为C水平分析滤波的结果的C高频带分量和低频带分量，并独立于Y地保存在1级缓冲器12中，如图4中所示。

借助已知的方案，对于Y和C两者，水平分析滤波的结果都被分成高频带分量和低频带分量，并如此保存在缓冲器中，如图5中所示。但是，如同已知方案的情况一样，把高频带分量和低频带分量映射到缓冲器中的不同地址需要用于分发所述高频带分量和低频带分量的独立控制器。

相反，对于按照本实施例的图4中所示的例子，Y高频带分量(H)和低频带分量(L)被交替保存在1级缓冲器12中，C高频带分量(H)和低频带分量(L)被交替地保存在与Y不同的地址。即，对于Y和C每个来说，作为水平分析滤波的结果的高频带分量和低频带分量都通过水平分析滤波器单元11被交错地保存在1级缓冲器12中，从而在读出保存在1级缓冲器12中的频率分量的时候，所需的只是从1级缓冲器12的前端开始读出，从而简化了控制。

现在，返回图2，当通过水平分析滤波而获得的频率分量在图4中所示的1级缓冲器12中累积达到预定数目的垂直行(就图4中所示的情况来说，3条垂直行)，从而能够进行垂直分析滤波时，例如，在步骤S15中，通过控制选择器16选择1级缓冲器12的输出，Y垂直分析滤波器单元17和C垂直分析滤波器单元18从1级缓冲器12读出必需数目的垂直行的频率分量。读出的频率分量通过选择器16作为Y和C频率分量D18被输入到Y垂直分析滤波器单元17和C垂直分析滤波器单元18。

在步骤S16中，Y垂直分析滤波器单元17对Y频率分量的预定数目的垂直行数据(就图4的情况来说，3条垂直行数据)进行对应划分级别(当前情况下，划分级别1)的Y垂直分析滤波。在步骤S17中，C垂直分析滤波器单元18对C频率分量的预定数目的垂直行量值(就图4的情况来说，3行量值)进行对应划分级别(当前情况下，划分级别1)的C垂直分析滤波。步骤S16和S17中的处理并行执行；后面将参考图8详细说明步骤S16和S17的处理。

作为划分级别1Y和C垂直分析滤波的结果(即，划分级别1 Y和C分析滤波的结果)，对于Y和C产生由低频带分量(1LL)系数和高频带分量(1HH、1LH、1HL)系数组成的四个频率分量，如图6中所示。注意在图6中所示的例子中，“L”和“H”的顺序指示作为先前进行水平分析滤波的结果的带宽(低频带或高频带)，和作为进行垂直分析滤波的结果的带宽(低频带或高频带)按该次序排列。此外，“L”或“H”之前的数字指示划分级别。

这是划分级别1分析滤波，结果在Y垂直分析滤波器单元17产生Y低频带分量(1LL)D19和高频带分量(1HH、1LH、1HL)D23，在C垂直分析滤波器单元18产生C频带分量(1LL)D20和高频带分量(1HH、1LH、1HL)D24。在这些分量中，只有低频带分量(1LL)按照设置的划分级别(最终级别)被再次分析，而高频带分量不再被进一步分析。即，低频带分量被进一步分成最终级别，从而，最终级别也可被认为是输出最低频带的最低频带级。

在步骤S18中，Y垂直分析滤波器单元17和C垂直分析滤波器单元18确定是否已按照设置的划分级别中的最终级别(就图1中所示的情况来说，划分级别4)计算了分析滤波。就划分级别1来说，该流程还没有达到最终级别，从而处理进入步骤S19。

在步骤S19中，Y垂直分析滤波器单元17和C垂直分析滤波器单元18对外输出Y高频带分量(1HH、1LH、1HL)D23和C高频带分量(1HH、1LH、1HL)D24(例如，输出给后面说明的图24所示的量化单元112)。

另一方面，Y低频带分量(1LL)D19和C低频带分量(1LL)D20被输出给交错单元19。因此，在步骤S20中，交错单元19交错Y低频带分量(1LL)D19和C低频带分量(1LL)D20，并把交错的低频带分量D21输入到水平分析滤波器单元20。

即，如图7中所示，Y频率分量的低频带分量(1LL)D19和C频率分量的低频带分量(1LL)D20被交替交错和合成。注意在图7中所示的例子中，示于底部的在Y和C的交错之后的低频带分量(1LL)的大小被图解表示成和由虚线所示的交错之前Y或C独自的低频带分量(1LL)的大小相同，但是实际上，其大小为Y或C独自的低频带分量的大小的两倍。

在步骤S21中，水平分析滤波器单元20对其中Y和C被交错的低频带分量D21进行对应划分级别(这种情况下，划分级别2)的水平分析滤波(水平方向低频带分析滤波和高频带分析滤波)，并产生作为水平分析滤波的结果的低频带分量和高频带分量。注意步骤S21中的处理和前述步骤S13中的处理基本相同，唯一的区别是待处理的频率分量的划分级别。

在步骤S21之后，流程返回步骤S14，并重复后续处理。即，在步骤S14中，水平分析滤波器单元20把通过水平分析滤波获得的频率分量(低频带和高频带分量)D22保存和保持在对应级别的缓冲器中(这种情况下，2级缓冲器13)。

当通过水平分析滤波而获得的频率分量在2级缓冲器13中累积达到预定数目的垂直行，从而能够进行垂直分析滤波时，在步骤S15中，必需数目的垂直行的频率分量从2级缓冲器13被读出，并通过选择器16被输入到Y垂直分析滤波器单元17和C垂直分析滤波器单元18。在步骤S16中，对预定数目的垂直行的Y频率分量进行划分级别2Y垂直分析滤波，在步骤S17，对预定数目的垂直行的C频率分量进行划分级别2C垂直分析滤波。

作为划分级别2Y和C垂直分析滤波的结果，对于Y和C，均产生上低频带分量(2LL)系数和高频带分量(2HH、2LH、2HL)系数组成的四个频率分量。在步骤S18，确定流程还没有达到最终级别，从而在步骤S19中，高频带分量(2HH、2LH、2HL)D23被向外输出。在步骤S20中，低频带分量(2LL)的Y和C被交错，以及在步骤S21中，对其中Y和C已被交错的低频带分量2(LL)进行划分级别2水平分析滤波，从而产生作为水平分析滤波的结果的低频带分量和高频带分量，流程再次返回步骤S14，产生的低频带分量和高频带分量被存储和保留在3级缓冲器14中，并重复后续处理，直到预置划分级别的最终级别为止。

按照相同的方式执行上述一系列的处理，直到预置划分级别的最终级别(划分级别4)的Y和C垂直分析滤波为止。随后，在步骤S18中，确定最终级别已完成，流程进入步骤S22。

在步骤S22中，Y垂直分析滤波器单元17和C垂直分析滤波器单元18向外输出最终级别的亮度频率分量(4LL、4HL、4LH、4HH)D23和最终级别的色差频率分量(4LL、4HL、4LH、4HH)D24。从而，结束划分级别4图像信号小波变换。

如上所述，图1中所示的小波变换设备1具有用于从级别1到预定数目的级别的每个划分级别的缓冲器，并在进行水平分析滤波的时候，把水平分析滤波结果保存在每个划分级别的缓冲器中。因此，能够在从每个划分级别的缓冲器读出水平分析滤波的结果的时候，进行垂直方向滤波。即，能够同时并行地进行水平方向和垂直方向分析滤波。

从而，能够对于运动图像和高清晰度图像高速进行小波变换。

另外，内部存储器负责从级别1到预定级别的每个划分级别的缓冲器，从而不需要向在日本未经审查的专利申请公开No.10-283342中描述的方案那样配置外部存储器。

因此，不需要与外部存储器交换数据，能够以比当访问外部存储器时更高的速度进行小波变换。从而，不需要提高时钟频率以提高外部存储器和小波变换设备之间数据的速度，从而节省电能。

另外，对其中Y和C被交错的频率分量进行水平方向分析滤波，从而，水平分析滤波器单元可以是单一结构，显著减小硬件的规模。在水平方向上被交错的这种数据能够容易地呈递给寄存器或存储器，此外，能够被高速读写，从而有助于实现更高速度的小波变换。

此外，如上参考图4和5所述，分别对Y和C，交错作为水平分析滤波的结果的高频带分量和低频带分量，并将其保存在对应级别的缓冲器中，Y和C被独立保存，从而在读出时，所需的只是的该级别的缓冲器的前端开始读出，从而简化了控制。

另外，分别对Y和C独立进行垂直方向分析滤波，从而，不需要在图8中所示的不对Y和C独立进行垂直方向分析滤波的情况下必需的大存储容量，并且能够避免成本的显著增加。此外，也能够避免对额外处理时间的需要。

现在，图8将被用于说明其中不对Y和C独立进行垂直方向分析滤波，即，其中如同水平分析滤波器单元11和19一样，Y和C被交错，随后在进行移动的同时交替进行Y和C垂直分析滤波的情况，以便比较这样的方案与本发明的一个实施例的方案。

在图8中的例子中，表示了在该处呈递交错的Y和C的行缓冲器的一个例子。如果例如图像由n行构成，那么首先在行缓冲器呈递第一行的亮度分量Y1，随后呈递第一行的色差分量C1，呈递第二行的亮度分量Y2，接下来，呈递第二行的色差分量C2，呈递第三行的亮度分量Y3，随后，呈递第三行的色差分量C3等等，直到呈递第n行的亮度分量Yn，接下来呈递第n行的色差分量Cn为止，从而交错的Y和C被呈递给行缓冲器。

即，在如同图1中所示的Y垂直分析滤波器单元17和C垂直分析滤波器单元18一样独立处理Y和C的情况下，所需的只是独立读出Y和C，但是为了一起处理Y和C，需要交错和呈递Y和C，需要用于C(或用于Y)的额外行缓冲器。

另外，在累积了待执行的垂直分析滤波所需的行数(例如3行)时，执行垂直分析滤波，从而在图8中的例子中，在实际操作中，当亮度分量Y3(从顶部开始的第五行)被累积时，执行Y垂直分析滤波，当色差分量C3(从顶部开始的第六行)被累积时，执行C垂直分析滤波，等等，Y和C垂直分析滤波被交替进行。

相对，对于图1中所示的Y垂直分析滤波器单元17和C垂直分析滤波器单元18的情况，Y和C垂直分析滤波被并行执行，从而每单位时间的处理速率快于图8中的例子的处理速度。

如上所述，其中在交错Y和C之后进行Y和C垂直分析滤波的方案是有利的，因为只需要一个垂直分析滤波器单元，但是与本发明的实施例相比，这需要用于C(或者用于Y)的一个额外的行缓冲器。如果用内置存储器配置该行缓冲器，那么对于水平分辨率高的图像(例如，在HDTV(高清晰度电视)的情况下的1920像素)，需要极大数量的存储器，显著增大成本。另外，在图8中所示的例子中，必须利用单个垂直分析滤波器单元交替地处理Y和C，从而与如本发明的实施例那样，用两个垂直分析滤波器单元进行处理(一个用于Y，一个用于C)的情况相比，需要更多的处理时间。

从而，在交错Y和C之后进行Y和C垂直分析滤波的方案不利之处多于有利之处。相反，在如本发明的实施例那样，用两个垂直分析滤波器单元进行处理(一个用于Y，一个用于C)的情况下，不需要额外的行缓冲器，从而能够抑制成本的显著增大，另外，利用两个垂直分析滤波器单元能够并行进行处理，从而能够加速处理时间。

如上所述，利用Y垂直分析滤波器单元17的Y垂直分析滤波和利用C垂直分析滤波器单元18的C垂直分析滤波被并行进行，不过，亮度分量的数据量通常大于色差分量的数据量，从而，滤波执行时间趋向于较长，因此，即使同时开始Y垂直分析滤波和C垂直分析滤波，它们也不会同时结束。

因此，在Y和C的垂直分析滤波结果中，高频带分量D23和D24并不再次经受水平分析滤波，从而如图9中所示，一个持续等待另一个。

即，在图9中所示的例子中，在同时开始第一行的亮度分量Y1的处理和第一行的色差分量C1的处理之后，依次进行第二行的亮度分量Y2的处理，第三行的亮度分量Y3的处理等，直到第n行的亮度分量Yn的处理，从而完成Y垂直分析滤波。

另外，在第一行的色差分量C1的处理之后，开始第二行的色差分量C2的处理，而不等待同时开始的第一行的亮度分量Y1的处理结束，随后，在第二行的色差分量C2的处理之后，执行第三行的色差分量C3的处理等等，直到第n行的色差分量Cn的处理，从而，C垂直分析滤波结束于Y垂直分析滤波结果之前。

另一方面，对于Y和C垂直分析滤波结果，低频带分量D19和D20随后需要在交错单元19被交错，从而，需要匹配这两者数据的输出定时，如图10中所示。

即，在图10中所示的例子中，如同图9中所示例子一样，在同时开始第一行的亮度分量Y1的处理和第一行的色差分量C1的处理之后，依次执行第二行的亮度分量Y2的处理，第三行亮度分量Y3的处理等等，直到第n行的亮度分量Yn的处理，从而完成Y垂直分析滤波。

相反，第二行的色差分量C2的处理不是在第一行的色差分量C1的处理之后立即执行，而是在等候和第一行的色差分量C1的处理同时开始的第一行的亮度分量Y1的处理结束之后才执行。第三行的色差分量C3的处理不是在第二行的色差分量C2的处理之后立即执行，而是在等候和第二行的色差分量C2的处理同时开始的第二行的亮度分量Y2的处理结束之后才执行。最后，第n行的色差分量Cn的处理不是在第n-1行的色差分量Cn-1的处理之后立即执行，而是在等候和第n-1行的色差分量Cn-1的处理同时开始的第n-1行的亮度分量Yn-1的处理结束之后才执行。

如上所述，为了独立地(并行地)进行Y和C的垂直方向分析滤波，需要匹配作为Y和C的结果获得的低频带分量的输出时间。从而，可使上面参考图7说明的Y和C低频带分量的交错平滑地进行。

下面详细说明上述分析滤波中的计算方法。分析滤波计算方法中的最常见计算方法是称为卷积计算的方法。通过对滤波器抽头系数的实际输入数据进行卷积乘，该卷积计算是实现数字滤波器的最基本方式。但是，对于卷积计算来说，如果抽头长度较大，那么存在其中计算负载相应增大的情况。

在论文“W.Swelden，′The lifting scheme：A custom-designconstruction of biorthogonal wavelets′，Appl.Comput.Harmon.Anal.，Vol 3，No.2，pp.186-200，1996”中介绍的小波变换提升是一种处理这种情况的已知技术。

图11图解说明和JPEG(联合图像专家组)2000标准一起使用的5×3分析滤波器的提升方案。将说明在对该5×3分析滤波器应用提升技术的情况下的分析提升。

在图11中所示的例子中，顶层、中间层和底层分别表示输入图像、高频带分量输出和低频带分量输出的一个像素行。顶层并不局限于输入图像的一个像素行，可以是从先前的分析滤波获得的系数(频率分量)。这里注意，顶层是输入图像的一个像素行，实心方块表示偶数像素或偶数行，实心圆表示奇数像素或奇数行。

在第一阶段，根据输入的像素行产生高频带分量系数，如下面的表达式(1)中所示。

系数d_i¹＝d_i⁰-1/2(s_i⁰+s_i+1⁰)...(1)

随后，作为第二阶段，利用产生的高频带分量系数和输入像素行的奇数像素，产生低频带分量系数，如下面的表达式(2)中所示。

系数s_i¹＝s_i⁰+1/4(d_i-1¹+d_i¹)...(2)

从而，对于分析滤波，首先产生高频带分量系数，之后产生低频带分量系数。从表达式(1)和(2)可看出，仅仅利用加法计算和移位计算就能够实现此时使用的两种类型的滤波器组。另外，对于Z变换表达式，滤波器的抽头不超过2个，如下面的表达式(3)中所示。换句话说，两个抽头能够满足需要五个抽头的情况的需要，因此，能够显著减少计算量。从而，这种提升技术也将被应用于关于小波变换设备1的水平分析滤波和垂直分析滤波。

P(z)＝(1+z^-1)/2，U(z)＝(1+z^-1)/4...(3)

现在，虽然上面利用普通的图像信号说明了小波变换设备1的结构和操作；不过，下面将说明其中视频信号(所述视频信号是运动图像)被输入小波变换设备1的情况。

视频信号通常由标准规定，在日本、美国和几个其它国家中常用的电视广播信号是NTSC(国家电视标准委员会)信号。另外，HDTV信号按照USA标准化组织SMPTE(电影和电视工程师学会)的称为SMPTE274M的标准被标准化。下面将关于HDTV信号(分辨率1920×1080)进行说明。

图12图解说明HDTV视频信号数据的分量。在该视频信号中，亮度分量Y的实际样本数据的数目是1920样本/行，同时EAV(有效视频的结束)、SAV(有效视频的开始)的样本数据被置于Y实际样本数据之前。这些由总共280个样本构成。对于色差分量Cb和Cr来说，配置也是一样，不过格式为4:2:2，Cb和Cr的实际样本数据的数目均为Y的一半，从而，Cb和Cr的总数和Y的数目一样。

多路复用Y和Cb、Cr对于EAV和SAV来说，产生总共560个样本的数据，对于Y、Cb和Cr来说，产生总共3840个样本。从而，HDTV SMPTE274M标准(通常称为“HD-SDI(高清晰度串行数据接口)标准”)视频信号已使Y和C被交错。因此，这种多路复用的样本数据等同于在图1中的例子中所示的图像信号D12。即，图像信号D12被输入到图1中所示的交错单元10，并且如上关于图2中的步骤S11所述那样，图像信号D12无变化地被输入水平分析滤波器单元11。下面将假定这种情形进行说明。

如果视频信号作为图像信号被输入小波变换设备1，那么以每秒输入60场(field)，或者1/60秒输入每个画面的形式输入视频信号，从而前面参考图2说明的小波变换处理必须在该短时间内完成。即，必须高速完成小波变换。

处理这种要求的一种方式是在水平分析滤波器单元11输入视频信号(图像信号D12)，在水平方向上的列数(样本数)达到预定数目时，立即执行水平方向低频带分析滤波和高频带分析滤波。注意虽然图13中所示的例子是关于亮度信号Y的情况，不过色差信号C也可按照相同的方式处理。此外，尽管说明将被省略，不过这同样适用于水平分析滤波器单元20。

例如，水平分析滤波器单元11等待，直到在内部存储器输入和呈递其中Y和C已被交错的2M列图像信号D12为止。M的值对应于用于水平分析滤波的抽头的数目，因此抽头的数目越大，则M的值越大。注意图像信号D12使Y和C被交错，从而等候两倍于列数M的存储。

当在内置存储器中累积了M列的Y信号时，水平分析滤波器单元11立即进行水平分析滤波。即，水平分析滤波器单元11从内置存储器顺序读出M列(例如就图3来说，M＝3)的Y，并进行Y水平方向低频带分析滤波和高频带分析滤波。作为水平分析滤波的结果的Y低频带分量和高频带分量被交错，并被保存在1级缓冲器12中。当行数达到N行时，保存在1级缓冲器12中的Y低频带分量和高频带分量被读出并被输入到Y垂直分析滤波器单元17。

在累积了N行(例如，就图4来说，N＝3)的Y低频带分量和高频带分量时，Y垂直分析滤波器单元17立即进行垂直方向低频带分析滤波和高频带分析滤波。N的值对应于用于垂直分析滤波的抽头的数目，因此抽头的数目越大，则N的值越大。如图13和14中所示，作为垂直分析滤波的结果，这种Y垂直分析滤波产生低频带分量(1LL)D19和高频带分量(1HL、1LH、1HH)D23。

现在，尽管说明将被省略，不过在Y水平分析滤波之后，按照和Y水平分析滤波相同的方式，在移动位置的时候，水平分析滤波器单元11进行C水平分析滤波，并且并行于Y垂直分析滤波器单元17的处理，C垂直分析滤波器单元18按照和Y垂直分析滤波相同的方式对水平分析滤波的结果进行C垂直分析滤波，从而产生作为C垂直分析滤波结果的低频带分量(1LL)D20和高频带分量(1HL、1LH、1HH)D24。

在垂直分析滤波之后，Y低频带分量D19和C低频带分量D20在交错单元19被交错，并且当在交错单元19的存储器中累积了和启动其中Y和C已被交错的低频带分量D21的水平方向分析滤波所必需的列数一样多的列数时，水平分析滤波器单元20立即进行划分级别2水平分析滤波。按照这种方式重复分析低频带分量的原因在于图像信号的更大部分能量集中在低频带分量中。

水平分析滤波器单元20依次从内部存储器读出M列，并进行Y水平方向低频带分析滤波和高频带分析滤波，作为划分级别2水平分析滤波。作为水平分析滤波的结果的Y低频带分量和高频带分量被交错，并被保存在2级缓冲器13中。这也适用于C，因此这里将不再赘述。

如图14中所示，当在2级缓冲器13中累积了N/2行的低频带和高频带分量时，垂直分析滤波器单元18立即进行Y垂直方向低频带分量滤波和高频带分析滤波。如图15中所示，所述垂直滤波产生低频带分量(2LL)和高频带分量(2HL、2LH、2HH)。即，在图15中所示的例子中，划分级别1的频率分量1LL被分成四个频率分量2LL、2HL、2LH和2HH。

如上所述，在随后输入视频信号到视频信号的一个画面的结束的时候，重复执行在预定划分级别以前被重复执行的小波变换，从而一个图像经受到预定划分级别的频带划分。

如果进一步增大划分级别的数目，那么可对低频带分量反复进行分析滤波。图16是图解说明其中实际图像已由分析滤波分成划分级别3的例子的示图，其中N＝4。

即，对于该图像，在划分级别1垂直分析滤波中，一旦累积了四行量值的频率分量，就进行垂直分析滤波；在划分级别2垂直分析滤波中，一旦累积了两行量值的频率分量，就进行垂直分析滤波；在划分级别3垂直分析滤波中，一旦累积了一行量值的频率分量，就进行垂直分析滤波；从而可明白划分已进行到划分级别3。

如上所述，一旦累积了预定列数或预定行数的频率分量，就进行分析滤波，从而能够有效地进行一个图像量值的视频画面的分析滤波。即，能够高速进行小波变换。

另外，对于整个屏幕的所有行，分阶段地多次进行获得至少一行的低频带分量的系数数据的分析滤波使得能够在一个系统中以很小的延迟获得解码图像，在所述系统中，例如，如后参考图28所述，小波变换后的频率分量被编码和传送，以及被解码。

另外，以构成视频信号的多个画面(场或帧)为增量进行如上所述的对视频信号进行的分析滤波，从而需要检测画面的结束，并且停止和重置分析滤波操作。这种情况下，虽然附图中的图解说明将被省略，不过小波变换设备1被构成为具有例如提供给交错单元10的内置的用于检测视频信号中的垂直同步信号的垂直同步信号检测单元。

图17是SMPTE274M标准交错信号的信号分布图。上半部表示第一场，下半部表示第二场。在第一场的前面有22行量值的垂直同步信号，在第二场的前面有23行量值的垂直同步信号。

因此，小波变换设备1具有例如内置在交错单元10中用于检测视频信号中的垂直同步信号的垂直同步信号检测单元，并且利用该内置的垂直同步信号检测单元检测垂直同步信号。

从而，能够容易地检测画面的结束，并且依据所述检测，能够停止分析滤波操作。即，能够以构成视频信号的多个画面(场或帧)为增量对视频信号进行分析滤波。

图18是图解说明对应于图1中所示的小波变换设备的小波逆变换设备的一个实施例的结构例子的示图。小波逆变换设备51是频带合成设备，它获得由经受图1中所示的小波变换设备1的小波变换并被分成预定级别(在图18中所示的情况下，划分级别4)的图像信号获得的频率分量。当然，如果小波变换划分级别的数目的不同，那么对应于划分强加的数目进行逆变换。

图18中所示的小波逆变换设备51由3级缓冲器61、2级缓冲器62、1级缓冲器63、选择器64、垂直合成滤波器单元65、水平合成滤波器单元66、选择器67和控制单元68构成。即，小波逆变换设备51具有用于除最低的频带级别(划分级别4)外的每个级别的独立缓冲器(3级缓冲器61～1级缓冲器63)。

划分级别4频率分量(4LH、4HH)D61和划分级别4频率分量(4LL、4HL)D62从未示出的外部来源(例如，从将在后面说明的图28中所示的数字解码单元313)被输入选择器64。划分级别3频率分量(3LH、3HH)D63和划分级别3频率分量(3HL)D64被输入到3级缓冲器61。划分级别2频率分量(2LH、2HH)D65和划分级别2频率分量(2HL)D66被输入到2级缓冲器62。划分级别1频率分量(1LH、1HH)D67和划分级别1频率分量(1HL)D68被输入到1级缓冲器63。

3级缓冲器61保存和保持通过对划分级别4的垂直合成滤波结果进行的水平合成滤波而获得的划分级别3低频带分量的系数(3LL)D80，和从外部获得的划分级别3频率分量(3LH、3HH)D63和划分级别3频率分量(3HL)D63。划分级别3低频带分量系数(3LL)D80和划分级别3频率分量(3HL)D64在3级缓冲器61被结合，并作为划分级别3频率分量(3LL、3HL)D70从3级缓冲器61输出，同时划分级别3频率分量(3LH、3HH)D63作为划分级别3频率分量(3LH、3HH)D69无变化地从3级缓冲器61输出。

2级缓冲器62保存和保持通过对划分级别3的垂直合成滤波结果进行的水平合成滤波而获得的划分级别2低频带分量(2LL)D80，和从外部获得的划分级别2频率分量(2LH、2HH)D65和划分级别2频率分量(2HL)D66。划分级别2低频带分量(2LL)D80和频率分量(2HL)D66在2级缓冲器62被结合，并作为划分级别2频率分量(2LL、2HL)D72从2级缓冲器62输出，同时划分级别2频率分量(2LH、2HH)D65作为划分级别2频率分量(2LH、2HH)D71无变化地从2级缓冲器62输出。

1级缓冲器63保存和保持通过对划分级别2的垂直合成滤波结果进行的水平合成滤波而获得的划分级别1低频带分量(1LL)D80，和从外部获得的划分级别1频率分量(1LH、1HH)D67和划分级别1频率分量(1HL)D68。划分级别1低频带分量(1LL)D80和频率分量(1HL)D68在1级缓冲器63被结合，并作为划分级别1频率分量(1LL、1HL)D74从1级缓冲器63输出，同时划分级别1频率分量(1LH、1HH)D67作为划分级别1频率分量(1LH、1HH)D73无变化地从1级缓冲器63输出。

在垂直合成滤波器单元65的控制下，选择器64从外部来源和从3级缓冲器61～1级缓冲器63中选择所述外部来源或者对应的划分级别缓冲器的输出，并把选择的输出作为频率分量(LH、HH)D75和频率分量(LL、HL)D76输出给垂直分析滤波器单元65。

垂直合成滤波器单元65参考在共同具有水平方向频带L的频率分量LL和频率分量LH中的相同位置的系数，收集垂直方向上的预定数目(借助其能够执行垂直合成滤波的数目)，并进行垂直合成滤波。按照相同的方式，垂直合成滤波器单元65参考在共同具有水平方向频带H的频率分量HL和频率分量HH两者中的相同位置的系数，收集垂直方向上的预定数目(借助其能够执行垂直合成滤波的数目)，并进行垂直合成滤波。通过垂直合成滤波产生的水平方向低频带(L)分量D77和水平方向高频带(H)分量D78被输出给水平合成滤波器单元66。

水平合成滤波器单元66参考在水平方向低频带(L)分量D77和水平方向高频带(H)分量D78中的相同位置的系数，收集水平方向上的预定数目(借助其能够执行水平合成滤波的数目)，并进行水平合成滤波。从而，按照从图像的顶行开始的顺序产生低频带分量，产生的低频带分量(或图像)D79被输出给选择器67。

在控制单元68的控制下，如果进入下一划分级别，那么选择器67把低频带分量D80输出给和所述下一划分级别对应的级别的缓冲器一方，以便保存在和所述下一划分级别对应的级别的缓冲器中，如果到小波变换中的初始划分级别(即，划分级别1)为止，都已结束了小波逆变换，那么向外输出基带图像D81。

控制单元68由包括例如CPU、ROM和RAM的微计算机等构成，并通过执行各种程序，控制小波逆变换设备51的各个单元的处理。

注意虽然图1中所示的小波变换设备1在Y和C被交错的情况下进行水平分析滤波，不过图18中所示的小波逆变换设备51在Y和C被完全分离的情况下进行处理。即，小波逆变换设备51实际上具有分别用于Y和C的两个独立的图18中所示的结构。

小波逆变换设备51不像小波变换设备1那样交错Y和C的原因在于首先进行垂直分析滤波，之后进行水平分析滤波。即，如上参考图8所述，垂直分析滤波需要额外的行缓冲器，另外花费更多的处理时间。

下面将参考图19中的流程图，说明图18中所示的小波逆变换设备51的操作。即，图19图解说明由小波逆变换设备51执行的小波逆变换处理，其中按照从分辨率最低的低频带分量到高频带分量的顺序执行小波逆变换处理。就划分级别来说，按照级别4、级别3、级别2和级别1的顺序执行小波逆变换处理。注意在图19中，是在未指定Y或C的情况下进行所述说明的，不过实际上，独立并且并行地对Y和C进行图19的处理。

在步骤S61中，选择器64外部输入划分级别4频率分量(4LH、4HH)D61和划分级别4频率分量(4LL、4HL)D62。随后在垂直分析滤波器单元65的控制下，选择器64选择来自该外部来源的输出，并把选择的输出(划分级别4频率分量(4LH、4HH)D61和划分级别4频率分量(4LL、4HL)D62)输出给垂直分析滤波器单元65，作为频率分量(4LH、4HH)D75和频率分量(4LL、4HL)D76。

在步骤S62中，垂直合成滤波器单元65对频率分量(4LH、4HH)D75和频率分量(4LL、4HL)D76执行划分级别4垂直合成滤波。

即，如图20中所示，垂直合成滤波器单元65参考在具有水平方向频带L和垂直方向频带L的频率分量4LL，和具有水平方向频带L和垂直方向频带H的频率分量4LH两者(两者都具有水平方向频带L)的相同位置的系数(由图中的圆指示)，收集垂直方向上的预定数目，从而能够进行垂直合成滤波(就图20来说，所述数目为六)，并进行垂直合成滤波。

另外，垂直合成滤波器单元65参考在具有水平方向频带H和垂直方向频带L的频率分量4HL，和具有水平方向频带H和垂直方向频带H的频率分量4HH两者(两者都具有水平方向频带H)的相同位置的系数(由图中的圆指示)，收集垂直方向上的预定数目，从而能够进行垂直合成滤波(就图20来说，所述数目为六)，并进行垂直合成滤波。

在图20中所示的例子中，图解说明其中利用频率分量4LL的三个系数和频率分量4HL的在与频率分量4LL的三个系数相同位置的三个系数进行垂直合成滤波的例子，和其中利用频率分量4HL的三个系数和在与频率分量4HL相同位置的频率分量4HH的三个系数进行垂直合成滤波的例子。

从而，水平方向低频带(L)分量D77和水平方向高频带(H)分量D78被产生，并被输出给水平合成滤波器单元66。

在步骤S63中，水平合成滤波器单元66对水平方向低频带(L)分量D77和水平方向高频带(H)分量D78进行划分级别4水平合成滤波。

即，如图21中所示，水平合成滤波器单元66参考在水平方向低频带(L)分量D77和水平方向高频带(H)分量D78的相位位置的系数(由图中的圆指示)，收集水平方向上的预定数目，从而能够进行水平合成滤波(就图21的情况来说，所述数目为六)，并进行水平合成滤波。

在图21中所示的例子中，图解说明了其中利用三个低频带分量系数和高频带分量中位于与三个低频带分量系数相同位置的三个系数，进行水平合成滤波的例子。

从而，如图22中所示，从图像的顶部开始顺序产生一行低频带分量，从而产生划分级别3低频带分量(3LL)D79，输出给选择器67。即，图22中的例子表示通过产生低频带分量行，以致按照从图像的顶行开始的顺序产生第一行的低频带分量而获得的每个级别的基带图像或低频带分量。

在步骤S64，控制单元68确定小波逆变换是否已进入划分级别1，它是小波变换的初始级别(换句话说，小波逆变换的最终级别)，如果确定划分级别1没有结束，那么处理进入步骤S65。

在步骤S65，控制单元68控制选择器67，以便选择给3级缓冲器61的输出，并把通过水平合成滤波而获得的划分级别3低频带分量(3LL)D80保存在对应级别的缓冲器中(这种情况下，3级缓冲器61)。

在步骤S66中，控制单元68把来自外部来源的划分级别3频率分量(3LH、3HH)D63和划分级别3频率分量(3HL)D64传送给3级缓冲器61，以便被保存。

在步骤S67中，垂直分析滤波器单元65控制选择器64，以便选择来自3级缓冲器61的输出，从而从3级缓冲器61读出频率分量，并且已经读出的频率分量作为频率分量(3LH、3HH)D75和频率分量(3LL、3HL)D76被输出给垂直分析滤波器单元65。

即，在3级缓冲器61，划分级别3低频带分量(3LL)D80和划分级别3频率分量(3HL)被结合，并作为划分级别3频率分量(3LL、3HL)D70从3级缓冲器61输出，划分级别3频率分量(3LH、3HH)D63作为划分级别3频率分量(3LH、3HH)D69无变化地从3级缓冲器61输出。因此，划分级别3频率分量(3LL、3HL)D70和划分级别3频率分量(3LH、3HH)D69分别作为频率分量(3LH、3HH)D75和频率分量(3LL、3HL)D76被输出给垂直分析滤波器单元65。

随后，处理返回步骤S62，并重复后续处理。即，在步骤S62，进行划分级别3垂直合成滤波，在步骤S63，进行划分级别3水平合成滤波，产生划分级别2低频带分量(2LL)。

这种情况下，在步骤S64中，确定划分级别1还没有结束，从而通过水平分析滤波而获得的划分级别2低频带分量(2LL)D80被保存在对应级别的缓冲器中(这种情况下，2级缓冲器62)。按照相同的方式，来自外部来源的划分级别2频率分量(2LH、2HH)D65和划分级别2频率分量(2HL)D66被传送给3级缓冲器61。

此时，按照和3级缓冲器61的情况相同的方式，在2级缓冲器62，划分级别2低频带分量(2LL)D80和划分级别2频率分量(2HL)D64被结合，并作为划分级别2频率分量(2LL、2HL)D70从2级缓冲器62输出，而划分级别2频率分量(2LH、2HH)D63作为划分级别2频率分量(2LH、2HH)D69无变化地从2级缓冲器62输出。

进行上面的一系列处理，直到划分级别1频率分量被保存在1级缓冲器63中并被读出。随后，在步骤S62中，进行划分级别1垂直合成滤波，并在步骤S63，进行划分级别1水平合成滤波。从而，产生其中合成滤波已结束于划分级别1的基带图像，以及在步骤S64中，确定划分级别1已结束，从而流程进入步骤S68，在步骤S68中，来自水平合成滤波器单元66的基带图像D81通过选择器67被向外输出(例如，输出给后面说明的图26中所示的逆量化单元162)。

如上所述，图18中所示的小波逆变换设备51也被构成为能够用内部存储器负责除最低频带级别之外的每个划分级别的缓冲器，从而在进行水平合成滤波的时候，水平合成滤波结果可被保存在每个划分级别的缓冲器中。因此，在从每个划分级别的缓冲器读出水平合成滤波的结果的时候，能够进行垂直合成滤波。即，能够同时并行地进行水平方向和垂直方向滤波。

从而，也能够对运动图像和高分辨率图像高速地进行小波变换。

另外，内部存储器负责除最低的频带级别之外的每个划分级别的缓冲器，从而不需要如同已知方案那样配置外部存储器。

因此，不需要与外部存储器交换数据，能够高速地进行小波逆变换。从而，不需要升高时钟频率来提高外部存储器和小波逆变换设备之间数据的速度，从而节省电能。

此外，对于小波逆变换设备，Y和C被完全独立地处理，因为在水平合成滤波之前进行垂直合成滤波，因此如上参考图8所述，避免了在垂直合成滤波时对额外的行缓冲器的需要，另外能够抑制过多的处理时间。

虽然上面对于小波变换设备的情况，参考图11进行了说明，不过通过利用提升技术，能够对分析滤波进行有效的滤波。因此，提升技术也可类似地和用于小波逆变换的合成滤波一起使用。

图23图解说明了和JPEG(联合图像专家组)2000一起使用的5×3分析滤波器的提升方案。下面将说明把提升技术应用于该5×3分析滤波器的情况下的合成提升。

在图23中所示的例子中，顶部表示小波变换产生的系数，实心圆表示高频带分量系数，实心方块表示低频带分量系数。

作为第一阶段，根据输入的低频带分量和高频带分量系数产生偶数(从0开始)系数，如下面的等式(4)中所示。

偶数系数s_i⁰＝s_i¹-1/4(d_i-1¹+d_i¹)...(4)

随后，作为第二阶段，根据在第一阶段产生的偶数系数和输入的高频带分量系数，产生奇数(从0开始)系数，如下面的等式(5)中所示。

奇数系数d_i⁰＝d_i¹+1/2(s_i⁰+i_s+1⁰)...(5)

从而，对于合成滤波，首先产生偶数系数，随后产生奇数系数。按照和上面关于图11所述相同的方式，用于合成滤波的这两种滤波器组具有两个抽头，这远远少于原先所需的五个抽头，从而显著减少计算量。

另外，虽然关于对视频信号(它是运动图像)进行小波变换的例子，参考图12-16进行了上面的说明，不过在以构成视频信号的多个画面为增量进行小波变换产生(划分)的频率分量系数的小波逆变换的情况下，还需要高速地进行小波逆变换。

因此，和小波变换设备1中的Y垂直分析滤波器单元17和C垂直分析滤波器单元18的情况一样，当在垂直方向上累积了预定数目的频率分量系数(即，和执行垂直合成滤波所必需的数目一样多的数目)的时候，小波逆变换设备51的垂直合成滤波器单元65还立即执行垂直方向合成滤波。

此外，和小波变换设备1中的水平分析滤波器单元11的情况一样，当在水平方向上累积了预定数目的频率分量系数(即，和执行水平合成滤波所必需的数目一样多的数目)的时候，小波逆变换设备51的水平合成滤波器单元66还立即执行水平方向合成滤波。

如上所述，一旦在垂直方向上和在水平方向上累积了预定数目的频率分量系数，就进行合成滤波，从而能够有效地进行一个画面的视频信号的合成滤波。即，能够高速进行小波逆变换。

此外，上面参考图17说明了其中如果用图1中所示的小波变换设备1进行视频信号(它们是运动图像)的小波变换，那么通过具有检测视频信号的垂直合成信号的方案，检测画面的结束的情况。

如果如图17中所示检测画面的结束，并以构成视频信号的多个画面为增量进行小波变换产生的频率分量的小波逆变换，那么在小波逆变换设备51的选择器67的下游提供图中未示出的一种安排，作为在小波逆变换产生的图像信号(即，上面所述的基带图像D81)之后插入视频垂直同步信号的垂直同步信号插入部分。

即，在小波逆变换设备51的选择器67的下游设置垂直同步信号插入部分，以便在图像信号之后，例如在来自选择器67的基带图像D81之后插入视频垂直同步信号，产生的视频信号被向外输出。

从而，不断对后续图像插入视频垂直同步信号使得能够顺序地输出产生的视频信号。因此，能够再现运动图像。

如上所述，对于本发明的一个实施例的小波变换设备，为从级别1到预定数目的级别的每个划分级别提供缓冲器，并且在进行水平分析滤波的时候，水平分析滤波结果被保存在每个划分级别缓冲器中，从而在从每个划分级别的缓冲器读出水平分析滤波的结果的时候，能够进行垂直方向滤波。即，能够同时并行地进行水平方向和垂直方向滤波。从而，对于运动图像和高分辨率的图像，也能够高速地进行小波变换。

另外，内部存储器负责从级别1到预定数目的级别的每个划分级别的缓冲器，从而不需要与外部存储器交换数据，并且能够高速地进行小波变换。从而，不需要升高时钟频率来增大外部存储器和小波逆变换设备之间数据的速度，从而节省电能。

另外，对其中Y和C已被交错的频率分量进行水平分析滤波，从而，可产生只具有一个水平分析滤波器单元的结构，这显著减小硬件的规模。

此外，对于每个Y和C，作为水平分析滤波的结果的高频带分量和低频带分量被交错，并被保存在对应级别的缓冲器中，Y和C被独立保存，从而在读出时，所需的只是从该级别的缓冲器的前端开始读出，从而简化控制。

另外，对于Y和C独立地进行垂直方向分析滤波，从而不需要例如在不对Y和C独立进行垂直方向分析滤波的情况下所必需的大存储容量，并且能够避免成本的显著增大。此外，也能够避免对额外处理时间的需要。

另一方面，对于本发明的一个实施例的小波逆变换设备，为除了最低级别之外的每个划分级别提供缓冲器，在进行水平合成滤波的时候，水平合成滤波结果被保存在每个划分级别缓冲器中，从而，在从每个划分级别的缓冲器读出水平合成滤波的结果的时候，能够执行垂直方向滤波。即，能够同时并行地进行水平方向和垂直方向滤波。从而，也能够高速地对运动图像和高分辨率图像进行小波变换。

另外，内部存储器负责用于除最低频带级别之外的每个划分级别的缓冲器，从而不需要配置外部存储器，并且不需要与外部存储器交换数据，并且能够高速进行小波逆变换。从而，不需要升高时钟频率来增大外部存储器和小波逆变换设备之间数据的速度，从而节省电能。

另外，不同于小波变换，在不交错Y和C的情况下完全独立地处理Y和C，从而避免在垂直合成滤波时C所必需的额外存储器，另外能够抑制额外的处理时间。

此外，对于根据本发明的一个实施例的小波变换设备和小波逆变换设备，一旦累积了预定数目的频率分量系数，就进行分析滤波和合成滤波，从而能够有效地进行分析滤波和合成滤波。即，能够高速地进行小波变换和小波逆变换，以便能够处理以每秒60场的速度输入的视频信号(它是以1/60秒输入的每个画面)的小波变换和小波逆变换。

从而，在后面说明的包括利用小波变换的编码处理和利用小波逆变换的解码处理的传输系统中能够实现每行的并行处理，从而以很小的延迟获得解码图像。

另外，向根据本发明的一个实施例的小波变换设备提供垂直同步信号检测装置，向根据本发明的一个实施例的小波逆变换设备提供垂直同步信号插入装置，从而能够以构成视频信号的多个画面(场或帧)为增量对视频信号进行分析滤波。

如上所述的本发明的实施例与进行图像或视频信号的小波变换的设备或方法相关，还与执行小波逆变换的设备或方法相关，在所述小波逆变换中，执行带分信息的合成滤波，从而恢复图像或视频信号。对于这样的设备或方法可以设想各种应用。

即，上面说明了进行视频信号的图像的小波变换，从而把图像信号和视频信号分成多个频率分量的小波变换设备1，以及进行小波变换设备1产生的频率分量的小波逆变换的小波逆变换设备51，不过小波变换被广泛用作图像压缩的预处理。因此，现在将说明进行小波变换产生的频率分量(下面也称为“系数数据”)的压缩编码的图像编码设备，和对经历图像编码设备的压缩编码的系数数据解码的图像解码设备。

图24是图解说明根据应用了本发明的一个实施例的图像编码设备的一个实施例的结构例子的示图。就该图像编码设备来说，以压缩的预处理的形式执行根据本发明的一个实施例的小波变换。

在图24中所示的例子中，图像编码设备101由小波变换单元111、量化单元112、熵编码单元113和比率控制单元114。

小波变换单元111基本上按照和图1中所示的小波变换设备1相同的方式构成。即，小波变换设备111具有用于每个划分级别的独立缓冲器(1级缓冲器12～4级缓冲器15)，其中当输入视频信号D110(等同于其中Y和C被交错的图像信号D12)被累积到预定列数时，立即对视频信号D110进行水平分析滤波，并且通过水平分析滤波获得的系数数据(频率分量)被保存在对应于每个级别的缓冲器中。当通过水平分析滤波获得的系数数据在对应于每个级别的缓冲器中累积到预定行数时，分别关于Y和C对系数数据进行垂直分析滤波，重复所述垂直分析滤波，直到预定的划分级别，分析后的系数数据D111被提供给量化单元112。

例如，对于划分级别2分析滤波，如图16中所示，执行由划分级别1分析滤波产生的四行的1LL的小波变换，从而产生两行的2LL、2HL、2LH和2HH。在划分级别3分析滤波，两行的2LL经历小波变换，从而产生一行的3LL、3HL、3LH和3HH。如果划分级别3是最终的分析滤波，那么3LL是最低的频带。

注意如上参考图17所述，当输入视频信号时，在对每个画面进行小波变换的情况下，在视频信号中检测到垂直同步信号(即，画面末端)会在画面的末端停止分析滤波操作。

例如通过除以量化步长，量化单元112量化小波变换单元111产生的系数数据D111，从而产生量化的系数数据D112。

此时，量化单元112把由产生的一行量值最低频带频率分量(就图16来说，3LL)和用于产生所述一行所需的多行其它频率分量构成的增量作为一个行块，并且能够为每个这样的行块设置量化步长。该行块全面包括某一图像区域的所有频率分量(就图16来说，10个频率分量3LL～1HH)的系数，从而，对每个行块进行量化使得能够利用小波变换的特征(这是多样分辨率分析的优点)。另外，对于整个屏幕，只需要确定行块的数目，减小了图像编码设备101的负载。

此外，图像信号的能量一般集中在低频带分量，另外，对人类视觉感知来说，低频带分量的劣化往往更明显，从而量化能够被有利地加权，以致低频带分量子带的量化步长最终较小。这种加权把相当大量的信息拨给低频带分量，从而改善了图像质量的总体印象。

熵编码单元113对在量化单元112产生的量化系数数据D112进行源编码，从而产生压缩的编码码流数据D113。对于源编码，可以使用和JPEG或MPEG(运动图像专家组)一起使用的哈夫曼(Huffman)编码，或者甚至使用和JPEG 2000一起使用的效率更高的算术编码。

现在，应用熵编码的范围的系数是一种极其重要的问题，直接与压缩效率相关。例如，对于JPEG和MPEG方法，对8×8的块进行DCT(离散余弦变换)，对产生的64个DCT系数进行哈夫曼编码，从而压缩信息。即，64个DCT系数是熵编码的范围。

对于小波变换单元111，不同于对8×8的块进行的DCT，以行为增量进行小波变换，从而在熵编码单元113，对每个频带并且对每个频带内的每个P行独立地进行源编码。

对于P来说，最小为一行，但是行数越小，所需的参考信息越少，意味着存储容量可被减少这么多。相反，存在的行数越多，那么相应地存在更多的信息量，从而能够提高编码效率。但是，如果P超过频带内行块的行数，那么这将需要下一行块的行。因此，处理将等待将由小波变换和量化产生的该行块的量化系数数据，这种等待时间将变成延迟时间。

因此，如果希望减小延迟时间，那么需要把P保持在行块的行数之内。例如，就图16中所示的情况来说，对于频带3LL、3HL、3LH和3LL，行块的行数为1，从而P＝1。另外，对于子带2HL、2LH和2HH，行块的行数为2，从而P＝1或2。

比率控制单元114进行最终匹配目标比特率或压缩率的控制，并向外输出比率控制后的编码码流D114。例如，比率控制单元114把控制信号D115传送给量化单元112，以便在升高比特率的情况下减小量化步长，在降低比特率的情况下增大量化步长。

下面参考图25中所示的流程图，说明图24中所示的图像编码设备101的图像编码处理。

视频信号D110从外部(例如从后面说明的图28中所示的摄像机单元303)输入小波变换单元111。在步骤S111中，小波变换单元111对图像信号D110进行小波变换处理。注意，该小波变换处理是以行为增量，对形成视频信号D110的每个画面(从所述画面检测垂直同步信号)进行的处理，但是该处理通常和上面参考图2所述的小波变换处理相同，因此不再赘述。

对于步骤S111的小波变换处理，当输入的视频信号D110(等同于其中Y和C已被交错的图像信号D12)被累积到预定列数时，立即对视频信号D110进行水平分析滤波，并且通过水平分析滤波获得的系数数据(频率分量)被保存在对应于每个级别的缓冲器中。当通过水平分析滤波而获得的系数数据被累积到对应于每个级别的缓冲器的预定行数时，立即关于系数数据分别对Y和C进行垂直分析滤波，重复所述垂直分析滤波直到预定的划分级别，分析后的系数数据D111被提供给量化单元112。

即，如上参考图13-16所述，小波变换单元111对整个屏幕的所有行，分阶段地多次进行小波处理，从而能够获得一行最低频带的系数数据。

在步骤S112，通过除以量化步长，量化单元112量化由小波变换单元111产生的系数数据D111，从而产生量化的系数数据D112。

此时，量化单元112把由产生的一行量值最低频带频率分量(就图16来说，3LL)和用于产生所述一行所需的多行其它频率分量构成的增量作为一个行块，并且为每个这样的行块设置量化步长。即，当累积了预定行数时，量化单元112还立即对每个行块进行量化。

在步骤S113，熵编码单元113进行在量化单元112产生的量化系数数据D112的熵编码(源编码)，并产生压缩的编码码流D113。

现在，在小波变换单元111，以行为增量进行小波变换，从而熵编码单元113也对每个频带和每个频带内的每个P行独立地进行源编码。即，当累积了P行(在行块中的行数之内)时，熵编码单元113还立即对每个行块进行源编码。

在步骤S114，比率控制单元114进行比率控制(即，最终匹配目标比特率或压缩率的控制)，并向外输出比率控制后的编码码流D114。

如上所述，对于图像编码设备，以行为增量进行小波变换，以行块为增量进行量化，对每个P行进行源编码，P是在行块中的行数内的数字，已对每个P行已被编码的编码码流D114被向外输出。即，能够以行的预定增量并行地操作小波变换处理、量化处理和源编码处理。

因此，如果由信息编码设备编码的编码数据被传送，那么每P行被编码的数据被顺序传送，从而在接收和解码编码数据的图像解码设备(图26中的图像解码设备151)能够几乎无延迟地接收解码的图像。

图26是图解说明根据对应于图像编码设备的图24中所示的图像解码设备的一个实施例的结构例子的示图。

在图26中所示的例子中，图像解码设备151由熵解码单元161，逆量化单元162和小波逆变换单元163构成。

熵解码单元161对输入的编码码流D160进行源解码，并产生量化的系数数据D161。对于源解码，对应于图像编码设备101进行的源编码，可以使用哈夫曼编码，或者甚至使用效率更高的算术编码等。如果对于每个P行已独立地在图像编码设备101进行了源编码，如上参考图24所述，那么熵解码单元161也对每个频带，以及对每个频带内的每个P行独立地进行源解码。

逆量化单元162通过把量化的系数数据D161乘以量化步长，进行逆量化，从而产生系数数据D162。该量化步长通常在编码码流等的头部中描述。注意，如果如上参考图24所述那样，在图像编码设备101为每个行块设置量化步长，那么逆量化单元162对应地为每个行块设置逆量化步长，并进行逆量化。

小波逆变换单元163基本上按照和图18中所示的小波变换设备51相同的方式构成。即，小波逆变换设备163具有用于除最低频带级别之外的每个划分级别的独立缓冲器(3级缓冲器61-1级缓冲器63)，其中对系数数据D162进行垂直合成滤波和水平合成滤波，并且通过水平分析滤波而获得的系数数据被保存在对应于每个级别的缓冲器中。当在对应于每个级别的缓冲器中，系数数据被累积到预定数目时，立即进行垂直合成滤波和水平合成滤波，重复所述垂直合成滤波和水平合成滤波直到级别1，从而产生基带图像。此外，小波逆变换设备163在基带图像中插入垂直同步信号，以便产生视频信号D163，视频信号D163被向外输出。

下面，参考图27中所述的流程图，说明图26中所示的图解解码设备151的图像解码处理。

熵编码单元161已从外部来源(例如后面将说明的图28中所示的数字解码单元313)向其输入了已由上面参考图25说明的图像编码处理编码的编码码流D160。在步骤S161，熵解码单元161执行输入的编码码流D160的熵解码(源解码)，从而产生量化的系数数据D161。

此时，在图像编码单元101已对每个P行进行了源编码，从而，熵解码单元161也对每个频带，以及对每个子带内的每个P行独立地进行源解码。

通过把量化的系数数据D161乘以量化步长，逆量化单元162进行逆量化，从而产生系数数据D162。

现在，在图像编码设备101为每个行块设置了量化步长，从而逆量化单元162相应地为每个行块设置逆量化步长，并进行逆量化。

在步骤S163，小波逆变换设备163对系数数据D162进行小波逆变换处理。注意该小波逆变换处理是以行为增量进行的处理，同时在产生的图像之后插入垂直同步信号，不过该处理通常与上面参考图19所述的小波逆变换处理相同，因此这里不再赘述。

借助步骤S163中的小波逆变换处理，对系数数据D162进行垂直合成滤波和水平合成滤波，并且通过水平合成滤波而获得的系数数据被保存在对应于每个级别的缓冲器中，其中当保存在对应于每个级别的缓冲器中的系数数据被累积到预定数目时，立即进行垂直合成滤波和水平合成滤波，重复所述垂直合成滤波和水平合成滤波直到级别1，从而产生基带图像。另外，在产生的基带图像中插入垂直同步信号，以便产生视频信号D163，所述视频信号D163被向外输出(例如，输出给后面将说明的图28中所示的摄像机单元303)。

即，图像编码设备101以行为增量进行小波变换处理，从而按照相同的方式，图像解码设备163以行为增量进行小波逆变换处理。

如上所述，对于图像解码设备151，每P行地对输入的编码码流进行源解码，以行块为增量进行逆量化，并且以行为增量进行小波逆变换，从而产生基带图像。另外在基带图像中插入垂直同步信号，以便产生视频信号D163，视频信号D163被向外输出。即，能够以行的预定增量并行地进行解码处理，逆量化处理和小波逆变换处理。

因此，如果编码数据被传送，那么每P行地解码顺序传送的编码数据，并以行为增量产生顺序传送的编码数据，从而能够几乎没有延迟地获得解码图像。

如上所述，能够以行为增量进行参考图24和26说明的每个图像编码设备101和图像解码设备151的处理，从而能够以很小的延迟进行图像压缩编码和解码处理。

下面说明把参考图24和26说明的图像编码设备101和图像解码设备151应用于各种系统的例子。

图28图解说明可应用根据本发明的一个实施例的包括小波变换的图像编码和包括小波逆变换的图像解码的数字三轴系统的一个例子的结构。

三轴系统是一种用在电视广播台、制作演播室等中使用的系统。借助这样的系统，当在工作室中记录或从远程实况播音时，连接摄像机和摄像机控制单元或转换开关的单一三轴电缆被用于传送多路复用信号，比如画面信号、音频信号、返回画面信号、同步信号等，还被用于供电。

许多已知的三轴系统已经被安排成以模拟信号的形式传送上述信号。另一方面，近年来，整个系统正在变成数字化，因此，在电视广播台中使用的三轴系统也正在变成数字化。

对于已知的数字三轴系统，通过三轴电缆传送的数字视频信号一直是未压缩的视频信号。其原因在于对于电视广播台来说，信号延迟时间所需要的规格特别严格；基本上，从拍摄到监视器输出的延迟时间例如被要求在1场内(16.67毫秒)。诸如已实现高压缩率和高图像质量的MPEG2和MPEG4之类的压缩编码系统一直未用在三轴系统中，因为视频信号压缩和编码，以及压缩的视频信号的解码要求等于几帧量值的时间，意味着延迟时间极大。

根据本发明的一个实施例的包括小波变换的图像编码和包括小波逆变换的图像解码可以是关于上面参考图2和19所述的水平滤波和垂直滤波的并行操作，由于如上参考图25和27所述，以行为增量进行操作，因此也可以是并行操作；因此，能够减小从输入图像数据到获得输出图像的延迟时间，以致可应用于数字三轴系统。

图28中所示的数字三轴系统由借助三轴电缆301连接的传输单元300和摄像机控制单元302构成。从传输单元300到摄像机控制单元302的实际广播的或者用作内容的数字视频信号和数字音频信号(下面称为“主行信号”)，和从摄像机控制单元302到传输单元300的内部通信音频信号和返回数字视频信号通过三轴电缆301传送。

传输单元300例如被内置到未示出的摄像机设备中。当然，也可做出其它安排，比如传输单元300作为摄像机设备的外部设备与摄像机设备连接。摄像机控制单元302例如可以是一般称为CCU(摄像机控制单元)的设备。

数字音频信号与本发明的本质几乎没有关系，因此为了简化描述，这里将省略对其的说明。

摄像机单元303例如被配置在未示出的摄像机设备内，并用未示出的图像获取装置，比如CCD(电荷耦合器件)进行经过包括透镜、聚焦机构、变焦机构、光圈调节机构等的光学系统350接收的来自对象的光线的感光。图像获取装置通过光电转换，把接收的光线转换成电信号，还进行预定的信号处理，以便输出为基带数字视频信号。这些数字视频信号被变换成HD-SDI(高清晰度串行数据接口)格式，并被输出。

用作监视器的显示器351和用于与外部交换音频的内部通信装置352也与摄像机单元303相连。

传输单元300具有视频信号编码单元310和视频信号解码单元311，数字调制单元312和数字解调单元313，放大器314和315，以及视频分离/合成单元316。

基带数字视频信号例如被变换成HD-SDI格式，并从摄像机单元303被供给传输单元300。数字视频信号在视频信号编码单元310被压缩和编码，以便变成码流，所述码流被提供给数字调制单元312。数字调制单元312把供给的码流调制成适合于通过三轴电缆301传输的格式并输出。从数字调制单元312输出的信号通过放大器314被提供给视频分离/合成单元316。视频分离/合成单元316把供给的信号发送给三轴电缆301。通过三轴电缆302在摄像机控制单元302接收这些信号。

通过三轴电缆301在传输单元300接收从摄像机控制单元302输出的信号。接收的信号被提供给视频分离/合成单元316，分离数字视频信号部分和其它信号部分。在接收的信号中，数字视频信号部分通过放大器315被提供给数字解调单元313，调制成适合于通过三轴电缆301传输的格式的信号在摄像机单元302一方被解调，并且恢复码流。

码流被提供给视频信号解码单元311，压缩编码被解码，获得基带数字视频信号。解码的数字视频信号被变换成HD-SDI格式和输出，并作为返回数字视频信号被提供给摄像机单元303。返回数字视频信号被提供给与摄像机单元303连接的显示器351，并被用于供摄像机操作员监视。

照相机控制单元302具有视频分离/合成单元320、放大器321和322、前端单元323、数字解调单元324和数字调制单元325、及视频信号解码单元326和视频信号编码单元327。

通过三轴电缆301在摄像机控制单元302接收从传输单元300输出的信号。接收的信号被提供给视频分离/合成单元320。视频分离/合成单元320把供给它的信号通过放大器321和前端单元323提供给数字解调单元324。注意前端单元323具有用于调节输入信号的增益的增益控制单元，和对输入信号进行预定滤波的滤波器单元等等。

数字解调单元324解调在传输单元300一方，被调制成适合于通过三轴电缆301传输的格式的信号，并恢复码流。该码流被提供给视频信号解码单元326，码流在视频信号解码单元326被解码，以便获得基带数字视频信号。解码的数字视频信号被变换成HD-SDI格式和输出，并作为主行信号向外输出。

返回数字视频信号和数字音频信号被向外提供给摄像机控制单元302。数字音频信号例如被提供给摄像机操作员的内部通信装置352，以便用于把外部音频指令传送给摄像机操作员。

返回数字视频信号被提供给视频信号编码单元327并被压缩编码，之后被提供给数字调制单元325。数字调制单元325把供给的码流调制成适合于通过三轴电缆301传输的格式并输出。从数字调制单元325输出的信号通过前端单元323和放大器322被提供给视频分离/合成单元320。视频分离/合成单元320多路复用这些信号和其它信号，并发出给三轴电缆301。通过三轴电缆301在传输单元300接收这些信号。

在图28中所示的例子中，图24中的图像编码设备101和图26中所示的图像解码设备151被分别应用于视频信号编码单元310和327，及视频信号解码单元11和326。即，基本如同图24中的图像编码设备101一样构成视频信号编码单元310和327，基本如同图26中的图像解码设备151一样构成视频信号解码单元311和326。

即，在传输单元300一方，视频信号编码单元310对供给它的数字视频信号执行上面参考图25说明的小波变换和熵编码，并输出码流。如上参考图13-16所述，当对应于用于小波变换的滤波器的抽头数，并且与小波变换的划分级别的数目相应的许多行被输入时，视频信号编码单元310开始小波变换。此外，如上参考图25和27所述，当在图像编码设备和图像解码设备累积了组件所必需的系数数据时，各个组件顺序执行处理。当处理结束于一帧或一场的底行时，开始下一帧或下一场的处理。

如上所述，对于图24和26中所示的图像编码设备101和图像解码设备151，其组件并行地进行处理，从而图像编码设备101和图像解码设备151能够抑制摄像机单元303从摄像机控制单元302获得的图像的输出延迟，以及外部供给并从摄像机控制单元302传送给摄像机单元303的返回数字视频信号的延迟，因此有利地用在图27中所示的数字三轴系统中。

对于从摄像机控制单元302一方向传输单元300一方传输返回数字视频信号也是如此。即，视频信号编码单元327对外部供给的返回数字视频信号进行图25中的上述小波变换和熵编码，并且码流被输出。

现在，存在许多其中允许返回数字视频信号的图像质量低于主行信号的数字视频信号的图像质量的情况。这些情况下，在视频信号编码单元327编码时的比特率可被降低。

例如，视频信号编码单元327借助比率控制单元114进行控制，以致在熵编码单元113的熵编码处理的比特率较低。另外，可设想一种安排，其中例如在摄像机控制单元302一方，利用视频信号编码单元327的小波变换单元111把变换处理进行到较高的划分级别，在传输单元300一方，在视频信号解码单元311的小波逆变换单元163的小波逆变换被停止在较低的划分级别。在摄像机控制单元302的视频信号编码单元327的处理并不局限于该例子；可以设想各种其它类型的处理，例如使小波变换的划分级别保持较低，以便减轻变换处理的负载。

图29图解说明可应用根据本发明的一个实施例的包括小波变换的图像编码和包括小波逆变换的图像解码的无线传输系统的一个例子的结构。即，对于图29中所示的例子，无线地把在包括根据本发明的一个实施例的小波变换的图像编码设备编码的编码数据传输给图像解码设备一方。

注意在图29中的例子中，视频信号被单向地从摄像机或传输单元400一方(下面简称为“传输单元400”)传送给接收设备401一方。对于音频信号和其它信号，可进行传输单元400和接收单元401之间的双向通信。

传输单元400被内置到未示出的具有摄像机单元402的摄像机设备中。当然，也可做出其它安排，例如传输单元400作为具有摄像机单元402的摄像机设备的外部装置被连接到摄像机设备。

摄像机单元402具有预定的光学系统，诸如CCD之类的图像获取装置，和例如把从图像获取装置输出的信号输出为数字视频信号的信号处理单元。这些数字视频信号例如被变换成HD-SDI格式，并例如从摄像机单元402输出。当然，从摄像机单元402输出的数字视频信号并不局限于该例子，也可以是其它格式。

传输单元400具有视频信号编码单元410、数字调制单元411和无线模块单元412。基本上按照和图24中所示的图像编码设备101相同的方式构成视频信号编码单元410。

在传输单元400，基带数字视频信号例如被变换成HD-SDI格式并被输出。数字视频信号在视频信号编码单元410由上面参考图25说明的熵编码进行小波变换和压缩编码，以便变成被供给数字调制单元411的码流。数字调制单元411把供给的码流数字调制成格式适合于无线通信的信号，并输出该信号。

另外，例如数字音频信号和其它信号，比如预定命令和数据也被提供给数字调制单元411。例如，摄像机单元402具有麦克风，借助该麦克风，收集的声音被转换成音频信号，另外，该音频信号还经历A/D转换并作为数字音频信号输出。此外，摄像机单元402能够输出某些命令和数据。命令和数据可以在摄像机单元402内产生，或者可向摄像机单元402提供一个操作单元，响应在操作单元作出的用户操作，产生所述命令和数据。另外，可做出其中用于输入命令和数据的输入装置与摄像机单元402连接的安排。

数字调制单元411进行这些数字音频信号和其它信号的数字调制并输出这些信号。从数字调制单元411输出的数字调制信号被提供给无线模块单元412并以无线电波的形式从天线无线传输。

当从接收单元401一方收到ARQ(自动重复请求)时，无线模块单元412把该ARQ通知数字调制单元411，以便请求数据重发。

从天线413发出的无线电波在接收设备401一方的天线被接收，并被提供给无线模块单元421。接收设备401具有无线模块单元421、前端单元422、数字解调单元423和视频信号解码单元424。视频信号解码单元424基本上按照和图26中所示的图像解码单元151相同的方式构成。

无线模块单元421把基于接收的无线电波的数字调制信号提供给前端单元422。前端单元422例如对供给的数字调制信号进行诸如增益控制之类的预定信号处理，并提供给数字解调单元423。数字解调单元43解调供给的数字调制信号，并恢复码流。

在数字解调单元423恢复的码流被提供给视频信号解码单元424，利用上面参考图27所述的解码方法对压缩编码解码，获得基带数字视频信号。解码的数字视频信号例如被变换成HD-SDI格式并被输出。

数字解调单元423还被供给在传输单元400一方经历数字调制并被传送的数字音频信号和其它信号。数字解调单元423解调信号，其中这些数字音频信号和其它信号已经历数字调制，恢复和输出数字音频信号和其它信号。

另外，前端单元422按照预定的方法对从无线模块单元421供给的接收信号进行检错，例如如果检测到错误，比如收到了错误帧，那么输出ARQ。该ARQ被提供给无线模块单元421并从天线420发出。

对于这样的结构，传输单元400例如被内置于具有摄像机单元402的尺寸较小的摄像机设备中，监视器装置与接收设备401连接，从视频信号解码单元424输出的数字视频信号被提供给监视器装置。只要接收设备401在从具有内置传输单元400的摄像机设备传送的无线电波的范围内，就能够在监视器装置几乎无延迟地(例如延迟在一场或一帧内)观看用摄像机设备拍摄的图像。

注意在图29中所示的例子中，利用无线通信进行传输单元400和接收设备401之间的通信，以便通过无线通信传送视频信号，但是该方案并不局限于本例。例如，传输单元400和接收设备401可由诸如因特网之类的网络连接。这种情况下，位于传输单元400一方的无线模块单元412和位于接收设备401一方的无线模块单元421都是能够利用IP(网际协议)进行通信的通信接口。

对于图29中所示的无线传输系统，可以设想各种应用。例如，该无线传输系统可被应用于视频会议系统。一种方案的例子是连接能够实现USB(通用串行总线)连接的简单摄像机设备和诸如个人计算机之类的计算机设备，计算机设备一方实现视频信号编码单元410和视频信号解码单元424。在计算机设备实现的视频信号编码单元410和视频信号解码单元424可以是硬件结构，或者可由在计算机设备上运行的软件实现。

例如，参与视频会议的每个成员可配备计算机设备和将与该计算机设备连接的摄像机设备，计算机设备通过电缆或者无线网络与提供视频系统服务的服务器设备连接。从摄像机设备输出的视频信号通过USB电缆被提供给计算机设备，在计算机设备内的视频信号编码单元410执行上面参考图25说明的编码处理。计算机设备通过网络把其中视频信号已被编码的码流传送给服务器设备。

服务器设备通过网络把接收的码流传送给每个参与成员的计算机设备。该码流在每个参与成员的计算机设备被接收，并在上面参考图27说明的计算机设备内的视频信号解码单元424经历解码处理。从视频信号解码单元424输出的图像数据作为图像被显示在计算机设备的显示器上。

即，由其它参与成员的摄像机设备拍摄的视频图像被显示在每个参与成员的计算机设备的显示器上。因此，把本发明的实施例应用于无线传输系统意味着从编码用摄像机设备拍摄的视频信号到在其它参与成员的计算机设备对编码视频信号解码的延迟时间较短，从而能够减轻显示在参与成员的计算机设备的显示器上的其它参与成员的图像被延迟的不自然感觉。

此外，可设想把视频信号编码单元410安装在摄像机设备一方的方案。例如，传输单元400被内置到摄像机设备中。这样的结构不需要使摄像机设备与诸如计算机设备之类的另一设备连接。

由内置传输单元400的摄像机设备和接收设备构成的这种系统可被应用于除上面所述的视频会议系统之外的各种应用。例如，如图30中示意所示，该系统可被应用于家庭游戏控制台。在图30中，图29中所示的传输单元400被内置到摄像机设备500中。

在家庭游戏控制台的主单元501中，总线例如连接CPU、RAM、ROM、与CD-ROM(光盘只读存储器)和DVD-ROM(数字通用光盘-ROM)兼容的光盘驱动器、用于把CPU产生的显示控制信号转换成视频信号并输出的图形控制单元，用于播放音频信号的音频再现单元等等，即，具有和计算机设备类似的结构。

依据事先保存在ROM中的程序，或者记录在装入光盘驱动器中的CD-ROM或DVD-ROM中的程序，家庭游戏控制台的主单元501由CPU全面控制。RAM被用作CPU的工作存储器。家庭游戏控制台的主单元501已内置接收设备401。从接收设备输出的数字视频信号，或者其它信号例如通过总线被提供给CPU。

我们假定借助这样的系统，例如家庭游戏控制台的主单元501，运行能够把以从外部供给的数字视频信号的形式的图像作为游戏内的图像的软件。例如，这种游戏软件能够把以从外部供给的数字视频信号的形式的图像作为游戏内的图像，还能够识别图像内人(玩家)的动作，并执行与识别的动作对应的操作。

摄像机设备500在内置的传输单元400中的视频信号编码单元410，用上面参考图25说明的编码方法对拍摄的数字视频信号编码，在数字调制单元411调制码流，并把码流提供给无线模块单元412，以便从天线413传送。传送的无线电波在内置到家庭游戏控制台的主单元501内的接收设备401的天线420被接收，接收的信号通过无线模块单元421和前端单元422被提供给数字解调单元423。

接收的信号在数字解调单元423被解调成码流，并被提供给视频信号解码单元424。视频信号解码单元424用上面参考图27说明的解码方法对供给的码流解码，并输出基带数字视频信号。

从视频信号解码单元424输出的基带数字视频信号通过家庭游戏控制台的主单元501中的总线发送，并例如被临时保存在RAM中。当保存在RAM中的数字视频信号按照预定的程序被读出时，CPU能够发觉由数字视频信号提供的图像内人的移动，并在游戏中使用该图像。

由于从用摄像机设备500拍摄图像和获得的数字视频信号被编码到码流在家庭游戏控制台的主单元501被解码和从而获得图像的延迟时间较短，运行在家庭游戏控制台的主单元501上的游戏软件对玩家的动作的响应性得到提高，从而改进了游戏的可操作性。

注意由于价格、尺寸等方面的限制，和家庭游戏控制台一起使用的这种摄像机设备500通常结构简单，并且必须假定具有高处理能力和大容量存储器的CPU可能买不起。因此，利用包括根据本发明的一个实施例的小波变换处理的编码处理允许利用小存储容量的操作，因为不需要大容量的外部存储器。另外，可设想一种方案，其中在内置到摄像机设备500中的传输单元400的视频信号编码单元410，在低的划分级别进行小波变换。这进一步降低对存储容量的需要。

注意在上面，摄像机设备500和家庭游戏控制台的主单元501被描述成通过无线通信连接，但是该方案并不局限于该例子。即，摄像机设备500和家庭游戏控制台的主单元501可通过电缆，通过诸如USB、IEEE 1394之类的接口连接。

上面借助实施例已说明了本发明，从而显然可产生本发明的各种应用，只要属于进行图像或视频信号的小波变换的设备或方法，以及进行用于经过频带分析后的信息的合成滤波的小波逆变换，从而恢复图像或视频信号的设备或方法。

即，通过在小波变换的下游设置如图24中所示的图像编码设备101一样的编码装置，本发明的实施例可有利地应用于其中如上参考图28-30所述，图像信号或视频信号的图像被压缩、传输、接收、解压缩和输出的设备或系统。对于其中要求从压缩编码到图像的解码和输出的延迟较短的设备或系统，本发明的实施例特别有益。

另一种应用是例如在查看利用摄像机拍摄的图像的时候，利用可远程操作的仪器或设备的远程医疗诊断和治疗。

另一种应用是在系统，比如在广播电台等中使用的系统中，数字视频信号的压缩编码和传输，以及经历压缩编码的数字视频信号的解码。

另一种应用是分发实况报道的视频的系统。

另一种应用是其中学生和老师能够交互通信的远程教育系统。

其它应用包括(但不限于)传送用具有摄像功能的移动终端，比如具有照相机功能的蜂窝电话机获得的图像数据的系统；视频会议系统；用记录器记录用监视摄像机拍摄的图像的监视系统；无线图像传输系统；互动游戏应用；等等。

如同在图30中图解说明的情况一样，这些各种应用中的一系列处理可由硬件或软件实现。

在用软件实现所述一系列处理的情况下，构成所述软件的程序被安装在内置有专用硬件的计算机中，或者安装在能够借助从程序记录介质安装于其中的各种程序执行各种功能的通用计算机中。

图31是图解说明用软件程序执行上述一系列处理的个人计算机701的结构的例子的方框图。CPU 711按照保存在ROM 712或存储单元718中的程序，运行各种程序。RAM 713根据需要，保存由CPU 711使用的程序和数据。CPU 711、ROM 712和RAM 713通过总线714互连。

输入/输出接口715也通过总线714与CPU 711连接。与输入/输出接口715连接的是包括键盘、鼠标、麦克风等的输入单元716，和包括显示器、扬声器等的输出单元717。CPU 711响应从输入单元716输入的命令，执行各种处理。CPU 711把处理结果输出给输出单元717。

与输入/输出接口715连接的存储单元718例如由硬盘构成，并且保存CPU 711运行或使用的各种程序和数据。通信单元719通过网络，比如因特网、局域网等与外部设备通信。

程序也可通过通信单元719获得，并被保存在存储单元718中。

与输入/输出接口715连接的驱动器720驱动安装到其上的可拆卸介质721，比如磁盘、光盘、磁光盘、半导体存储器等，以便获得记录在可拆卸介质中的程序或数据。获得的程序和数据根据需要被传送给存储单元718并被保存。

保存以计算机可执行形式安装在计算机中的程序的程序记录介质包括图31中所示的可拆卸介质721，它是包括磁盘(包括软盘)、光盘(包括CD-ROM和DVD)、磁光盘、半导体存储器等的套装介质，临时或永久保存程序的ROM 712，构成存储单元718的硬盘等等。根据需要，也可借助充当与路由器、调制解调器等的接口的通信单元719，利用诸如局域网、因特网、数字卫星广播之类的有线或无线通信媒介，把程序保存到程序记录介质中。

虽然在本说明书中，描述保存在程序记录介质中的程序的步骤当然可按照所述时间顺序执行，不过所述步骤并不局限于该时间顺序，可并行地或者单独地执行。

此外，本说明书中使用的术语“系统”指的是由多个设备构成的整个设备。

本领域的技术人员应明白，根据设计要求和其它因素，可发生各种修改、组合、子组合和变更，只要它们在附加权利要求或其等同物的范围之内。