能够进行简易的多窗口显示的活动图象解码装置以及活动图象解码方法

摘要

首部信息获得部(114)从在MPEG视频流中包含的顺序首部中抽出图象的纵向和横向的点尺寸和帧速率等信息。合计处理量估计/重放方式判定部(116)接受在每个显示方式中规定的频道优先顺序和首部信息获得部(114)的输出,来进行合计处理量的估计以及各频道重放方式的判定。MPEG解码器(118)经过首部信息获得部(114)来时分地收取CH1～CH4的编码输入,根据合计处理量估计/重放方式判定部(116)输出的判定信号来进行各频道的图象编码的解码。能够提供一种活动图像解码装置,能够抑制解码器电路规模和存储器使用量,并且高画质地显示多个频道。

说明书

技术领域

本发明涉及活动图象解码装置和活动图象解码方法，特别是涉及对由MPEG2(Moving Picture Experts Group)方式等的数字信号所压缩处理的视频流信号进行解码的活动图象解码装置和活动图象解码方法。

背景技术

近年来，以高画质化、多频道化、高性能化和高品质化为目的，引入了取代迄今为止的模拟广播的数字广播。在该数字广播中，采用MPEG2方式作为数字化的活动图象的压缩编码方式。

图12是用于说明MPEG2视频流信号的构成的图。

参照图12，MPEG2视频流信号是GOP(Group Of Picture)的集合体，GOP是图象的集合体。

在GOP中包含I图象、P图象、B图象这样的三种图象。I图象是用仅从帧内的信息所编码的画面，不进行帧间预测所生成的画面，在GOP中，最低包含一幅以上的I图象。P图象包含由帧内编码和从过去的重放图象预测的正向帧间预测编码两者所产生的信息。B图象是能够通过双向预测而得到的画面。这些图象中，P，B图象的解码需要进行帧间的预测，因此，由MPEG解码器所进行的处理量较大，而且，需要大的存储器容量。

图象进一步被分割成所谓片的单位。片是几个宏块的集合体，但是，作为MPEG2标准的约定，一个片不能跨2行。即，当一横列由40个宏块组成时，对于该一列40个可以分割成几片，但是，从下一列必须成为其他的片。

各个宏块不具有绝对的位置信息，但是，在插入到各个片的开头的片首部SH中包含用于表示各个片是在一个画面上的哪个垂直位置上包含的宏块的集合体的首部信息。即，根据片首部SH，能够知道其后接着的宏块的垂直位置。

在各个GOP之前附加所谓顺序首部的信息。在该顺序首部中包含图象的横的象素数、图象的纵的行数和帧速率等图象的信息。

图13～图16是用于说明MPEG2方式的几种格式的例子的图。例如，在BS数字广播中，为了以1080i、720p、480p、480i几种格式来制作节目，而由ARIB(Association Of Radio Industrise And Businesses：社团法人  电波产业会)进行规定。因此，希望接收广播而进行重放的活动图象解码装置能够重放这几种格式。而且，各个格式的数字表示垂直方向的有效扫描线数，i表示隔行扫描，即表示飞越扫描，p表示逐行扫描，即表示顺序扫描。

参照图13，1080i格式是以隔行扫描每秒30帧显示纵1080点、横1920点的画面的格式。

参照图14，720p格式是以顺序操作每秒60帧显示纵720点、横1280点的画面的格式。

参照图15，480p格式是以顺序操作每秒60帧显示纵480点、横720点的画面的格式。

参照图16，480i格式是以隔行扫描每秒30帧显示纵480点、横720点的画面的格式。

把MPEG2视频流信号从被压缩状态解码为原来的图象数据的处理能够由例如一个MPEG解码器LSI来进行处理。

但是，为了给数字电视接收机提供更高的附加值，要求在显示器上同时显示多个图象的多频道显示方式。

图17是用于说明多频道的重放方式的例子的图。

参照图17，在「HD(High Definition)正常重放」的情况下，在CH1中显示1080i格式的图象。

在「SD(Standard Definition)的4CH多重放」方式的情况下，画面被分成4个，每个画面分别显示480i格式的图象。

在「正常HD+子画面SD」方式的情况下，显示1080i格式的图象作为CH1，显示480i格式的子画面作为CH2。

在「HD的两画面重放」方式的情况下，在CH1、CH2中分别显示1080i格式的图象。

在「480p的4CH多重放」方式的情况下，画面被分成4个，在CH1～CH4中分别显示480p格式的图象。

在「HD反向重放」方式的情况下，画面被分成2个，在第一画面中显示1080i格式的图象，在第二画面中显示以1080i格式正反向所重放的图象。

在「HD的2倍速重放」的情况下，以1080i格式显示2倍速快进的图象。

在「HD的3CH重放」方式的情况下，画面被分成3个，在各个画面中分别显示1080i格式的图象。

表示以上重放方式的代表性的例子。为了在一个显示器上显示这样的各种格式的图象，可以分别设置对各个图象分别进行解码处理的解码器电路，但是，这样就使活动图象解码装置全体的电路规模变大，成本变高而不合理。因此，考虑用一个解码器电路来时分地解码处理多个频道的图象数据。

再次参照图13～图16，用于各个格式的解码的处理量，当把1080i格式的处理量作为1时，用于480p格式的解码的处理量为约2。而且，720p格式的处理量为约4～5，1080i格式的处理量约为6。而且，在解码处理中需要的存储器容量，当把480i格式的情况作为1时，480p格式的情况约为1，1080i格式的情况约为6。

图18是用于说明在各个重放方式的解码中所需要的时间的图。

参照图18，当「HD正常重放」的情况下，用于在一帧期间进行显示的图象数据的解码具有若干裕量而进行。在MPEG广播流的内容中，具有HD方式和SD方式等，这些方式随广播时间段而变化，因此，进行解码处理的解码器电路的能力被设定为这样的处理能力：能够具有某种程度的裕量来处理「HD正常重放」方式的一画面显示。

当把这样的处理能力的解码器电路搭载到活动图象解码装置中时，如图18所示的那样，在「SD的4CH多重放」方式的情况下，即使时分地对CH1～CH4的频道的数据进行解码处理，由于在一帧期间内处理结束，而能够没有问题地进行重放。

但是，在「正常HD+子画面SD」、「HD的两画面重放」、「480p的4CH多重放」、「HD反向重放」、「HD的2倍速重放」、「HD的3CH重放」等的重放方式的情况下，为了对将要在一帧中显示的数据进行解码处理，需要一帧期间以上的处理时间。因此，处理量的合计超过解码器的性能，不能重放所输入的所有的频道。而且，即使在进行并行处理的情况下，难于用较少的总线宽度和较少的存储器容量来廉价地实现。

发明概要

本发明的目的是提供活动图象解码装置和活动图象解码方法，能够在抑制解码器的电路规模的增加和存储器的使用量的同时，以高画质显示多个频道。

本发明提供一种活动图象解码装置，包括首部信息获得部、判定部、解码部。

首部信息获得部接受由数字信号所压缩处理的多个频道的视频流信号，抽出与各个频道的解码处理量相关的首部信息。判定部根据首部信息来估计各个频道的解码处理量，来判定重放方式。解码部接受多个频道的视频流信号，根据判定部的输出来在每个频道中进行正常重放或者处理量比正常重放少的简易重放。

根据本发明的另一个方案，包括进行抽出的步骤、进行判定的步骤、进行解码处理的步骤。

进行抽出的步骤接受由数字信号所压缩处理的多个频道的视频流信号，抽出与各个频道的解码处理量相关的首部信息。进行判定的步骤根据首部信息来估计各个频道的解码处理量，来判定重放方式。进行解码处理的步骤接受多个频道的视频流信号，根据重放方式来在每个频道中进行正常重放或者处理量比正常重放少的简易重放。

因此，本发明的主要优点是：根据适当处理量来把所输入的视频流进行降频显示，因此，能够用较少的存储器容量并且几乎不增加解码器电路的规模，来实现多窗口显示。

附图的简单说明

图1是抽出表示本发明的活动图象解码装置1000的构成中的主要部分的简要方框图；

图2是用于说明图1所示的MPEG解码器部110的图象系统处理的构成的方框图；

图3是表示图2所示的MPEG解码器118的简要构成的方框图；

图4是用于说明「HD的两画面重放」的显示图象的图；

图5是表示「HD的两画面重放」中图2所示的合计处理量估计/重放方式判定部116进行的处理流程的流程图；

图6是用于对使用正常的8×8的DCT系数时的情况进行说明的概念图；

图7是用于对降频时使用4×8的DCT系数时的情况进行说明的概念图；

图8是用于说明「3画面重放」的显示图象的图；

图9是表示「3画面重放」方式中图2所示的合计处理量估计/重放方式判定部116进行的处理流程的流程图的第一图；

图10是表示「3画面重放」方式中图2所示的合计处理量估计/重放方式判定部116进行的处理流程的流程图的第二图；

图11是用于说明通过本发明来进行解码处理时的处理时间的图；

图12是用于说明MPEG2视频流信号的构成的图；

图13是用于说明作为以MPEG2方式进行处理的格式的例子的1080i格式的图；

图14是用于说明作为以MPEG2方式进行处理的格式的例子的720p格式的图；

图15是用于说明作为以MPEG2方式进行处理的格式的例子的480p格式的图；

图16是用于说明作为以MPEG2方式进行处理的格式的例子的480i格式的图；

图17是用于说明多频道的重放方式的例子的图；

图18是用于说明在各个重放方式的解码中所需要的时间的图。

发明详述

下面，参照附图来对本发明的实施例进行详细说明。而且，图中相同的标号表示相同或者相当的部分。

[实施例1]

图1是抽出表示本发明的活动图象解码装置1000的构成中的主要部分的简要方框图。

参照图1，在活动图象解码装置1000中，从天线(未图示)所接收的RF信号由调谐器100.1和100.2进行选台，分别提供给8PSK解调器102.1和102.2。

来自8PSK解调器102.1和102.2的解调信号分别提供给传输流解码器(以下称为TS解码器)104.1和104.2，经过切换开关106提供给MPEG解码器部110。即，从TS解码器104.1和104.2进行来自所选台的频道的基带信号的抽出。

MPEG解码器部110接受由切换开关106所提供的数据流，使用随机存取存储器(以下称为RAM)112作为暂时存储数据的缓冲器，由此，变换为图象信号和声音信号。

其中，如上述那样，设置从调谐器100.1至TS解码器104.1的系统和从调谐器100.2至TS解码器104.2的系统这样的2系统，但是，在具有显示4频道多画面的方式的情况下，设置4系统。

活动图象解码装置1000还包括：内置存储装置148，用于经过数据总线BS1接受来自TS解码器104.1和104.2的信号，并进行存储；运算处理部144，用于对经过数据总线BS1而存储在内置存储装置148中的数据进行预定的处理并输出；ROM 140，用于记录运算处理部144的运算处理中的程序；RAM 142，提供用于运算处理部144的工作的存储区域；高速数字接口146，用于在数据总线BS1与外部之间进行数据输入输出。虽然没有特别的限定，但是，作为内置存储装置148和ROM 140，可使用例如能电气地进行数据的写入·读出的快速存储器。

运算处理部144按照由外部提供的指示而对在内置存储装置148中所存储的数据进行处理之后的数据，从屏上显示(On Screen Display)处理部130提供给合成器160.2。

合成器160.2把来自MPEG解码器部110的输出与来自屏上显示处理部130的输出进行合成之后，提供给图象输出端子164。来自图象输出端子164的输出被提供给显示部1004。

活动图象解码装置1000还包括：附加声音生成器120，用于根据在内置存储装置148中所存储的数据，接受运算处理部144处理的结果的数据等，生成与在显示部中所输出的图象相对应的效果声音等，提供给合成器160.1；PCM解码器122，根据在内置存储装置148中所存储的数据等，接受运算处理部144处理的数据，生成声音信号，提供给合成器160.1。

合成器160.1接受来自MPEG解码器部110的输出和来自附加声音生成器120及PCM解码器122的输出，把合成结果提供给声音输出端子162。提供给声音输出端子162的声音信号作为声音信号从声音输出部1002被输出。

而且，活动图象解码装置1000可以根据需要包括用于与外部之间进行数据的交换的调制解调器150和用于接受来自IC卡的信息的IC卡接口152。

例如，主服务器用的HDD装置等的外部存储装置180和作为外部输入装置的遥控器(或者键盘等)182经过高速数字接口146而与数据总线BS1相连接。

而且，活动图象解码装置1000还可以把接受图象输出而在显示器上进行显示的显示部1004与接受声音输出信号并输出声音的扬声器等声音输出部1002构成为一个整体。

图2是用于说明图1所示的MPEG解码器部110的图象系统处理的构成的方框图。

参照图2，MPEG解码器部110包括：首部信息获得部114，接受CH1～CH4的编码输入，从在这些编码中包含的顺序首部中抽出图象的纵和横向的点尺寸及帧速率等信息；合计处理量估计/重放方式判定部116，接受在每个由遥控器等所指定的显示方式中所决定的频道优先顺序和首部信息获得部114的输出，进行合计处理量的估计和各个频道重放方式的判定；MPEG解码器118，经过首部信息获得部114而时分地接收CH1～CH4的编码输入，根据合计处理量估计/重放方式判定部116输出的判定信号，进行各频道的图象编码的解码，输出图象数据。而且，MPEG解码器118是所谓MP@HL对应解码器，能够进行图13～图16中说明的画面格式的重放。

下面说明MPEG解码器部110中的处理的流程。首部信息获得部114检测出在MPEG的GOP之前带有的顺序首部。接着，首部信息获得部114从顺序首部抽出图象的纵和横向的点尺寸及帧速率等信息，传送给合计处理量估计/重放方式判定部116。MPEG解码器118收取多个频道的ES(Element Stream)，按图象单位以时分进行处理。所谓ES是从声音、图象和数据广播的数据中包含的TS解码器104.1和104.2的输出中仅分离出图象的数据的信号。

此时，从合计处理量估计/重放方式判定部116，根据包含在每个频道中所指定的正常重放/降频重放/丢弃的指示的判定信号，来进行解码处理。

图3是表示图2所示的MPEG解码器118的简要构成的方框图。

参照图3，MPEG解码器118包括：可变长度编码解码器部132，用于接受MPEG2视频流信号，进行可变长度编码解码处理；逆量化部134，用于接受来自可变长度编码解码器部132的输出，进行逆量化处理；切换开关133，根据来自合计处理量估计/重放方式判定部116的判定信号，把逆量化部134的输出提供给第一处理路由和第二处理路由中的一方。

第一处理路由是进行正常的处理的路由，第二处理路由是与正常的处理相比，减轻处理并且减少存储器容量来进行降频处理的路由。

MPEG解码器118还包括：逆离散余弦变换部136，用于在第一处理路由中接受来自逆量化部134的输出，而进行正常的逆离散余弦变换；活动补偿部138，使用从逆离散余弦变换部136所输出的数据和以前制作并保存在RAM 112中的图象数据，输出进行了活动补偿处理的数字视频信号。

MPEG解码器118还包括：逆离散余弦变换部137，用于在第二处理路由中接受来自逆量化部134的输出，进行后述的4×8IDCT重放的逆离散余弦变换；活动补偿部139，使用从逆离散余弦变换部137所输出的数据和以前制作并保存在RAM 112中的图象数据，输出进行了活动补偿处理的数字视频信号。

MPEG解码器118还包括：切换开关141，根据来自合计处理量估计/重放方式判定部116的判定信号，有选择地向RAM 112和图1的合成器160.2提供活动补偿部138、139任一方输出的数字视频信号。

而且，MPEG解码器118中的解码处理可以使用能够用软件来变更处理内容的图象处理处理器。作为图象处理处理器，例如最好为能够用一个命令进行多个多媒体运算的VLIW(Very Long Instruction Word)型处理器。

图4是用于说明「HD的两画面重放」的显示图象的图。

参照图4，在「HD的两画面重放」方式的情况下，显示器被分成左右两部分，在左侧显示CH1的图象，在右侧显示CH2的图象。

两画面重放方式由电视机的遥控器操作来选择。在该两画面重放方式下，不需要特别指定两个频道之间的优先顺序。

图5是表示「HD的两画面重放」中图2所示的合计处理量估计/重放方式判定部116进行的处理流程的流程图。

参照图5，首先，判断下式(1)是否成立(步骤S1)。

RP(CH1)+RP(CH2)≤DP              …(1)

其中，DP表示使用的解码器的处理性能，即，能够在一帧期间内进行处理的处理量，RP(CH1)表示在CH1的正常重放的一帧图象的解码中所需要的处理量。而且，RP(CH2)表示在CH2的正常重放的一帧图象的解码中所需要的处理量。

当式(1)成立时，即，当在CH1的正常重放中所需要的处理量和在CH2的正常重放中所需要的处理量的合计未超出解码器的处理性能的情况下，合计处理量估计/重放方式判定部116对MPEG解码器118指示：CH1、CH2都进行正常重放(步骤S2)。

另一方面，当式(1)不成立时，即，当在CH1的正常重放中所需要的处理量和在CH2的正常重放中所需要的处理量的合计超出了解码器的处理性能的情况下，进到步骤S3，判断下式(2)是否成立。

RP(CH1)≤RP(CH2)                  …(2)

当式(2)不成立时，即，当CH1一方的处理量大于CH2时，进到步骤S4。在步骤S4中，判断下式(3)是否成立。

RP(half(CH1))+RP(CH2)≤DP            …(3)

其中，RP(half(CH1))表示使用4×8IDCT来重放CH1时所需要的处理量。4×8IDCT是一种降频方法，如日本专利公开公报特开平11-191887号公报所记载的那样，忽略正常时由8×8的矩阵所提供的DCT系数中的高频成分，使用4×8的DCT系数来简易地进行重放。

在此，对使用正常的8×8的DCT系数的情况和使用4×8的DCT系数的情况简单地进行说明。

图6是用于对使用正常的8×8的DCT系数时的情况进行说明的概念图。

参照图3、图6，逆离散余弦变换部136把由逆量化部134所生成的DCT系数列恢复为8×8的子块单位的DCT系数，同时，根据预定的逆变换式来进行8×8的逆DCT。即，如图6所示的那样，根据8×8的DCT系数F(u，v)，而得到8×8的子块单位的数据f(i，j)。

图7是用于对降频时使用4×8的DCT系数时的情况进行说明的概念图。

参照图3、图7，首先，逆离散余弦变换部137，如(a)所示的那样，把由逆量化部134所生成的DCT系数列恢复为与8(水平方向象素数)×8(垂直方向象素数)的子块单位相对应的8×8的DCT系数F(u，v)(其中，u＝0，1，…7，v＝0，1，…7)，同时，除去各个子块的水平频率的高频成分的DCT系数，如(b)所示的那样，变换为4(水平频率方向u)×8(垂直频率方向v)的数的DCT系数F(u，v)(其中，u＝0，1，…3，v＝0，1，…7)。

接着，逆离散余弦变换部137对所生成的4×8的数的DCT系数根据预定的运算式进行4×8的逆DCT，生成(c)所示那样的原来的子块单位的数据在水平方向上被压缩1/2的由4(水平方向象素数)×8(垂直方向象素数)的数据数组成的数据f(i，j)(其中，i＝0，1，…3，j＝0，1，…7)。

因此，由于与正常的处理相比，处理的数据量较少，能够减少RAM112的容量和每一个图象的处理量。

再次参照图5，在步骤S4中，当式(3)成立时，进到步骤S5。在步骤S5中，合计处理量估计/重放方式判定部116指示MPEG解码器118：进行CH1为4×8IDCT重放所进行的降频变换。另一方面，合计处理量估计/重放方式判定部116指示MPEG解码器118：对CH2进行正常重放。

在步骤S3中，当式(2)成立时，进到步骤S6。在步骤S6中，判断下式(4)是否成立：

RP(CH1)+RP(half(CH2))≤DP           …(4)

在步骤S6中，当式(4)成立时，即，当CH1进行正常重放而CH2进行4×8IDCT重放的情况下的处理量的合计未超出解码器性能时，进到步骤S10。在步骤S10中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1进行正常重放并且CH2进行4×8IDCT重放。

当在步骤S4中式(3)不成立时以及当在步骤S6中式(4)不成立时，进到步骤S7。在步骤S7中，判断下式(5)是否成立：

RP(half(CH1))+RP(half(CH2))≤DP         …(5)

而且，当式(5)成立时，即，当CH1和CH2都进行4×8IDCT重放的情况下的处理量的合计未超出解码器性能时，进到步骤S9。在步骤S9中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1和CH2都进行4×8IDCT重放。

另一方面，当在步骤S7中式(5)不成立时，进到步骤S8。在步骤S8中，仅指定CH1进行正常重放，而CH2不进行重放，即，不更新画面。

如以上说明的那样，按照实施例1所示的流程图，当进行处理时，根据适当的处理量来降频显示所输入的MPEG视频流，因此，解码处理没有破绽，能够以较小的存储器容量，并且，不怎么增加解码器电路的规模来实现多窗口显示。

[实施例2]

图8是用于说明「3画面重放」的显示图象的图。

参照图8，在「3画面重放」方式下，显示器被分成左右两部分，在左侧显示CH1的图象，在右侧上下显示CH2和CH3的图象。

3画面重放方式由电视机的遥控器操作来选择。除此之外，可以通过电视机的遥控器操作来选择显示画面数更多的方式。在各个画面中，给每个由遥控器操作所选择的方式附加预定的优先顺序。

在该3画面重放方式中，CH1比其他频道更大地显示。例如，如果对应于画面的大小而决定优先顺序，则CH1一方的优先顺序被设定得高于CH2、CH3。

图9、图10是表示「3画面重放」方式中图2所示的合计处理量估计/重放方式判定部116进行的处理流程的流程图。

参照图9，首先判断下式(6)是否成立(步骤S11)：

RP(CH1)+RP(CH2)+RP(CH3)≤DP             …(6)

其中，DP表示使用的解码器的性能，RP(CH1)、RP(CH2)、RP(CH3)分别表示在CH1、CH2、CH3的正常重放中所需要的处理量。

当式(6)成立时，即，在CH1、CH2、CH3的正常重放中所需要的处理量的合计未超出解码器的处理性能的情况下，合计处理量估计/重放方式判定部116对MPEG解码器118指示：CH1、CH2、CH3都进行正常重放(步骤S12)。

另一方面，当式(6)不成立时，即，当CH1、CH2、CH3的正常重放中所需要的处理量的合计超出了解码器的处理性能的情况下，进到步骤S13。在步骤S13中，判断下式(7)是否成立。

RP(CH2)≤RP(CH3)                     …(7)

当式(7)不成立时，即，当CH2一方的处理量大于CH3时，进到步骤S14。在步骤S14中，判断下式(8)是否成立。

RP(CH1)+RP(half(CH2))+RP(CH3)≤DP    …(8)

其中，RP(half(CH2))表示使用4×8IDCT来重放CH2时所需要的处理量。4×8IDCT重放在图7中进行了说明，因此，不重复进行说明。

当式(8)成立时，进到步骤S15。在步骤S15中，合计处理量估计/重放方式判定部116指示MPEG解码器118：进行CH2为4×8IDCT重放所进行的降频变换。另一方面，合计处理量估计/重放方式判定部116指示MPEG解码器118：对CH1、CH3进行正常重放。

在步骤S13中，当式(7)成立时，进到步骤S16。在步骤S16中，判断下式(9)是否成立：

RP(CH1)+RP(CH2)+RP(half(CH3))≤DP…(9)

在步骤S16中，当式(9)成立时，即，当CH1、CH2进行正常重放而CH3进行4×8IDCT重放的情况下的处理量的合计未超出解码器性能时，进到步骤S17。在步骤S17中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1、CH2进行正常重放而CH3进行4×8IDCT重放。

当在步骤S14中式(8)不成立时以及当在步骤S16中式(9)不成立时，进到步骤S18。在步骤S18中，判断下式(10)是否成立：

RP(CH1)+RP(half(CH2))+RP(half(CH3))≤DP  …(10)

而且，当式(10)成立时，即，当CH1进行正常重放并且CH2、CH3进行4×8IDCT重放的情况下的处理量的合计未超出解码器性能时，进到步骤S19。在步骤S19中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1进行正常重放并且CH2、CH3进行4×8IDCT重放。

另一方面，当在步骤S18中式(10)不成立时，进到图10所示的步骤S20。

参照图10，在步骤S20中，判断下式(11)是否成立。

RP(half(CH1))+RP(half(CH2))+RP(half(CH3))≤DP…(11)

而且，当式(11)成立时，即，当CH1、CH2、CH3都进行4×8IDCT重放的情况下的处理量的合计未超出解码器性能时，进到步骤S21。在步骤S21中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1、CH2、CH3都进行4×8IDCT重放。

另一方面，当式(11)不成立时，即，当CH1、CH2、CH3都进行4×8IDCT重放时，处理量的合计超出解码器处理性能时，进到步骤S22。在步骤S22中，判断下式(12)是否成立。

RP(CH2)≤RP(CH3)               …(12)

当式(12)不成立时，即，当CH2一方的处理量大于CH3时，进到步骤S23。在步骤S23中，判断下式(13)是否成立。

RP(half(CH1))+RP(onlyI(CH2)+RP(half(CH3))≤DP…(13)

其中，RP(onlyI(CH2)表示在CH2的GOP中包含的I、P、B图象中仅重放I(Intra)图象时所需要的处理量。当仅重放I图象时，由于图象的更新间隔较宽，则活动稍稍不平滑，但是，用于重放的解码器的处理量比4×8IDCT重放时更少。

当式(13)成立时，进到步骤S24。在步骤S24中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH2进行降频的仅I图象的重放。另一方面，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1、CH3进行4×8IDCT重放。

在步骤S22中，当式(12)成立时，进到步骤S25。在步骤S25中，判断下式(14)是否成立：

RP(half(CH1))+RP(half(CH2))+RP(onlyI(CH3))≤DP…(14)

当在步骤S25中式(14)成立时，即，当CH1、CH2进行4×8IDCT重放而CH3进行仅I图象的重放情况下的处理量的合计未超出解码器性能时，进到步骤S29。在步骤S29中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH3进行降频的仅I图象的重放。另一方面，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1、CH2进行4×8IDCT重放。

另一方面，当在步骤S25中式(14)不成立时，即，当CH1、CH2进行4×8IDCT重放而CH3进行仅I图象的重放情况下的处理量的合计超出了解码器性能时，进到步骤S26。同样，在步骤S23中，当式(13)不成立时，进到步骤S26。在步骤S26中，判断下式(15)是否成立：

RP(half(CH1))+RP(onlyI(CH2))+RP(onlyI(CH3))≤DP…(15)

当式(15)成立时，即，当CH1进行4×8IDCT重放而CH2、CH3进行仅I图象的重放情况下的处理量的合计未超出解码器性能时，进到步骤S28。在步骤S28中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1进行4×8IDCT重放，CH2、CH3进行仅I图象的重放。

另一方面，在步骤S26中，当式(15)不成立时，进到步骤S27。在步骤S27中，合计处理量估计/重放方式判定部116指示MPEG解码器118：CH1进行正常重放，CH2、CH3不进行重放。

如上述那样，按照实施例3所示的流程图，当进行处理时，当进行处理时，使CH1的画质优先于其他频道，并且，根据适当的处理量来降频显示所输入的MPEG视频流，因此，最大限度利用解码器性能，来实现多窗口显示。

[其他的使用例]

在实施例1、2中，作为降频变换的方式，举例表示了4×8IDCT重放和仅I图象的重放，但是，也可以使用其他的降频变换的方式。例如，可以使用4×4IDCT重放，以及使用阿达码变换、解码器图象的抽取等来减轻MPEG解码器的处理量，或者，清除总线和存储器的限制(容量带宽)。

而且，在实施例1、2中，作为画面方式的例子，对2画面显示、3画面显示方式进行了表示，但是，当在其他的多窗口画面方式的情况下，以及即使是单画面但进行反向重放和2倍速重放这样的处理量大于正常重放的方式的情况下，同样可以事前估计处理量，指示MPEG解码器是否进行降频变换，由此，能够适当地显示画面。

图11是用于说明通过本发明来进行解码处理时的处理时间的图。

参照图11，在「HD正常重放」的情况下，用于在一帧期间进行显示的图象数据的解码具有若干裕量而进行。而且，在「SD的4CH多重放」方式的情况下，即使对CH1～CH4的频道的数据时分地进行解码处理，由于在一帧期间内处理结束，则可以没有问题地进行重放。以上与图18所示的现有的情况相同。

在「正常HD+子画面SD」的情况下，由于优先顺序低的CH2被进行降频变换，因此，活动图象解码装置可以在解码处理中没有破绽而进行重放。

在「HD的2画面重放」的情况下，CH1、CH2都被降频变换。在「480p的4CH多重放」方式的情况下，CH1原样进行重放，CH2～CH4被进行降频变换。在「HD反向重放」方式的情况下，CH1、CH2都被降频变换。在「HD的2倍速重放」的情况下，CH1、CH2都被降频变换。在「HD的3CH重放」方式的情况下，CH1、CH2都被降频变换，CH3不进行显示。

如上述那样，根据适当处理量的合计估计，所输入的MPEG视频流被降频变换而显示，因此，能够最大限度利用解码器性能，来实现多窗口显示。

而且，在本发明的实施例中，对接收使用符合MPEG2方式的编码数据的数字广播的构成进行了说明，但是，本申请的发明，除此之外，对于MPEG1方式、MPEG4方式和运动JPEG(joint photographic expertsgroup)方式等其他的编码标准所产生的数字广播的接收，也同样适用。