法律状态公告日
法律状态信息
法律状态
2018-02-06
授权
授权
2014-12-10
实质审查的生效 IPC(主分类):H04N19/59 申请日:20121024
实质审查的生效
2014-11-05
公开
公开
技术领域
本发明涉及显示包括运动画面的图像的图像处理技术。
背景技术
人们已经提出了不仅执行游戏程序，而且可以渲染运动画面的家用娱乐 系统。在该家用娱乐系统中，GPU(图形处理单元)使用多边形生成三维图 像(参照，例如，PTL 1)。
如何与图像是运动画面还是静止图像无关地有效显示图像一直是一个重 要问题。因此，在像图像数据的压缩技术、传输技术、图像处理技术和显示 技术那样的各种领域中已经开发出了各种技术并付诸于实际应用，在多种状 况下无拘无束地欣赏高清晰度图像已经成为可能。
[引用列表]
[专利文献]
[PTL 1]US 6,563,999 A
发明内容
技术问题
一直存在对用户移动视点或游戏的进展引起的视角的变化等高响应度地 显示高清晰度图像的需求。例如，为了像以放大尺度显示整个显示图像当中 用户希望关注的区域，或转去高响应度地显示不同区域那样，实现具有与视 点有关的自由度的图像显示，还有必要在短时间处理大规模图像数据的同时， 使随机访问大规模图像数据成为可能。
具体地说，在随着时间的流逝依次显示大量帧的运动画面的情况下，由 于数据规模增大，所以一般说来优先考虑压缩率。但是，随着压缩率升高， 解码时的算术运算成本增大，以及数据访问的粒度也往往增大。其结果是， 即使希望只显示有限区域，也可能必需解码帧的整个区域或将整个区域部署 在存储器中。就算术运算成本和存储成本而言，这是不利的。
本发明就是在考虑了像上述那样的问题之后作出的，本发明的目的在于 提供可以以满足各种需求的高响应度显示运动画面的图像处理技术。
问题的解决方案
本发明的一种具体方式涉及运动画面压缩装置。该运动画面压缩装置包 括：贴片图像序列生成部分，配置成生成通过按图像平面划分构成运动画面 数据的帧序列构成的贴片图像序列；参考图像压缩部分，配置成压缩该贴片 图像序列以生成参考图像的压缩数据；差值图像生成部分，配置成生成由差 值图像构成的差值图像序列，该差值图像代表构成贴片图像序列的贴片图像 与通过解码该参考图像压缩部分生成的参考图像的压缩数据获得和与贴片图 像相对应的图像之间的差值；差值图像压缩部分，配置成以通过按图像平面 和时间轴划分差值图像序列获得的数据块为单位压缩差值图像序列，以便生 成差值图像的压缩数据；以及压缩数据生成部分，配置成以预定个帧的贴片 图像为单位生成包括参考图像的压缩数据和差值图像的压缩数据的运动画面 压缩数据，并将该运动画面压缩数据输出到存储装置。
本发明的另一种方式涉及数据图像处理装置。该图像处理装置包括：信 息处理部分，配置成相继计算构成运动画面数据的帧序列当中要显示的帧和 该帧中要显示的区域；装载部分，配置成根据该信息处理部分计算的信息， 以贴片图像为单位将运动画面压缩数据从存储运动画面压缩数据的存储装置 装载到存储器中，该运动画面压缩数据包括通过压缩按图像平面划分帧序列 获得的贴片图像序列获得的参考图像的压缩数据、和代表解码参考图像的压 缩数据获得的图像与相应贴片图像之间的差值的差值图像的压缩数据；显示 图像处理部分，配置成从装载在存储器中的运动画面压缩数据当中读出由该 信息处理部分计算和包括要显示的帧当中要显示的区域的运动画面压缩数 据，并解码和相加参考图像的压缩数据和差值图像的压缩数据，以便依次渲 染要显示的区域的图像；以及显示部分，配置成依次显示渲染的图像。
本发明的进一步方式涉及运动画面压缩方法。该运动画面压缩方法包括： 由运动画面压缩装置执行：生成通过按图像平面划分存储在存储装置中和构 成运动画面数据的帧序列构成的贴片图像序列的步骤；压缩该贴片图像序列 以生成参考图像的压缩数据的步骤；生成由差值图像构成的差值图像序列的 步骤，该差值图像代表构成贴片图像序列的贴片图像与通过解码所生成参考 图像的压缩数据获得和与贴片图像相对应的图像之间的差值；以通过按图像 平面和时间轴划分差值图像序列获得的数据块为单位压缩差值图像序列，以 便生成差值图像的压缩数据的步骤；以及以预定个帧的贴片图像为单位生成 包括参考图像的压缩数据和差值图像的压缩数据的运动画面压缩数据，并将 该运动画面压缩数据输出到存储装置的步骤。
本发明的更进一步方式涉及图像处理方法。该图像处理方法包括：由图 像处理装置执行：相继计算构成运动画面数据的帧序列当中要显示的帧和该 帧中要显示的区域的步骤；根据该计算步骤计算的信息，以贴片图像为单位 将运动画面压缩数据从存储运动画面压缩数据的存储装置装载到存储器中的 步骤，该运动画面压缩数据包括通过压缩按图像平面划分帧序列获得的贴片 图像序列获得的参考图像的压缩数据、和代表解码参考图像的压缩数据获得 的图像与相应贴片图像之间的差值的差值图像的压缩数据；从装载在存储器 中的运动画面压缩数据当中读出通过计算步骤计算和包括要显示的帧当中要 显示的区域的运动画面压缩数据，并解码和相加参考图像的压缩数据和差值 图像的压缩数据，以便依次渲染要显示的区域的图像的步骤；以及依次显示 渲染图像的步骤。
本发明的再进一步方式涉及运动画面压缩文件的数据结构。在该数据结 构中，以预定个帧的贴片图像为单位相互联系通过以按图像平面和时间轴划 分贴片图像获得的数据块为单位压缩贴片图像获得的参考图像的压缩数据、 和通过以按图像平面和时间轴划分差值图像序列获得的数据块为单位压缩由 差值图像构成的差值图像序列获得的差值图像的压缩数据，该贴片图像构成 通过按图像平面划分构成运动画面数据的帧序列获得的贴片图像序列，该差 值图像代表通过解码参考图像的压缩数据获得的图像与相应贴片图像之间的 差值。在图像处理装置中，解码和相加根据要显示的帧和该帧中要显示的区 域的信息以贴片图像为单位装载和与要显示的帧当中要显示的区域相对应的 数据块的参考图像的压缩数据和差值图像的压缩数据，以便用于依次渲染要 显示的区域的图像。
要注意的是，作为本发明的方式，上述的组件和通过方法、装置、系统、 计算机程序等的不同几种之间的转换获得的本发明的表示的任意组合也是有 效的。
本发明的有益效果
按照本发明，可以进行可以随机访问和呈现高吞吐量的三维数据输出
附图说明
图1是描绘按照一个实施例的图像处理装置的配置的视图；
图2是例示本实施例中的运动画面数据的处理单元的视图；
图3是具体描绘本实施例中具有运动画面数据压缩功能的控制部分的配 置和硬盘驱动器的配置的视图；
图4是示意性地例示本实施例中包括控制部分的图像处理装置执行的运 动画面数据的压缩过程的视图；
图5是例示本实施例中参考图像压缩部分执行的生成参考图像的压缩数 据的处理过程的流程图；
图6是示意性地例示本实施例中通过冗余判定压缩空间划分贴片图像序 列的过程的视图；
图7是例示本实施例中进一步划分进行压缩判定之后的数据块形成量化 单元以便量化像素值的方式的视图；
图8是例示本实施例中从Y图像的量化单元中生成调色板和索引的数据 的方法的视图；
图9是例示本实施例中从CbCr图像的量化单元中生成调色板和索引的数 据的方法的视图；
图10是例示本实施例中要存储到划分模式存储部分中以便形成由16个 像素构成的量化单元的划分模式的变种的视图；
图11是例示本实施例中在未进行通过冗余的压缩的情况下从数据块中 生成量化单元时的划分模式的视图；
图12是例示本实施例中从利用冗余进行压缩的数据块中生成量化单元 时的划分模式的视图；
图13是例示本实施例中从利用冗余进行压缩的数据块中生成量化单元 时的划分模式的视图；
图14是示意性地例示本实施例中参考图像的压缩数据的数据结构的视 图；
图15是例示本实施例中以调色板的形式表示代表压缩模式和划分模式 的标识号的方法的视图；
图16是示意性地例示本实施例中差值图像生成部分执行的生成差值图 像的过程的视图；
图17是示意性地例示本实施例中解码参考图像时的图像的放大处理的 视图；
图18是例示本实施例中通过调色板表示解码存储在调色板中的数值时 的放大率的标识号的方法的视图；
图19是例示本实施例中通过差值图像的Y图像表示代表压缩模式和划 分模式的标识号的方法的视图；
图20是示意性地例示本实施例中生成包括参考图像的压缩数据和差值 图像的压缩数据的最终压缩数据的处理过程的视图；
图21是具体描绘本实施例中具有图像显示功能的控制部分的配置的视 图；
图22是例示本实施例中解码部分执行的解码处理的过程的流程图；以及
图23是概念性地例示本实施例中运动画面由分层数据构成的数据结构 的视图。
具体实施方式
在本实施例中，不增加算术运算成本和存储成本地按图像平面和随着时 间轴为对其的随机访问显示运动画面。这里取作显示目标的运动画面可以是 本身构成主要内容的电影、动画或用户拍摄的运动画面等，或可以是表示成 像映射在游戏等的计算机图形中的视频纹理那样的图像构件的运动画面。
在静止图像的情况下，作为压缩方法，JPEG(联合图像专家组)、S3TC (S3纹理压缩)等已经付诸于实际应用。前者呈现高压缩率，但存储成本相 对较高，因为在显示时需要将解码目标的数据部署在存储器中。后者的压缩 率相对较低。但是，由于不需要部署解码数据，尤其在局部显示图像的情况 下，所以存储成本较低。于是，可以响应取决于显示环境等的压缩率和存储 负载的优先次序适当选择压缩方法之一。
同时，传统上，运动画面的压缩方法引起了像如下面所述那样的问题， 因为MPEG(运动图像专家组)、AVC(高级视频编码)等都强调提高压缩率。 尤其，在运动画面被用作视频纹理的情况下，即使只映射运动画面的一部分， 也需要将整个区域部署在存储器中，这需要无用的存储成本。这类似地不仅 适用于视频纹理，而且适用于这样以放大尺度只显示运动画面的一部分的情 况。
尤其，在帧间预测编码方法的情况下，也需要将参考图像部署在存储器 中的整个区域上。进一步，源于高压缩率，解码整个区域上的数据的算术运 算成本也很高。更进一步，甚至在视频纹理表达的区域在视角之外的时段内， 也必须继续解码，为随后进入视角内作准备。因此，甚至从这一点来看，也 无用地需要解码的处理成本和存储成本。
因此，在本实施例中，压缩运动画面的数据以便，即使在保持在压缩状 态下的同时将运动画面的数据存储到存储器中，也可以只提取必要区域中的 数据，并独立地解码和显示数据，从而降低算术运算成本和存储成本。此时， 考虑到帧中或帧间冗余地压缩运动画面的数据，以便考虑到图像的内容地实 现高画面质量和高压缩率。
首先，描述本实施例中生成运动画面的压缩数据的技术。图1描绘了本 实施例的图像处理装置的配置。图像处理装置10包括无线接口40、输入装 置20、显示处理部分44、显示装置12、硬盘驱动器50、记录介质安装部分 52、盘驱动器54、主存储器60和控制部分100。
显示装置12包括像液晶显示单元、EL(电致发光)显示单元和等离子 显示单元那样的一般显示单元之一。显示装置12可以与图像处理装置10的 一些其它模块集成地配备，或可以使用线缆、无线LAN(局域网)等通过有 线或无线连接来连接。显示处理部分44含有缓存要显示在显示装置12的显 示单元上的数据的帧存储器(未示出)。
无线接口40被配置成通过依照预定无线通信协议将无线接口40与外部 装置或网络连接，可以从服务器接收像图像数据那样各种类型的数据。输入 装置20由像操纵杆、触摸面板、鼠标、键盘、按钮等那样的普通输入装置构 成。输入装置20包括接受像选择处理目标的图像数据、开始生成压缩数据等 那样用户的请求的操作部件。将用户输入到输入装置20中的各种请求信号供 应给控制部分100。
硬盘驱动器50起存储数据的存储装置的作用。将从服务器接收的各种类 型数据一次性存储到硬盘驱动器50中。当像存储卡那样的可换式记录介质安 装在上面时，记录介质安装部分52从可换式记录介质中读出数据。当用于只 读的ROM盘安装在上面时，盘驱动器54驱动ROM盘，并识别它以便读出 数据。ROM盘可以是光盘、磁光盘等。可以将像图像数据那样各种类型的数 据存储在那些记录介质中。
控制部分100包括多核CPU，在一个CPU中配备一个通用处理器核心和 多个简单处理器核心。通用处理器核心被称为PPU(PowerPC处理器单元)， 而其余处理器核心的每一个被称为SPU(协同处理器单元)。PPU含有寄存器， 包括作为进行算术运算的实体的主处理器以及有效地将作为要执行的应用的 其余处理单元的任务分配给SPU。要注意的是，PPU本身也可以执行任务。 每个SPU都含有寄存器，以及包括作为进行算术运算的实体的分处理器和作 为本地存储区的本地存储器。
主存储器60是存储装置，被配置成RAM(随机访问存储器)。每个SPU 都含有专门用作控制单元的DMA(直接存储器访问)控制器，并且可以实现 显示处理部分44的帧存储器与主存储器60之间的高速数据传送。本实施例 中的控制部分100通过使多个SPU相互并行地工作实现高速图像处理功能。 显示处理部分44与显示装置12连接，输出菜单屏幕图像的屏幕数据等。
图2是例示本实施例中的运动画面数据的处理单元的视图。在本实施例 中，将构成压缩目标的运动画面的图像帧80的每一个划分成预定尺寸，以便 生成多个贴片图像(例如，贴片图像(tile image)82)。由于运动画面的图像帧 80随着在图2中沿着垂直方向表示的时间轴构成图像序列，所以贴片图像也 构成与该图像序列相对应的图像序列(例如，贴片图像序列84)。在本实施 例中，将贴片图像序列用作处理单元地生成压缩数据。在图像显示时，随机 应变地相互连接解码的贴片图像来显示图像。要注意的是，在如下描述中， 构成贴片图像序列的贴片图像的每一个也被称为“帧”。要注意的是，在原始 图像帧的像素的数量小于预定数量的情况下，或在类似情况下，可以将整个 图像帧当作一个贴片地不进行贴片图像划分。
图3具体描绘了本实施例中具有运动画面数据压缩功能的控制部分100a 的配置和硬盘驱动器50的配置。控制部分100a包括贴片图像序列生成部分 120、参考图像压缩部分122、差值图像生成部分124、差值图像压缩部分126、 和压缩数据生成部分128。贴片图像序列生成部分120从压缩目标的运动画 面数据中生成贴片图像序列，并将色空间从RGB色空间转换成YCbCr色空 间。参考图像压缩部分122减少转换之后的帧，并将帧压缩成参考图像。差 值图像生成部分124根据参考图像生成帧的差值图像。差值图像压缩部分126 压缩差值图像。压缩数据生成部分128生成包括参考图像的压缩数据和差值 图像的压缩数据的最终压缩数据。
参照图3和下文所述的图21，描述成进行各种处理的功能块的组件在硬 件上可以由CPU(中央处理单元)、存储器和其它LSI(大规模集成电路)构 成，在软件上可以用装载在存储器等中的程序来实现。如下文所述，控制部 分100含有一个PPU和多个SPU，PPU和SPU可以单个地或组合地分别构 成功能块。于是，本领域的普通技术人员可以认识到，功能块可以只通过硬 件，只通过软件，或通过硬件和软件的组合件地以各种形式实现，它们不局 限于硬件、软件和组合件之一。
硬盘驱动器50包括运动画面数据存储部分130、划分模式存储部分132 和压缩数据存储部分134。运动画面数据存储部分130含有存储在其中的压 缩目标的运动画面数据。划分模式存储部分132存储参考图像压缩部分122 和差值图像压缩部分126形成量化单元的划分模式。压缩数据存储部分134 存储压缩数据生成部分128生成的压缩数据。
贴片图像序列生成部分120从输入装置20获取用户指定和与压缩目标的 运动画面数据有关的信息，并从运动画面数据存储部分130中依次读出构成 运动画面数据的帧的数据。然后，贴片图像序列生成部分120将帧划分成预 定尺寸，以便生成贴片图像序列，并将作为像素值的RGB值转换成亮度Y 和色差Cb和Cr，以便生成具有作为像素值的YCbCr值的YCbCr图像。色空 间从RGB色空间到YCbCr色空间的转换可以应用现有方法来实现。
参考图像压缩部分122以预定比率缩短贴片图像序列生成部分120生成 的贴片图像序列，然后压缩缩短的贴片图像序列。尤其，参考图像压缩部分 122沿着空间和时间方向将贴片图像序列划分成预定尺寸，并且在划分之后 量化数据块。在量化时，参考图像压缩部分122利用存储在划分模式存储部 分132的划分模式之一进一步对每个数据块进行空时划分，以便形成由预定 个像素的数据构成的量化单元。尽管下文描述其细节，但由于最佳划分模式 随图像的内容而异，参考图像压缩部分122从存储在划分模式存储部分132 中的多种划分模式当中选择一种最佳模式。
然后，参考图像压缩部分122通过为每个量化单元生成代表两个代表性 值的调色板和将两个代表性值和通过代表性值的线性内插获得的多个中间值 之一指定成像素值的索引进行量化。分别为预定个量化单元收集每一个由调 色板和索引构成的数据，以便形成一个存储单元。
差值图像生成部分124分别为每个相应像素计算贴片图像序列生成部分 120生成的贴片图像序列的每个帧与通过解码参考图像压缩部分122压缩的 参考图像的数据恢复的相应帧之间的差值，以便生成贴片图像序列的差值图 像。差值图像压缩部分126压缩差值图像生成部分124生成的贴片图像序列 的差值图像。
该压缩处理的大致流程与参考图像压缩部分122进行的上述压缩处理的 大致流程类似。但是，由于参考图像的像素值的范围是有限的，所以将该压 缩处理配置成使其特点作为优点反映在渲染处理的数据尺寸或效率上。尤其， 只由绝对值等于或低于预定阈值的像素值构成的数据块的所有像素值被认为 是0。进一步，关于量化时的调色板，减少分层的数量，以便代表四个具体 值，以便在图像显示时不进行线性内插。下面描述细节。
压缩数据生成部分128以预定单元收集参考图像压缩部分122压缩的参 考图像的数据和差值图像压缩部分126压缩的差值图像的数据，然后将指针 加入每个数据中生成压缩数据，以便在图像显示时可以引用数据。将生成的 压缩数据存储到压缩数据存储部分134中。
图4示意性地描绘了包括控制部分100a的图像处理装置10执行的运动 画面数据的压缩过程。首先，由贴片图像序列生成部分120将从运动画面数 据存储部分130中读出的运动画面数据的帧序列划分成贴片图像序列250。 这里，贴片图像具有256×256个像素的尺寸，以及每次对贴片图像的四个帧 进行后面的压缩处理。尽管下面根据刚才所述的例子描述压缩处理，但可以 各种各样地改变贴片图像的像素的数量、处理单元的帧的数量和在随后级上 进行的处理的单元。
然后，贴片图像序列生成部分120将贴片图像序列250的色空间从RGB 色空间转换到YCbCr色空间，以便生成具有256×256个像素的YCbCr图像 序列252(S10)。然后，参考图像压缩部分122通过沿着垂直和水平方向将 它们乘以1/2缩小YCbCr图像序列的帧，以便生成具有128×128个像素的 YCbCr图像序列256(S12)。进一步，参考图像压缩部分122以像下文详细 所述那样的方式进行压缩处理，并相继地收集量化单元形成存储单元，以便 生成参考图像的压缩数据260(S14)。
另一方面，差值图像生成部分124像在图像显示时的情况那样类似地解 码和解压参考图像的压缩数据260，以便恢复具有256×256个像素的YCbCr 图像作为参考图像。然后，差值图像生成部分124计算参考图像与具有 256×256个像素和贴片图像序列生成部分120生成的YCbCr图像序列252的 相应帧的差值，以便生成256×256个像素的YCbCr的差值图像序列262。
然后，差值图像压缩部分126以像下文详细所述那样的方式相继进行压 缩处理，并收集量化单元形成存储单元，以便生成差值图像的压缩数据266 (S18)。然后，压缩数据生成部分128生成通过连接参考图像的压缩数据260 和差值图像的压缩数据266获得的压缩数据268，并将生成的压缩数据存储 到压缩数据存储部分134中(S20)。
在压缩数据268中，包括指针信息作为首标269，以便在图像显示时可 以找到原始运动画面的帧中数据块的位置与压缩数据的对应关系。对图像序 列的整个其余部分的四个帧重复进行图4中的处理。进一步，通过随后每次 对四个帧重复进行上述处理，压缩整个运动画面数据。
接着参考图5到15描述参考图像的压缩数据生成处理。图5是例示图4 的步骤S14中参考图像压缩部分122生成参考图像的压缩数据260的处理过 程的流程图。首先，沿着空间方向将在图4的步骤S12中缩小的四个帧的 YCbCr图像序列256划分成预定尺寸，以便生成处理单元的数据块(S30)。 这里，空间方向对应于图像的平面。另一方面，时间方向对应于帧的数量。
然后，对每个数据块确认沿着空间方向和时间方向是否存在某种冗余， 并且，如果判定存在冗余，则沿着判定存在冗余的方向压缩数据(S32)。尤 其，如果沿着空间方向存在冗余，则缩小图像。如果沿着时间方向存在冗余， 则对多个相继图像求平均以减少帧的数量。然后，利用存储在划分模式存储 部分132中的划分模式之一进行时间-空间划分，以形成由相等数量的像素构 成的量化单元并量化数据(S34)。
此时，将YCbCr图像分解成亮度Y是像素值的Y图像和具有作为一个 元素的色差(Cb，Cr)的矢量值是像素值的CbCr图像，并通过预定放大率 缩小CbCr图像。然后，像上述的方式那样类似地由Y图像和CbCr图像形成 量化单元，以便分别量化图像。如上文所述，量化是通过调色板和索引表示 包括在量化单元中的像素值的处理。
其结果是，为每个数据块生成包括Y图像的调色板和索引的量化单元的 一个或多个数据和包括与Y图像相对应的CbCr图像的调色板和索引的量化 单元的一个或多个数据。这里，构成一个数据块的那些量化单元的数量随步 骤S32中的压缩量而不同。通过每次对预定数量的量化单元收集以像上述那 样的方式生成的数据形成存储单元，生成原始贴片图像的四个帧的参考图像 的压缩数据(S36)。
图6示意性地例示了通过步骤S32中的冗余判定压缩在图5的步骤S30 中空间划分的贴片图像序列的过程。在图6的例子中，在步骤S30中将YCbCr 图像序列划分成8×8个像素以形成数据块。尤其，沿着垂直和水平两个方向 将具有128×128个像素的四个帧的YCbCr图像划分成16个块。在图6中， 在每个数据块下面以“水平方向的像素数量×垂直方向的像素数量×帧数”的 形式指示数据尺寸。这也类似地适用于随后画面。
对以像上述那样的方式形成的每个数据块272判定冗余。在图6中，首 先进行沿着空间方向的冗余判定(S32a)。尤其，沿着预定方向通过预定放大 率缩小图像，以及针对每个帧相互比较使缩小图像的尺寸返回到原始尺寸获 得的图像和缩小之前的图像。如果像素值之间的差值的总和等于或低于阈值， 则判定在空间方向存在一些冗余。然后，通过按总和等于或低于阈值的那些 缩小放大率当中缩小量比较大的放大率缩小图像来压缩图像。在图6的例子 中，将沿着垂直方向的1/2、沿着水平方向的1/2、和沿着垂直和水平方向的 1/2设置成缩小放大率的候选者。
于是，如图6所描绘，取决于步骤S32a中的判定，出现在原始图像中没 有冗余和8×8个像素的图像保持原样的情况和将图像缩小成8×4个像素、4×8 个像素或4×4个像素的不同情况。由于每四个帧为一组地进行判定，所以可 以确定，如果当针对每个帧将像素值之间的差值的总和与阈值相比较时，发 现对于所有四个帧该总和都等于或低于阈值，则可以缩小原始图像。可替代 地，可以针对四个帧的像素值之间的差值的总和进行阈值判定。
接着，对设置在上文所述的四种状态之一下的图像进行沿着时间方向的 冗余判定(S32b)。尤其，通过对预定数量的相继帧求平均生成图像，将生成 的图像与原始帧的图像相比较。如果像素值之间的差值的总和等于或低于阈 值，则判定在时间方向存在冗余。在这种情况下，由于等效地判定可以用一 个平均图像总体表示多个帧，所以用总和等于或低于阈值的平均图像当中可 以收集到最大数量的帧的平均图像取代这些帧以便压缩图像。在图6的例子 中，设置了每两个帧进行平均以生成两个平均图像的一种情况和每四个帧进 行平均以生成一个平均图像的另一种情况。
但是，由于不要求未满足下文所述的一个存储单元的程度的压缩，所以 在图6的例子中，对具有8×8个像素的图像只设置用一个平均图像表示四个 帧的图像的情况。进一步，不对具有4×4个像素的图像进行沿着时间方向的 压缩。作为S32b中的判定的结果，如图6所描绘，存在也包括不进行沿着时 间方向的压缩的情况、出现8×8个像素×4个帧、8×8个像素×2个帧、8×8个 像素×1个帧、8×4个像素×4个帧、8×4个像素×2个帧、4×8个像素×4个帧、 4×8个像素×2个帧和4×4个像素×4个帧的八种类型数据结构的情况。
与有关沿着空间方向的冗余的判定类似，可以进行这样的判定，即针对 原始图像的每个帧将像素值之间的差值的总和与阈值相比较，并在对于所有 四个帧该总和都等于或低于阈值的条件下允许压缩。可替代地，可以针对四 个帧的像素值之间的差值的总和进行阈值判定。要注意的是，缩小放大率和 减少帧数的选择不局限于描绘在图6中的那些，而是可以，例如，响应原始 数据块的尺寸、存储单元的数据尺寸等适当确定。此外，沿着空间方向的冗 余判定和沿着时间方向的冗余判定的次序可以与描绘在图6中的次序相反。 可替代地，通过以各种组合一次性地进行帧的缩小和帧数的减少，可以同时 进行两种判定。可替代地，可以只进行一种判定。
图7示意性地例示了在图5的步骤S34中进一步划分像上述那样的压缩 判定之后的数据块形成量化单元以便量化像素值的方式。每个量化单元是沿 着空间方向、沿着时间方向、或沿着空间和时间方向两者划分数据块获得的 一组预定数量像素。为每个量化单元生成代表两个代表性值的一对调色板和 将指示调色板和调色板之间的中间值之一的标识信息与像素相联系的索引。 该调色板和索引基本上类似于在S3TC纹理压缩方法中从RGB图像中生成的 那些。另一方面，在本实施例中，参数的维数不同于一般S3TC的维数。
要注意的是，在进行上文所述的量化之前，将YCbCr图像划分成Y图像 和CbCr图像，然后缩小CbCr图像。在如下描述中的例子中，假设沿着垂直 和水平方向两者将CbCr图像缩小到1/2。在图7的左侧，一个矩形代表Y图 像的量化单元280或CbCr图像的量化单元282。在如下描述中，假设量化单 元包括16个像素。可替代地，虽然在图7中象征性地将量化单元表示成4×4 个像素的图像，但取决于划分模式，在量化单元中可能混合着不同帧的一些 像素。
通过量化，从Y图像的量化单元280中生成调色板284和索引286，而 从CbCr图像的量化单元282中生成调色板288和索引290。由于CbCr图像 相对于Y图像具有1/4尺寸，所以Y图像的四个量化单元对应于CbCr图像 的一个量化单元。于是，如图7所描绘，收集从相应量化单元中生成的调色 板和索引以生成一个存储单元292。在显示时，可以将一个存储单元的数据 用于恢复相应区域中的像素值。
图8是例示从Y图像的量化单元中生成调色板和索引的数据的方法。如 上文所述，一个量化单元包括16个像素。在图8中，用一个圆圈示意性地表 示每个像素。在将通过每个像素保存成像素值的亮度Y的值表示在有关亮度 Y的轴上的情况下，获得像描绘在图8中那样的分布300。从标绘在分布300 上的16个像素值当中选择两个代表性值。例如，选择最小值(min)和最大 值(max)作为代表性值，并将保存两个所选值的数据确定为调色板。
进一步，在将亮度Y的轴上最小值与最大值之间的线段内分成1：2的 亮度Y的值确定为第一中间值(mid1)和将该线段内分成2：1的亮度Y的 值确定为第二中间值(mid2)的情况下，将为每个像素保存指定最小值、第 一中间值、第二中间值和最大值的四个值之一的信息的数据确定为索引。其 结果是，关于Y图像的量化单元，该调色板是代表亮度Y的8个位×2个值 ＝2个字节的数据，该索引是将四个值的标识号表示成0到3的信息的2个位 ×16个像素＝4个字节的数据。
图9是例示从CbCr图像的量化单元中生成调色板和索引的数据的方法。 与Y图像的量化类似，一个量化单元包括16个像素。但是，每个像素保存 的值是具有作为元素的(Cb，Cr)的二维矢量值。在将像素值表示在具有色 差Cb和Cr的轴的二维平面上的情况下，获得像描绘在图9中那样的分布302。
从标绘在分布302上的16个像素值当中选择两个代表性值。例如，在用 直线近似表示分布302的情况下，分别将直线左端和右端的色差确定为最小 值(min)和最大值(max)，并确定为代表性值。将保存两个计算值的数据 确定为调色板。此时，每个代表性值是具有作为元素的(Cb，Cr)的矢量值。
进一步，在将近似直线上最小值与最大值之间的线段内分成1：2的色差 确定为第一中间值(mid1)和将该线段内分成2：1的色差确定为第二中间值 (mid2)的情况下，将为每个像素保存指定最小值、第一中间值、第二中间 值和最大值的四个值之一的信息的数据确定为索引。其结果是，关于CbCr 图像的量化单元，该调色板是色差Cb和Cr的2个元素×代表色差的8个位 ×2个值＝4个字节的数据，而该索引是将四个值的标识号表示成0到3的信息 的2个位×16个像素＝4个字节的数据。
如果以像上述那样的方式压缩数据，则由于描绘在图7中的存储单元292 包括Y图像的调色板的2个字节×4个量化单元＝8个字节、Y图像的索引的4 个字节×4个量化单元＝16个字节、CbCr图像的调色板的4个字节和CbCr图 像的索引的4个字节，所以存储单元292是总共32个字节的数据。由于一个 存储单元292保存16个像素×4个量化单元＝64个像素的数据，所以量化之后 的数据中的一个像素对应于0.5个字节。
如上所述，在本实施例中，在将原始RGB图像分解成保存一维参数的Y 图像和保存二维参数的CbCr图像之后，生成调色板和索引。因此，在一维Y 图像的情况下，所有样本值分布在直线上，此外，在二维CbCr图像中，只在 相关近似直线的法线方向存在偏移近似直线的样本。于是，与用直线近似表 示然后量化保存三维参数的RGB图像的一般S3TC方法相比，可以将量化误 差抑制得很小。
图10例示了要存储到划分模式存储部分132中以便形成由16个像素构 成的量化单元的划分模式的变种。图10中的变种从左侧开始，称为模式(A)、 模式(B)、模式(C)和模式(D)，对于上级的Y图像和下级的CbCr图像， 用直线表示空间划分的分界线，以及用阴影部分代表性地表达一个量化单元。 要注意的是，在图10中，例示了对于Y图像和CbCr图像两者，划分不受通 过冗余的压缩支配的数据块，即，8×8个像素×4个帧的Y帧和4×4个像素×4 个帧的CbCr图像的方式。
在模式(A)中，每4×4个像素×1个帧地划分图像。在模式(B)中， 每4×2个像素×2个帧地划分图像。在模式(C)中，每2×4个像素×2个帧地 划分图像。在模式(D)中，每2×2个像素×4个帧地划分图像。从模式(D) 到模式(A)进行更详细时间划分，从模式(A)到模式(D)进行更详细空 间划分。准备好像上述那样的划分模式，并依照有关图像沿着空间方向存在 冗余还是沿着时间方向存在冗余的图像特性选择划分模式之一。
尤其，在像包括很大像天空或草坪那样颜色接近一种颜色的区域的情况 那样图像具有空间冗余的情况下，该区域中的像素值有可能在空间方面变得 更加一致。因此，即使空间划分数减少了，也较不可能包括量化引起的误差， 因此选择接近模式(A)的划分模式。另一方面，在像通过定点观察来观察 包括较不运动的风景的情况或类似情况那样图像具有时间冗余的情况下，像 素值有可能沿着时间方向变得一致。因此，即使时间划分数减少了，也由于 较不可能包括量化引起的误差，所以选择接近模式(D)的划分模式。
由于划分之前的数据块的数据结构实际上是例示在图6中的八种类型之 一，所以可以取的划分模式可以随数据结构而不同。图11例示了当未进行通 过冗余的压缩时从8×8个像素×4个帧的数据块中生成量化单元时的划分模 式。
在这种情况下，由于生成8×8个像素×4个帧的Y图像和4×4个像素×4 个帧的CbCr图像，所以可以从如图10所描绘的所有划分模式(A)、(B)、 (C)和(D)当中选择划分模式。在所有划分模式中，每一个数据块生成四 个存储单元(例如，存储单元304a、304b、304c和304d)。对这种情况下的 划分模式分别应用标识号“0”、“1”、“2”和“3”。
图12例示了作为进行使用冗余的压缩时的结果，当数据块是8×4个像素 ×4个帧时，当数据块是4×8个像素×4个帧时，以及当数据块是8×8个像素 ×2个帧时生成量化单元的划分模式。首先，在数据块是8×4个像素×4个帧的 情况下，由于生成8×4个像素×4个帧的Y图像和4×2个像素×4个帧的CbCr 图像，所以选择划分模式(B)和(D)之一。在数据块是4×8个像素×4个 帧的情况下，生成4×8个像素×4个帧的Y图像和2×4个像素×4个帧的CbCr 图像。因此，选择划分模式(C)和(D)之一。
在数据块是8×8个像素×2个帧的情况下，生成8×8个像素×2个帧的Y 图像和4×4个像素×2个帧的CbCr图像。因此，选择划分模式(A)、(B)和 (C)之一。在图12的所有划分模式中，每一个数据块形成两个存储单元(例 如，存储单元306a和306b)。对这种情况下的划分模式分别应用标识号“4”、 “5”、“6”、“7”、“8”、“9”和“10”。
图13例示了作为进行使用冗余的压缩时的结果，当数据块是4×4个像素 ×4个帧时，当数据块是4×8个像素×2个帧时，当数据块是8×4个像素×2个 帧时，以及当数据块是8×8个像素×1个帧时生成量化单元的划分模式。首先， 在数据块是4×4个像素×4个帧的情况下，生成4×4个像素×4个帧的Y图像 和2×2个像素×4个帧的CbCr图像。因此，该选择局限于模式(D)。在数据 块是4×8个像素×2个帧的情况下，生成4×8个像素×2个帧的Y图像和2×4 个像素×2个帧的CbCr图像。因此，该选择局限于模式(C)。
在数据块是8×4个像素×2个帧的情况下，生成8×4个像素×2个帧的Y 图像和4×2个像素×2个帧的CbCr图像。因此，该选择局限于模式(B)。在 数据块是8×8个像素×1个帧的情况下，生成8×8个像素×1个帧的Y图像和 4×4个像素×1个帧的CbCr图像。因此，该选择局限于模式(A)。在所有划 分模式中，每一个数据块形成一个存储单元(例如，存储单元308)。对这种 情况下的划分模式分别应用标识号“11”、“12”、“13”和“14”。
如果以像上述那样的方式应用标识号，则每个标识号最终包括利用冗余 的压缩模式和形成量化单元的划分模式作为信息。将四种类型的划分模式 (A)到(D)和标识它们的信息事先以相互联系的关系存储到划分模式存储 部分132中。参考图像压缩部分122根据压缩模式和所选划分模式的组合确 定与每个数据块相对应的标识号。使标识号包括到压缩数据中并加以引用， 以便在图像显示时在显示区中指定像素值的数据。
在对量化单元的划分模式可作多种选择的情况下，应用所有划分模式对 每个数据块进行量化然后加以解码。然后，选择解码结果相对于原始图像指 示最小误差的那一种划分模式。可替代地，可以使用含有相似内容的测试图 像为每个区域事先设置划分模式。
现在，描述参考图像压缩部分122生成的参考图像的压缩数据的数据结 构。与S3TC的纹理压缩方法类似，在本实施例中生成的压缩数据由调色板 和索引构成。因此，可以按原样使用常见GPU的加阴影功能进行解码处理。
为此，优选的是可以与普通纹理图像类似地读出和解码通过量化Y图像 的数据生成的索引和调色板和通过量化CbCr图像的数据生成的索引和调色 板。因此，当存储压缩数据时，如上所述地将代表相同区域的Y图像的量化 数据和CbCr图像的量化数据收集成单个存储单元，以便可以通过少数几次数 据访问恢复像素。
图14示意性地例示了参考图像的压缩数据的数据结构。图14中的左侧 代表一个存储单元314，其中如图14的右侧所描绘地存储着代表相同区域的 Y图像的压缩数据310和CbCr图像的压缩数据312。Y图像的压缩数据310 当中用“I”表示的每个长方体代表一个量化单元的索引，用“P”表示的每 个长方体代表一个量化单元的调色板。这也类似地适用于CbCr图像的压缩数 据312。如上文所述，Y图像的索引和调色板分别是每个量化单元四个字节 和两个字节的数据。CbCr图像的索引和调色板两者都是每个编码单元四个字 节的数据。
因此，如图14所描绘，将代表相同区域的Y图像的四个量化单元和CbCr 图像的一个量化单元的数据集体排列成深度为四个字节的存储区。这里，由 于Y图像的压缩数据310当中的调色板是两个字节的数据，所以如图14所 描绘将两个调色板沿着深度方向布置。其结果是，一个存储单元314包括 4×2×4个字节的数据。
如果以这种方式收集数据，则可以将一个存储单元314按原样存储到存 储4×2个像素的RGBA图像的数据的存储区中。由于从8×8个像素×4个帧的 数据块中最多形成四个存储单元，所以一个数据块的数据尺寸变成最多等于 4×2个像素×4＝32个像素的RGBA图像的数据尺寸。如果将冗余用于压缩， 则数据量进一步减少到1/2或1/4。
这里，描述将代表压缩模式和划分模式的标识号包括到上文所述的压缩 数据中的方法。该标识号是四个位的信息，因为它是如上所述的“0”到“14” 的15种类型之一。同时，如图14所例示将Y图像的四个调色板存储到一个 存储单元中。在每个调色板中，存储着代表亮度Y的数值的两个值。因此， 通过四个调色板的每一个保存的两个值的存储次序和它们之间的幅度的关系 表示四个位的标识信息。
图15是例示通过调色板表示标识号的方法的视图。如果将作为如图14 所描绘的Y图像的四个调色板之一的调色板315取作例子，则从图15的这 一侧的最高地址开始依次存储两个代表性值“P0”和“P1”。此时，用数值“P0” 和“P1”的幅度的关系表示一个位的信息。事先设置成，例如，如果P0>P1， 则这代表1，而“P0”和“P1”的幅度的任何其它关系都代表0。
由于一个存储单元包括Y图像的四个调色板，所以如果利用所有四个调 色板以及事先确定了与位序列相对应的调色板的次序，则可以表示四个位的 信息。与将值的哪一个存储到前一个地址中无关，取决于值的幅度的关系， 调色板保存的两个值的哪一个是最小值或最大值是显而易见的，因此，该次 序不影响解码处理。因此，如果从每个数据块的压缩模式和划分模式中确定 了一个标识号，则参考图像压缩部分122响应该标识号确定要将每个调色板 的较高值存储到哪一个地址。
要注意的是，当一个数据块形成多个存储单元时，所有存储单元表示相 同标识信息。这使得不必与压缩数据的主体分开地生成压缩模式和/或划分模 式的信息，可以整体地缩小数据尺寸。进一步，由于为相应区域的每个压缩 数据嵌入压缩模式和划分模式的信息，所以引用该信息的效率是高的。
现在，参考图16到19描述差值图像的压缩数据生成处理。图16示意性 地例示了差值图像生成部分124在图4的步骤S16中生成差值图像的过程。 在图16中，与图4中的那些相同的数据用相同标号表示。首先，将贴片图像 序列生成部分120生成的256×256个像素的YCbCr图像序列252和参考图像 压缩部分122使用YCbCr图像序列252生成的参考图像的压缩数据260用作 输入数据。
差值图像生成部分124首先解码参考图像的压缩数据260(S40)。尤其， 差值图像生成部分124读出构成包括在相同贴片图像序列中的数据块的存储 单元的所有数据，并从调色板和索引中恢复Y图像和CbCr图像。此时，可 以通过获取Y图像的调色板所代表的标识号指定像素的阵列。
尤其，由于从每个数据块的标识号中识别利用冗余的压缩模式和形成量 化单元时的划分模式，所以根据压缩模式和划分模式通过与划分处理相反的 处理连接包括在量化单元中的数据。然后，沿着垂直和水平方向将CbCr图像 放大成两倍，然后与Y图像合成以生成YCbCr图像。接着，增加帧数或通过 与例示在图6中的压缩处理相反的处理扩大图像。进一步连接以像上述那样 的方式恢复的数据块，以生成128×128个像素×4个帧的YCbCr图像序列400。
然后，沿着垂直和水平方向将128×128个像素×4个帧的YCbCr图像序 列400放大成两倍，以生成256×256个像素×4个帧的YCbCr贴片图像序列 402(S42)。然后，计算YCbCr贴片图像序列402的像素值与贴片图像序列 生成部分120生成的原始贴片图像的YCbCr图像序列252的那些像素值的差 值，以生成差值图像序列262(S44)。
步骤S40和S42中的处理基本上是与例示在图4和5中的参考图像的压 缩处理的过程的那些相反的处理。但是，由于这个压缩处理是进行图像缩小、 通过求平均和量化的帧数减少的不可逆处理，所以存在恢复的贴片图像序列 402可能包括误差的可能性。将这个误差表示成差值图像，以满足压缩率和 画面质量两者的要求。
差值图像是当在图像显示时解码和解压缩参考图像的压缩数据时弥补压 缩引起的误差的图像。于是，有必要使差值图像生成部分124在步骤S40和 S42中解码和解压缩参考图像的压缩数据260的处理与图像显示时的那些相 同。另一方面，在本实施例中，以量化单元收集压缩数据260，使以量化单 元的数据访问成为可能，因此不进行无用数据装载或解码地沿着空间方向和 时间方向实现随机访问。
于是，在图像显示时，必须引用不同量化单元以便解码或解压缩某个量 化单元不是优选的。因此，当在步骤S40中在连接了量化单元的数据之后在 沿着垂直和水平方向将CbCr图像扩大成两倍的处理、依照压缩模式扩大图像 以便将数据块的尺寸改变到原始尺寸的处理、和在步骤S42中沿着垂直和水 平方向将通过连接数据块形成的YCbCr图像序列400扩大成两倍的处理中在 像素之间生成新像素时，独立于量化单元的划分模式地在相关量化单元内完 成扩大处理。
尤其，将扩大目标的图像划分成2×2个像素，并通过内插计算像素之间 的像素的像素值，而2×2个像素之外的像素值通过外推来计算。图17示意性 地例示以这种方式扩大图像的处理。在图17中的左侧，用白色圆圈指示将扩 大之前的图像划分成2×2个像素的区域404中的每个像素。当将这些像素用 于生成由4×4个像素构成的扩大区域406时，通过内插白色圆圈的像素的像 素值获取原来具有像素值的白色圆圈之间的像素(阴影圆圈)的像素值。
通过使用白色圆圈的像素及其内插值进行外推获取原来具有像素值的白 色圆圈的外侧的像素(黑色圆圈)的像素值。由于量化单元与量化单元具有 的划分模式无关地包括2×2个像素的区域，所以如果以这种方式进行扩大处 理，则与划分模式无关地在量化单元内完成扩大处理。于是，当差值图像生 成部分124如上所述扩大CbCr图像或扩大YCbCr图像时，也以这种方式进 行扩大处理。要注意的是，对于外推值，取决于像素值的灰度级地设置下限 值和上限值，以便将像素值调整成不超过灰度级范围。由于参考图像的解码 处理的细节与进行图像显示的装置中的解码处理的那些类似，所以下文对它 们加以描述。
差值图像压缩部分126压缩以像上述那样的方式生成的差值图像(图4 中的S18)。这种处理基本上类似于例示在图5中的参考图像的压缩处理。在 下文中，把注意力放在与参考图像的差值上地加以描述。首先，与图5的步 骤S30类似，沿着空间方向将差值图像序列262划分成与参考图像的尺寸相 同的尺寸，以形成处理单元的数据块。这里，如图6所例示，一个数据块由 8×8个像素×4个帧构成。但是，与参考图像不同，差值图像仍然是256×256 个像素的图像，因此，沿着垂直和水平方向两者将差值图像划分成32个部分。
进一步，针对差值图像，每个数据块地进行是否认为像素值是0的判定， 并将认为像素值是0的数据块确定为NULL(空)块。例如，对于构成数据 块的所有像素值，进行像素值的绝对值与事先确定的阈值之间的比较。如果 所有像素值的绝对值都等于或低于阈值，则将该数据块确定为NULL块。
在图像显示时的解码中处理确定为NULL块的数据块，以便使所有像素 值都是0。例如，事先生成所有像素值都是0的一个存储单元，以及当生成 最终压缩数据时，将确定为NULL块的所有数据块和该存储单元相互联系。 在也可以与其它块类似地处理NULL块的情况下，使图像显示时的解码处理 得到简化并使处理效率得到提高。
由于差值图像是如上文所述代表压缩参考图像引起的误差的图像，所以 像素值可能接近0的可能性很高。在像，例如，蓝天或草坪那样图像频率低 的区域中，较不可能出现像上述那样的误差。如果通过上述的处理找出这样 的图像性质，并将差值图像的像素值处理成0，则可以提高图像显示时的处 理效率以及可以提高数据压缩率。
然后，差值图像压缩部分126与图5的步骤S32类似地确认每个数据块 沿着空间方向和时间方向是否存在冗余，并且当判定数据块具有冗余时，沿 着一个或多个方向压缩数据。这种处理可能类似于对参考图像的处理。差值 图像压缩部分126然后与图5的步骤S34类似地将YCbCr图像分解成Y图像 和CbCr图像。差值图像压缩部分126缩小CbCr图像并利用划分模式之一在 时间-空间上划分缩小的CbCr图像，以形成由数量相等的像素构成的量化单 元，然后量化该数据。
此时的划分处理可能类似于对参考图像的处理。另一方面，由于差值图 像具有如上所述像素值的范围比参考图像更受限制的性质，所以将这种性质 用于使信息由相互不同的调色板保存。具体地说，取代降低调色板保存的数 值的灰度级，不是将两个值而是将四个值保存成代表性值。尤其，虽然参考 图像的调色板每个元素由8个位×2个值＝2个字节构成，但差值图像的调色板 同等地利用两个字节表示4个位×4个值。索引保存为每个像素指定四个值之 一的信息。这样在图像显示时的解码中就不用进行确定第一中间值和第二中 间值的线性内插，提高了处理效率。进一步，消除了在最大值和最小值之间 将第一中间值和第二中间值选成2：1和1：2的内插值的限制。因此，可以 更灵活地选择第一中间值和第二中间值，并且可以预计画面质量会有所提高。
调色板要保存的四个值根据例示在图8和9中的Y图像和CbCr图像的 最小值、最大值、第一中间值和第二中间值来确定。尤其，如果每个元素可 以用四个位的数据尺寸来表示四个值，则将四个值按原样存储到调色板中。 另一方面，如果用四个位不能充分表示表示四个值所需的灰度级，则相继地 将所有数值乘以1/2、1/4和1/8，以确定可以用四个位表示的放大率，然后将 四个值乘以确定的放大率并存储到调色板中。要注意的是，由于CbCr图像的 调色板是由(Cb，Cr)的两个元素构成的矢量值，所以用八个位表示四个值 的每一个。
在图像显示时，将四个位的数值转换成并用作八个位的数值。此时，为 了从调色板的数值中恢复最小值、最大值、第一中间值和第二中间值，需要 为每个调色板指示要相乘的放大率。在要将以像上述那样的方式乘以1、1/2、 1/4或1/8获得的数值存储到调色板中的情况下，一倍、两倍、四倍和八倍的 四种选择可用作恢复的放大率。因此，将代表标识四种选择的标识号“0”到 “3”的两个位的信息嵌入压缩数据中。图18是例示通过调色板表示放大率 的标识号的视图。
在图18中，从图18的这一侧的最高地址开始依次将Y图像的四个位的 四个值“P0”、“P1”、“P2”和“P3”、或CbCr图像的两个元素的总共八个位 的四个值“P0”、“P1”、“P2”和“P3”存储到调色板中。此时，通过包括取 决于前两个值“P0”和“P1”之间的幅度关系的一个位和取决于后两个值“P2” 和“P3”之间的幅度关系的另一个位的总共两个位表示标识号。事先设置这 样的规则，例如，如果P0>P1，则这代表1，而数值P0和P1之间的任何其 它关系都代表0，以及如果P2>P3，则这代表1，而数值P2和P3之间的任何 其它关系都代表0。
要注意的是，在CbCr图像的情况下，将通过位序列连接作为矢量值(Cb， Cr)的元素的Cb的四个位的值和Cr的四个位的值时的八个位的信息确定为 “P0”、“P1”、“P2”和“P3”。于是，如果可以从(Cb，Cr)对中获取八个 位的值，则可以不将这些值存储在八个位的相继区域中。由于有关CbCr图像 的四个值用矢量值表示，所以如果对总共八个位的信息进行比较，则即使元 素之一具有相等值，八个位的值也不会变成相等。
对于每个调色板可以通过上述的总共两个位的信息表示标识号“0”到 “3”。调色板保存的四个值不影响解码处理，因为最小值、最大值、第一中 间值和第二中间值可以与存储次序无关、取决于值之间的幅度关系地决定。 在图像显示时的解码中，首先指定标识号(S50)，然后当将四个值P0、P1、 P2和P3从四个位转换成八个位时，将它们乘以通过标识信息表示的放大率， 以确定P0′、P1′、P2′和P3′，以便恢复最小值、最大值、第一中间值和第二 中间值(S52)。
这样，在差值图像的Y图像的调色板中，存储四个位的四个值。在参考 图像的调色板中，通过八个位的两个值的存储次序和它们之间的幅度关系表 示每一个代表压缩模式和划分模式的15个不同标识号“0”到“14”。图19 是例示通过差值图像的Y图像的调色板进一步表示15个不同标识号的方法 的视图。如上文参考图18所述，将四个值“P0”、“P1”、“P2”和“P3”存 储到一个调色板408中。这里，通过由连接“P0”和“P1”的位序列形成的 八个位的值(在图19中表示成“P01”)和由连接“P2”和“P3”的位序列形 成的八个位的值(在图19中表示成“P23”)之间的幅度关系表示一个位的信 息。
事先设置这样的规则，例如，如果P01>P23，则这代表1，而数值P01 和P23之间的任何其它关系都代表0。其结果是，这种处理与参考图像的情 况相同，因为将调色板的高地址的八个位的值和低地址的八个位的数值相互 比较，以判定这些数值之间的幅度关系。于是，与参考图像的情况类似，可 以用四个调色板表示代表压缩模式和划分模式的标识号。差值图像压缩部分 126确定要存储到Y图像的调色板中的四个值的存储次序，以便使这四个值 表示代表将调色板的数值恢复成原始数值的放大率的标识号和代表压缩模式 和划分模式的标识号两者。
现在，描述压缩数据生成部分128生成最终压缩数据的处理。图20示意 性地例示了在图4的步骤S20中生成包括参考图像的压缩数据260和差值图 像的压缩数据266的最终压缩数据268的处理过程。如上文所述，参考图像 的压缩数据和差值图像的压缩数据分别以数据块为单位形成。
尤其，在上文所述的例子的情况下，从通过将原始运动画面的帧序列划 分成256×256个像素获得的贴片图像序列的四个帧中生成参考图像的数据块 阵列410和差值图像的数据块阵列411。参考图像的数据块阵列410由16×16 个数据块的压缩数据构成，而差值图像的数据块阵列411由32×32个数据块 的压缩数据构成。数据块的压缩数据的尺寸在长度上是可变的，对应于一个、 两个或四个存储单元之一。要注意的是，在差值图像中，取决于其值，将数 据块处理成NULL块。
每个存储单元具有等于如上文所述的4×2个像素的RGBA图像的数据的 数据尺寸。压缩数据生成部分128针对每个存储单元沿着预定方向以数据块 阵列的预定次序连接数据块的存储单元的压缩数据。然后，压缩数据生成部 分128加入将阵列上的数据块的位置和存储单元的存储地点相互联系的指针 信息。在图20中的压缩数据42的例子中，参考图像数据的指针信息414、 差值图像数据的指针信息416、参考图像的压缩数据418、差值图像的NULL 块的压缩数据420和差值图像的压缩数据422沿着栅格方向按这个次序并置。
此外，在与存储单元类似地垂直并置每一个四个字节的两个数据的同时， 水平地相继解压缩参考图像数据的指针信息414和差值图像数据的指针信息 416。使这种情况下指针信息的存储次序与阵列上的相应数据块的次序相同， 以便通过指针相互联系阵列上的每个数据块的位置和每个存储单元的存储位 置。
在以这种方式相继生成压缩数据的情况下，生成具有两个像素的宽度的 带状行沿着垂直方向相互连接的图像平面。因此，压缩数据412被理解成图 像平面，并且通过存储单元与每个数据块相对应的区域的左上角的坐标表示 指针信息。例如，如果该坐标通过UV坐标表示以及U坐标和V坐标分别用 一个字节表示，则一个存储单元的指针变成总共两个字节的信息。其结果是， 在压缩数据412是图像平面的情况下，两个数据块的指针可以用一个像素来 表示。
即使原始运动画面是8000×4000个像素等的高清晰度图像，如果压缩数 据412本身被缩小成256×256个像素或更小，则指针信息可以用如上所述的 分别一个字节的U坐标和V坐标来表示。在这种情况下，参考图像数据的指 针信息414变成代表16×16＝256个数据块的128个像素的区域，而差值图像 数据的指针信息416变成代表32×32＝1024个数据块的512个像素的区域。要 注意的是，如果不能通过分别一个字节的U坐标和V坐标满意地表示指针信 息，则可以通过分别具有更大数据长度的U坐标和V坐标来表示，以便，例 如，U坐标和V坐标分别用两个字节来表示。可替代地，可以改变划分的贴 片的尺寸，以便一个字节可以充分表示指针信息。
例如，参考图像数据的指针信息414的区域内通过某个像素424表示的 两个指针信息的每一个都指示包括在参考图像的压缩数据418中的某个存储 单元的区域的左上角的坐标。该存储单元是构成与指针相对应的数据块的存 储单元的顶部上的那些存储单元。同时，在差值图像数据的指针信息416内， 通过某个像素426表示的两个指针信息之一代表NULL块的压缩数据420， 而两个指针信息的另一个代表包括在差值图像的压缩数据422中的某个存储 单元的区域的左上角的坐标。此外，该存储单元是构成与指针相对应的数据 块的存储单元的顶部上的那些存储单元。
必要时每贴片图像序列的四个帧一个地准备NULL块的压缩数据420， 以便将其与多个数据块相联系。通过对所有贴片图像序列每预定个帧(在上 文所述的例子中，每四个帧)地生成这样的压缩数据，可以类似地压缩整个 原始运动画面。将贴片图像序列的压缩数据按时间次序作为帧地存储到压缩 数据存储部分134中。进一步，事先进行原始运动画面的帧中的贴片图像的 位置与每个贴片图像序列的压缩数据的联系。例如，将代表位置的标识信息 应用于贴片图像序列的压缩数据。这使得可以从运动画面的整个压缩数据中 指定必要数据。
现在，描述使用通过上文所述的方法压缩的数据进行图像显示的技术。 此外，本技术中进行图像显示的装置可以通过与显示在图1中的图像处理装 置10类似的配置来实现。在下文中，主要对控制部分100的配置加以描述。 图21具体描绘了本实施例中具有图像显示功能的控制部分100b的配置。包 括控制部分100b的图像处理装置10基本上是使用以像上述那样的方式压缩 的运动画面数据的至少一部分进行图像显示的装置。但是，对显示运动画面 的目的或显示模式没有具体限制。
例如，图像处理装置10可以显示存储在硬盘驱动器50等中的电影或撮 取运动画面、实时分发的运动画面流、计算机图形中的视频纹理等的任何一 种。可替代地，可以同时显示多种运动画面，或在显示图像的局部区域中可 以只使用一种运动画面。于是，在硬盘驱动器50中，不仅可以存储像上述那 样的压缩运动画面，而且可以存储像实现各种功能的程序和其它图像数据那 样的各种数据。
控制部分100b包括输入信息获取部分502、信息处理部分504、装载部 分506和显示图像处理部分508。输入信息获取部分502从输入装置20获取 用户输入的信息。信息处理装置504响应用户的输入等进行信息处理。装载 部分506装载运动画面的必要压缩数据。显示图像处理部分508渲染图像帧。
输入信息获取部分502获取图像处理装置10提供的功能的起点/终点、 和用户输入到输入装置20中、该功能接受的各种类型的输入信息。输入信息 获取部分502将所获信息通知信息处理部分504。图像处理装置10提供的功 能可以是运动画面显示功能或游戏的各种功能的任何一种、通信等。于是， 输入信息获取部分502获取的输入信息也取决于功能地多种多样。
在本实施例中，容易地实现了沿着空间方向和时间方向对运动画面的随 机访问。于是，用于接受牵涉到改变运动画面的显示区的操作——诸如用户 为了放大、缩小或滚动正在显示的运动画面而作的视点移动操作、或显示映 射视频纹理的计算机图形的游戏操作——的模式是特别有效的。
信息处理部分504根据输入信息获取部分502获取的输入信息，依照信 息处理装置提供的功能进行信息处理。例如，当接受视点移动操作时，信息 处理部分504根据视点移动操作的操作量，在每个时步之后确定显示区的移 动量，并依次计算下一次显示区的坐标。在要进行游戏的情况下，信息处理 部分504依照游戏的内容生成三维对象或依照游戏程序进级。由于可以应用 常见技术进行处理，所以如下描述主要针对与显示运动画面有关的处理给出， 而适当省略对其它处理的描述。
在有必要显示运动画面或作为进行像上述那样的信息处理的结果有必要 改变运动画面的显示区的情况下，信息处理部分504计算显示区的帧坐标。 信息处理部分504然后将计算的帧坐标通知装载部分506和显示图像处理部 分508。在本实施例中，由于以贴片图像为单位或以预定个帧为单位生成各 种压缩数据，所以也可以以此为单位进行从硬盘驱动器50到主存储器60的 装载。
因此，信息处理部分504测量从开始显示运动画面的时刻开始经过的时 间，并与帧坐标的信息一起发出基于所经过时间的帧数的通知。因此，装载 部分506和显示图像处理部分508可以与相关贴片图像直到那时是否已经是 处理目标无关地指定装载目标或解码目标的压缩数据。装载部分506根据来 自信息处理部分504的通知确认在主存储器60中是否存储着必要压缩数据。
这里的必要压缩数据不仅包括下一次显示所需的压缩数据，而且包括为 以后需要估计的压缩数据。以后的数据是代表在视角固定的情况下，相同显 示区和时间轴上以后的帧内围绕相同显示区预定范围的区域的数据。另一方 面，在作为移动视点等的结果使视角发生变化的情况下，上述以后的数据是 代表从视角的变化中预测的移动目的地的显示区和以后的帧内围绕该显示区 预定范围的区域的数据。如果在主存储器60中未存储着必要数据，则装载部 分506从硬盘驱动器50装载压缩数据并将压缩数据存储到主存储器60中。
显示图像处理部分508包括数据读出部分510、解码部分512和渲染部 分514。数据读出部分510根据从信息处理部分504接收的帧坐标，从压缩 数据的标识信息等中指定包括下一显示区的数据的贴片图像序列的压缩数 据。数据读出部分510然后从主存储器60中读出指定的压缩数据。解码部分 512根据帧坐标，从包括在读出压缩数据中的指针信息中指定渲染所需的数 据块的压缩数据，并解码指定的压缩数据。
尽管这种处理基本上是相反地遵循上文所述的压缩处理的处理，但可以 对代表显示区的每个像素进行像素值的恢复。渲染部分514使用解码的数据 渲染显示处理部分44的帧存储器中的整个显示图像。这种处理可以是渲染由 帧坐标所代表的区域构成的显示图像的处理，或可以是包括视频纹理的映射 处理的渲染处理。
图22是例示主要由解码部分512执行的解码处理的过程的流程图。首先， 解码部分512参考包括在贴片图像的读出压缩数据中的指针信息当中参考图 像数据的指针信息，以便指定包括渲染显示区所需的参考图像的数据的数据 块的压缩数据(S60)。要注意的是，由于如上文所述以可变长度进行了压缩， 所以多个存储单元可能是相关的。
然后，解码部分512从参考图像的压缩数据中读出相关压缩数据，并根 据包括在存储单元中的Y图像的四个调色板的每一个所代表的两个值的幅度 关系，获取代表压缩模式和划分模式的四个位的标识号(S62)。由于可以从 标识号中确定构成显示区的像素与包括在压缩数据中的量化单元中的索引之 间的对应关系，所以解码部分512根据该对应关系指定保存必要数据的量化 单元(S64)。
然后，解码部分512从通过线性内插调色板所代表的两个值获得的四个 值中获取索引所指的值，以确定每个像素的Y值、Cb值和Cr值。解码部分 512然后沿着垂直和水平方向将CbCr图像扩大成两倍以生成YCbCr图像。 如果已经将压缩模式之一用于进行压缩，则解码部分512沿着相反方向扩大 YCbCr图像或插入帧。帧的插入可以通过复制平均图像来进行。然后，解码 部分512进一步沿着垂直和水平方向将YCbCr图像扩大成两倍，以生成原始 贴片图像尺寸的YCbCr图像的参考图像(S66)。此时的扩大处理通过内插和 外推来进行，以便可以如上文所述以2×2个像素为单位完成处理。
接着，解码部分512对差值图像进行类似处理，从差值图像的压缩数据 中生成YCbCr图像的差值图像(步骤S68中的“否”，S60到S66)。但是， 要注意的是，在步骤S62中，从分别连接Y图像的四个调色板的每一个所代 表的四个值的前一半的地址上的两个值和后一半的地址上的两个值获得的数 值的幅度关系中，获取代表压缩模式和划分模式的标识信息。当在步骤S66 中要确定每个像素的的Y值、Cb值和Cr值时，解码部分512首先将调色板 所代表的四个位的四个值转换成八个位，并根据前一半地址的两个值和后一 半地址的两个值的幅度关系的组合所代表的标识信息将八个位乘以一个放大 率。然后，解码部分512获取每个像素的索引所指的数值，以确定Y值、Cb 值和Cr值。
如果该指针指示NULL块的压缩数据，则解码部分512将相应区域中的 所有像素设置成0。但是，要注意的是，由于通过使NULL块的压缩数据具 有与其它数据块的压缩数据相同的结构，可以对其它压缩数据类似地进行这 种处理，所以不需要特殊处理。在成功生成分别代表显示区的参考图像和差 值图像的YCbCr图像之后(S68中的“是”)，解码部分512为各自相应像素 相加它们(S70)，并将色空间转换成RGB色空间，以生成显示区的RGB图 像(S72)。
由于在本实施例中生成的压缩数据具有与各自数据块相对应的数据的变 长尺寸，所以需要为每个数据块指示代表存储单元的存储区的指针。如上所 述，对于256×256个像素的贴片图像的四个帧，指针的数量是包括参考图像 的256个指针和差值图像的1024个指针的总共1280个。如果一个指针用两 个字节的UV坐标表示，则指针所需的数据尺寸是(2个字节×1280)/(256×256 个像素×4个帧)≈0.08个位每原始贴片图像的一个像素，非常小。
关于压缩数据，四个帧的数据块用一个、两个或四个4×2个像素×4个字 节＝32个字节的存储单元来表示。在以最高压缩率压缩压缩数据的情况下， 一个数据块可以用参考图像数据和差值图像数据的NULL块的压缩数据的一 个存储单元来表示。如果考虑到参考图像是通过将原始图像缩小到1/4获得 的，以及NULL块的压缩数据可以被其它共享，则数据尺寸是(32个字节×1× 0.25+0个字节)/(8×8个像素×4个帧)＝0.25个位每个像素。另一方面，在 以最低压缩率压缩一个数据块的情况下，一个数据块用参考图像数据和差值 图像数据两者的四个存储单元表示。于是，在这种情况下的数据尺寸是(32 个字节×4×0.25+32个字节×4)/(8×8个像素×4个帧)＝5个位每个像素。
简而言之，本实施例生成和解码的压缩数据具有近似0.33到5.08个位每 个像素的尺寸。由于通过S3TC纹理压缩的数据具有四个位/像素的数据尺寸， 所以通过本实施例的运动画面的压缩数据具有等于或小于刚才所述的数据尺 寸的尺寸。其结果是，可以以足够低存储成本显示可以沿着空间方向和时间 方向随机访问的运动画面。
要注意的是，本实施例中的压缩数据的压缩率随与沿着时间-空间方向的 冗余和出现量化误差的可能性有关的实际图像而变。另一方面，通过调整涉 及起因于像刚才所述那样的因素、是否可以沿着时间-空间方向进行压缩或是 否进行到NULL块的转换的判定的阈值，可以减缓起因于图像的压缩率的下 降。通过响应装置环境和显示时的图像自适应地改变阈值，可以在利用给定 环境的同时以最高图像质量显示运动画面。例如，可以事先准备将显示装置 的资源量或通信环境与最佳阈值相互联系的表格，以便使用符合实际显示环 境的阈值生成压缩数据。
尽管在上面的描述中确定为处理目标的运动画面数据的数量在每个时刻 是一个帧，但另一方面每个时刻的图像可以由以不同分辨率表示的多个帧序 列构成。如果依照来自用户的视点移动请求改变要使用的帧序列，则可以在 应用运动画面的同时显著扩大分辨率的变化范围。此时，按分辨率次序将不 同分辨率的多个帧序列分层以建立分层结构。下文将具有像刚才所述那样的 分层结构的运动画面数据称为“分层数据”。
图23概念性地例示了用分层数据表示运动画面的数据结构。在图23中 该分层数据具有沿着从顶部到底部的z方向由第0层30、第1层32、第2层 34和第3层36构成的分层结构。要注意的是，尽管在图23中只描绘了四个 层，但层数不局限于此。如上文所述，每个层由按时间次序排列通过不同分 辨率表示一个运动画面的帧的帧序列构成。在图23中，每个层象征性地用四 个帧来表示。但是，该帧数当然随运动画面的再生时间或帧速率而不同。
该分层数据具有，例如，四叉树的分层结构，假设第0层30包括一个贴 片图像；第1层32包括2×2个贴片图像；第2层34包括4×4个贴片图像； 以及第3层36包括8×8个贴片图像。此时，第N层(N是等于或大于0的 整数)的分辨率在图像平面上沿着向左和向右(x轴)方向和向上和向下(y 轴)方向两者是第(N+1)层的分辨率的1/2。该分层数据可以通过根据具有 最高分辨率的第3层36的运动画面将每个帧折算成多个阶层或通过类似处理 生成。
如图23所描绘，运动画面显示时的视点坐标和相应显示区可以通过虚拟 三维空间来表示，该虚拟三维空间由代表图像的向左和向右方向的x轴、代 表向上和向下方向的y轴和代表分辨率的z轴构成。要注意的是，由于每个 层由分别代表运动画面的帧序列构成，所以实际显示的图像也依赖于开始显 示之后的时间，在图23中，为每个层表示了时间轴t。
基本上，图像处理装置10以预定帧速率沿着时间轴t依次渲染一个层的 帧序列。例如，将第0层30的分辨率的运动画面显示在参考图像。如果在显 示的过程中，从输入装置20供应显示区移动请求信号，则图像处理装置10 从该信号中导出显示图像的改变量，并使用该改变量导出虚拟空间中下一个 帧的四个角的坐标(帧坐标)。图像处理装置10然后渲染与该帧坐标相对应 的图像帧。据此，为z轴提供分层的切换边界，以便响应帧坐标的z值适当 切换要用于帧渲染的运动画面数据的分层。
例如，当显示图像所需的分辨率在第1层32与第2层34之间的切换边 界与第2层34与第3层36之间的切换边界之间，则利用第2层34的图像数 据渲染显示区。在第1层32与第2层34之间的切换边界与第2层34之间的 分辨率上，以缩小尺度显示第2层34的图像帧。在第2层34与第3层36之 间的切换边界与第2层34之间的分辨率上，以扩大尺度显示第2层34的图 像帧。
与上文所述类似，以贴片图像序列为单位将分层数据压缩成压缩数据。 要注意的是，在这种情况下，不仅将贴片图像序列的压缩数据与图像平面上 的位置相联系，而且与沿着分辨率方向的位置相联系。
当像上述那样的分层数据用于接受包括扩大或缩小的对正在显示的运动 画面的显示区的移动请求时，如果应用本实施例的数据压缩技术，则可以只 装载必要贴片图像的压缩数据，并且可以只解码必要区域。因此，与装载或 解码整个图像的可替代情况相比，在装载处理和解码处理的成本、传送成本 和存储成本方面减少了浪费。例如，当将第3层36的数据用于进行图像显示 时，由于只使用数据的一小部分给出显示区，所以成本节省效果特别好。其 结果是，通常可以不依赖于显示的分辨率地以相等成本使处理继续下去，并 且可以实现流畅的运动画面显示。
进一步，当在使用分层数据显示运动画面期间，要依照视点移动请求切 换分层时，需要针对直到那时还不是解码目标的切换之后的分层马上获取下 一个时刻的数据。由于本实施例中的压缩数据对于像每四个帧那样的每预定 个帧是相互独立的，所以它们在沿着时间方向的可随机访问性方面也是出众 的，这样的分层切换可以无缝地进行。
按照上述的本实施例，为预定个帧收集将构成运动画面的帧划分成预定 尺寸形成的贴片图像，以形成贴片图像序列。进一步，以通过空间划分贴片 图像序列获得的数据块为单位生成压缩数据。这使得可以在装载处理和图像 显示时的解码处理中，沿着空间方向和时间方向两者随机访问压缩数据。其 结果是，降低了装载处理和解码处理的成本，此外，由于省去了将图像部署 在存储器中，所以也降低了存储成本。
在传统运动画面压缩技术中，当显示将运动画面映射成视频纹理的图像 时，即使纹理区非常小或由于用户的操作或游戏的进行位移到视角之外，为 了准备下一次显示，也需要继续解码不显示的运动画面。在本实施例中，由 于可以只处理与实际显示相对应的数据，所以可以显著提高处理效率。于是， 在希望将运动画面合成成像体育馆的广告牌、显示、天空或远处的风景那样 游戏或视频的背景的情况下，本实施例特别有效。
进一步，不仅可以将运动画面而且可以将像其间存在冗余那样的图像序 列用作压缩目标。例如，在使用摄像机阵列摄取的数据(光场数据)中，可 以预计在摄像机的相邻几个的摄取图像之间存在冗余。因此，可以预料能够 有效压缩将多个摄取图像布置在时间轴上的运动画面。进一步，本实施例也 可应用于响应观看图像的角度改变要显示的纹理图像的技术(视点相关统计 量)。换句话说，将可能显示的图像压缩成布置在时间轴上的运动画面，并在 渲染时，随机访问和显示任意一个图像。
进一步，对于缩小贴片图像序列获得的参考图像和代表通过解码参考图 像的压缩数据获得的图像与原始贴片图像之间的差值的差值图像，分开压缩 每个贴片图像序列。在缩小尺寸或减少帧数，沿着空间方向和时间方向确认 其冗余之后，将每个图像划分成量化单元，然后通过用调色板和索引表示每 个像素值加以量化。
尽管调色板和索引的概念由S3TC的压缩方法引入，但在本实施例中， 调色板的两个值保存亮度Y、色差Cb和色差Cr的任何一个的八个位，因此， 画面质量较不容易变差。进一步，由于对Y图像序列和CbCr图像序列分开 进行量化，所以与量化RGB的三维参数的那些相比，参数的维数少，量化误 差量也小。进一步，通过在形成编码单元时改变空间划分数和时间划分数的 组合，所以可以灵活地提供适合沿着空间方向的冗余和沿着时间方向的冗余 的数据结构。
进一步，由于差值图像的像素值的范围是有限的，所以如果可以认为像 素值是0，则将数据块处理成NULL块，以便压缩数据由多个数据块共享。 进一步，与使用沿着空间方向和时间方向的冗余的压缩和形成量化单元的划 分模式有关的信息通过Y图像的调色板保存的数值的幅度的比较来表示。据 此，在响应实际图像保持画面质量的同时，可以尽可能大的提高压缩率。进 一步，在图像显示时，可以与一般纹理映射的处理类似地进行渲染处理，因 此，可以预计高吞吐量。其结果是，可以在抑制算术运算成本和存储成本的 同时显示高清晰度运动画面。
上面结合其实施例对本发明作了描述，上述的实施例是示范性的，本领 域的普通技术人员可以识别到，可以对该实施例的部件和处理过程的组合作 出各种修改，并且这样的修改仍然在本发明的范围之内。
例如，在本实施例中，生成和压缩用预定放大率缩小原始图像获得的参 考图像，然后使其包括在最终压缩数据中。通过按原样使用参考图像，可以 进行两个级别小型映射(mipmap)图像的渲染。进一步，通过提高参考图像 的缩小率可以进一步提高压缩率。此时，可以利用一个参考图像构成三个或 更多级别的小型映射图像以便，例如，第一级的小型映射图像由参考图像构 成，第二级的小型映射图像通过扩大第一级的小型映射图像，并将扩大的小 型映射图像加入差值图像中构成，第三级的小型映射图像通过进一步扩大第 一级的参考图像，并将进一步扩大的参考图像加入差值图像中构成，依此类 推。
在这种情况下，可以形成压缩单元，以便可以像第一级的参考图像、第 二级的差值图像和第三级的差值图像那样，相互独立地管理参考图像和差值 图像。进一步，可以间接利用第一级的参考图像，以便将第二级的图像用作 第三级的参考图像。由此，可以在可随机访问状态下以及不增大数据尺寸地 实现引入小型映像的图像渲染技术。
标号列表
10 图像处理装置；12 显示装置；20 输入装置；44 显示处理部分； 50 硬盘驱动器；60 主存储器；100 控制部分；120 贴片图像序列生成 部分；122 参考图像压缩部分；124 差值图像生成部分；126 差值图像压 缩部分；128 压缩数据生成部分；130 运动画面数据存储部分；132 划分 模式存储部分；134 压缩数据存储部分；502 输入信息获取部分；504 信 息处理部分；506 装载部分；508 显示图像处理部分；510 数据读出部分； 512 解码部分；514 渲染部分
工业可应用性
如上所述，本发明可以用于像计算机、图像处理装置、图像显示装置和 游戏机那样的信息处理装置。
机译： 运动图像压缩设备，图像处理设备，运动图像压缩方法，图像处理方法以及运动图像压缩文件的数据结构
机译： 运动图像压缩设备，图像处理设备，运动图像压缩方法，图像处理方法以及运动图像压缩文件的数据结构
机译： 视频压缩设备，图像处理设备，运动图像压缩方法，图像处理方法以及视频压缩文件的数据结构
