首页> 中国专利> 运动补偿装置、运动图像编码装置、运动图像解码装置、运动补偿方法、程序、以及集成电路

运动补偿装置、运动图像编码装置、运动图像解码装置、运动补偿方法、程序、以及集成电路

摘要

运动补偿装置(1170),针对非矩形状的对象块,利用帧存储器(1140)中存储的参考图像进行运动补偿,具备:参考块存储器(1171),用于存储参考图像中的一部分;帧存储器传输控制部(1172),从参考图像中确定包含用于运动补偿的非矩形状的参考块的矩形状的像素块,将确定的像素块的像素数据,从帧存储器(1140)传输给参考块存储器(1171);以及运动补偿处理部(1174),利用参考块存储器(1171)中存储的像素块中包含的参考块,生成对象块的预测块。

著录项

  • 公开/公告号CN102884794A

    专利类型发明专利

  • 公开/公告日2013-01-16

    原文格式PDF

  • 申请/专利权人 松下电器产业株式会社;

    申请/专利号CN201180015469.7

  • 发明设计人 天野博史;田中健;

    申请日2011-12-20

  • 分类号H04N7/32(20060101);

  • 代理机构72002 永新专利商标代理有限公司;

  • 代理人黄剑锋

  • 地址 日本大阪府

  • 入库时间 2024-02-19 17:47:45

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-08-10

    授权

    授权

  • 2016-04-13

    专利申请权的转移 IPC(主分类):H04N7/32 登记生效日:20160325 变更前: 变更后: 申请日:20111220

    专利申请权、专利权的转移

  • 2013-12-18

    实质审查的生效 IPC(主分类):H04N7/32 申请日:20111220

    实质审查的生效

  • 2013-01-16

    公开

    公开

说明书

技术领域

本发明涉及针对运动图像数据的运动图像处理装置,尤其涉及利用非矩形的运动补偿的运动补偿装置。

背景技术

近些年,被广泛利用的运动图像压缩技术的标准规格有,例如,ITU-T(国际电信联盟电信标准化部门)的H.261及H.263,ISO/IEC(国际标准化组织国际电工标准会议)的MPEG(Moving Picture Experts:运动图像专家组)-1、MPEG-2及MPEG-4等,还有ITU-T和MPEG合作的JVT(Joint Video Team:联合视频组)的H.264/MPEG-4AVC(Advanced Video Coding:高级视频编码)等。并且,ITU-T以及ISO/IEC等研究下一代的运动图像压缩技术。

一般而言,运动图像压缩技术的重要要素有,减少构成运动图像的连续的多个图像具有的时间方向的冗余性来压缩信息量的运动补偿画面间预测。运动补偿画面间预测是如下的方法,即,检测编码对象图像内的像素块,在位于编码对象图像的前方或后方的参考图像内的哪个方向移动哪种程度,来制作预测图像(以下,也称为“运动补偿块”、或“帧间预测块”),对获得的预测图像和编码对象图像的差分值进行编码。

将示出编码对象图像内的运动补偿块,在位于编码对象图像的前方或后方的参考图像内的哪个方向移动哪种程度的信息,称为运动矢量。将被参考的图像称为参考图像。运动补偿块能够具有独立的运动矢量和参考图像。将运动补偿所需要的像素块称为参考块。

在H.264/MPEG-4AVC的运动补偿画面间预测中,利用16×16、16×16、16×8、8×16、8×8、8×4、4×8、4×4的七种矩形运动补偿块。

另一方面,在ITU-T以及ISO/IEC等中,下一代的运动图像压缩技术中提出的运动补偿画面间预测有,为了实现更佳的编码效率,而按照图像的特性等使运动补偿块的形状以及尺寸适应性地变化的运动补偿技术(以下,也称为“多角形运动补偿”、或“非矩形运动补偿″)(非专利文献1,非专利文献2,专利文献1,以及专利文献2)。

图42示出专利文献2所记载的宏块划分的例子。如图42所记载,将宏块几何划分,对各个帧间预测块进行解码。并且,图43是示出专利文献2所记载的对几何划分后的帧间预测块进行解码的方法的例子的流程图。

参照图43,由方法100大概示出对几何划分后的帧间预测块进行解码的方法的例子。

方法100包括将控制传递给功能框114的开始框112。功能框114,判断当前的模式类别是否为几何模式类别。在当前的模式类别为几何模式类别的情况下,将控制传递给功能框116。在当前的模式类别不是几何模式类别的情况下,将控制传递给结束框120。

功能框116,对几何分区参数进行解码(例如,在为了预测而能够利用近旁的几何数据的情况下,使用它,使编码表适当地适应),将控制传递给功能框118。功能框118,对分区帧间预测进行解码(例如,在为了预测而能够利用近旁的解码后的数据的情况下,使用它,使编码表适当地适应),将控制传递给结束框120。

并且,以往的运动补偿装置有,为了提高参考块读出时的存储器访问性能而利用高速缓存的技术(例如,参照专利文献3)。图44是专利文献3所记载的以往的运动补偿装置中的判断参考宏块是否跨越缓存行边界、以及变更预载指定地址的处理的详细流程图。图45是,专利文献3所记载的以往的运动补偿装置中的参考宏块跨越缓存行边界时的预载指定地址设定法的说明图。

图44是,判断参考宏块是否跨越缓存行边界、以及变更预载指定地址的处理的详细流程图。对该图利用图45的参考宏块跨越缓存行边界时的地址的说明图进行说明。首先,在图45中将参考宏块内的上端行的开始地址设为A地址,将该行的末尾地址设为是B地址。缓存行边界位于C地址,该C地址位于A地址与B地址之间,因此,判断为参考宏块跨越缓存行边界,即,判断为参考宏块的行包含缓存行边界。

在图44的步骤S21中,计算参考缓存行边界宏块的行的开头地址,该地址被设为A地址,在步骤S22中,计算参考宏块的行的末尾地址,该地址被设为B地址。而且,在步骤S23中,判断在A地址与B地址之间是否存在缓存行边界,在存在时求出该地址以作为C地址,在步骤S24中,判断为跨越缓存行边界,在步骤S25中,将预载指定地址、即预载时的开头地址,从以往例的A地址变更为C地址。在步骤S23中,在A地址与地址之间不存在缓存行边界的情况下,在步骤S26中,判断为不跨越缓存行边界,在步骤S27中,将预载指定地址设为行的开头地址、即A地址。

如图45说明,在参考宏块跨越缓存行边界的情况下,由于将预载开头地址设为C地址,因此,该行的此前的区域、即图45的A区域,在这次的对宏块的解码处理中不被预载。因此,与该A区域对应存在发生缓存缺失的概率,但是,由于按照光栅顺序采用宏块的扫描方法、即从行的左端的宏块开始进行解码,因此,即使考虑运动矢量,也与在参考帧图像的宏块中近于右端的宏块相比,近于左端的宏块的预载完毕的概率高。

因此,在图45中,由于A区域位于参考宏块的左侧,因此该A区域的数据已经被预载到高速缓存的概率高。在专利文献3中,通过与这样的运动图像数据处理的特性对应,发出数据的预载命令,从而能够期待减少缓存缺失的发生。

(现有技术文献)

(专利文献)

专利文献1:国际公开第2008/016605号

专利文献2:国际公开第2008/016609号

专利文献3:日本专利第4180547号公报

(非专利文献)

非专利文献1:Oscar Divorra Escoda et al著“GEOMETRY-ADAPTIVE BLOCK PARTITIONING FOR VIDEO CODING”In Proc.Of International Conference on Acoustics,Speech,and SignalProcessing(ICASSP 2007),April 2007

非专利文献2:Oscar Divorra et al著“Geometry-adaptive BlockPartioning”ITU-Telecommunications Standardization SectorSTUDY GROUP 16Question 6Video Coding Experts Group(VCEG)document VCEG-AF10、April 2007

发明概要

发明要解决的问题

然而,在专利文献2所记载的以往的结构中,没有记载存放下一代的图像压缩技术中提出的运动补偿画面间预测中使用的参考块的存储器的存储器访问,存在的问题是,难以减少存放利用运动补偿画面间预测时的参考块的存储器的存储器带以及解码运动矢量等的头信息后直到读出参考块为止的时间。

并且,在专利文献3所记载的以往的结构中,为了提高运动补偿所需要的参考块读出时的存储器访问性能,采用判断在参考块的左端像素的坐标与右端像素的坐标的2像素之间是否存在缓存行边界,从而决定预载地址的方法。因此,在进行多角形运动补偿的情况下,由于参考块为多角形,因此会有在水平方向上不由两个以上的像素构成的情况,在此情况下存在根据以往的结构不能计算预载地址的问题,即使在水平方向上由两个以上的像素构成参考块,也存在的问题是,针对参考块计算参考块的左端像素的坐标和右端像素的坐标仅一次,就不能判断是否跨越缓存行。

发明内容

为了解决所述的以往的问题,本发明的目的在于提供一种运动补偿装置,能够减少对多角形(非矩形)的对象块进行运动补偿时的存储器带以及解码运动矢量等的头信息后直到读出参考块为止的时间。

用于解决问题的手段

本发明的实施方案之一涉及的运动补偿装置,针对运动图像中包含的非矩形状的对象块,利用帧存储器中存储的参考图像进行运动补偿。具体而言,具备:参考块存储器,用于存储所述参考图像中的一部分;帧存储器传输控制部,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及运动补偿处理部,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块。

根据所述结构,与以往相比,能够缩短从帧存储器传输像素数据的处理时间。更具体而言,确定矩形的像素块的处理所需要的时间,比确定非矩形的参考块的处理所需要的时间非常短。另一方面,由于矩形的像素块是比非矩形的参考块大的区域,因此,将矩形的像素块从帧存储器传输给参考块存储器所需要的时间,比传输非矩形的参考块所需要的时间稍微长。总之,对于确定矩形的像素块的处理开始后直到传输完成为止的处理时间,与非矩形的参考块的情况相比,能够大幅度地缩短。

进而,也可以是,该运动补偿装置还具备参考块传输控制部,该参考块传输控制部,从矩形状的所述像素块中提取非矩形状的所述参考块,将提取的所述参考块的像素数据,从所述参考块存储器传输给所述运动补偿处理部。而且,也可以是,所述运动补偿处理部,利用由所述参考块传输控制部从所述参考块存储器传输来的所述参考块,生成所述对象块的预测块。

作为一个例子,也可以是,所述帧存储器传输控制部,确定与非矩形状的所述参考块外接的矩形状的所述像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器。

作为其他的例子,也可以是,所述帧存储器传输控制部,确定构成所述参考图像的预先规定的大小的矩形状的多个像素块中的、包含构成非矩形状的所述参考块的像素的一个以上的像素块,将确定的所述一个以上的像素块的像素数据,从所述帧存储器传输给所述参考块存储器。

如此,从帧存储器传输给参考块存储器的矩形状的像素块,可以是包含非矩形状的参考块的单一的像素块,也可以是包含非矩形状的参考块的多个像素块的集合。

进而,也可以是,该运动补偿装置还具备参考块存储器状态管理部,该参考块存储器状态管理部,以预先规定的大小的传输块为单位来管理,所述参考图像的像素数据是否被存储在所述参考块存储器中。而且,也可以是,所述帧存储器传输控制部,将确定的所述像素块中的、没有被存储在所述参考块存储器中的像素数据,以由所述参考块存储器状态管理部管理的所述传输块为单位来有选择地传输。

据此,由于能够省略已经存储在参考块存储器中的像素数据的传输,因此能够进一步缩短从帧存储器传输像素数据的处理时间。

本发明的实施方案之一涉及的运动图像解码装置,对编码流进行解码来生成解码运动图像。具体而言,具备:帧存储器,存储参考图像;所述的运动补偿装置;以及解码部,从所述编码流中获得示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用所述编码流和由所述运动补偿装置生成的所述预测块,从所述编码流生成所述解码运动图像。而且,所述帧存储器传输控制部,利用由所述解码部获得的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

本发明的实施方案之一涉及的运动图像编码装置,对运动图像进行编码来生成编码流。具体而言,具备:帧存储器,存储参考图像;所述的运动补偿装置;以及编码部,生成示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用由所述运动补偿装置生成的所述预测块,从所述运动图像生成所述编码流。而且,所述帧存储器传输控制部,利用由所述编码部生成的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

本发明的实施方案之一涉及的运动补偿方法,运动补偿装置针对运动图像中包含的非矩形状的对象块,利用帧存储器中存储的参考图像进行运动补偿,所述运动补偿装置具备用于存储参考图像中的一部分的参考块存储器。具体而言,包括:帧存储器传输控制步骤,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及运动补偿处理步骤,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块。

本发明的实施方案之一涉及的程序,使计算机针对运动图像中包含的非矩形状的对象块,利用帧存储器中存储的参考图像进行运动补偿,所述计算机具备用于存储参考图像中的一部分的参考块存储器。具体而言,使计算机执行以下的步骤:帧存储器传输控制步骤,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及运动补偿处理步骤,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块。

本发明的实施方案之一涉及的集成电路,针对运动图像中包含的非矩形状的对象块,利用帧存储器中存储的参考图像进行运动补偿。具体而言,具备:参考块存储器,用于存储所述参考图像中的一部分;帧存储器传输控制部,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及运动补偿处理部,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块。

发明效果

根据本发明,能够提供一种运动补偿装置,能够减少对多角形(非矩形)的对象块进行运动补偿时的存储器带以及解码运动矢量等的头信息后直到读出参考块为止的时间。

附图说明

图1是实施例1涉及的图像编码装置的方框图。

图2A是运动补偿部的方框图的一个例子。

图2B是示出以运动补偿部的处理为中心的图像编码装置的工作的流程图的一个例子。

图3A是运动补偿部的方框图的其他的例子。

图3B是示出以运动补偿部的处理为中心的图像编码装置的工作的流程图的其他的例子。

图4是实施例1涉及的图像解码装置的方框图。

图5A是运动补偿部的方框图的一个例子。

图5B是示出以运动补偿部的处理为中心的图像解码装置的工作的流程图的一个例子。

图6A是运动补偿部的方框图的其他的例子。

图6B是示出以运动补偿部的处理为中心的图像解码装置的工作的流程图的其他的例子。

图7是示出像素块和分区的关系的例子的图。

图8是示出与像素块一起传输的周边的像素的图。

图9是示出参考块内坐标的例子的图。

图10是示出参考画面内坐标的例子的图。

图11是示出参考图像的坐标和参考块存储器的存储体(bank)的关系例的图。

图12是示出由参考块存储器状态管理部保持的信息的一个例子的图。

图13是示出像素块的地址计算处理的整体的流程的流程图。

图14是示出导出与各个非矩形分区外接的矩形状的像素块的左上坐标和尺寸的处理的流程的流程图。

图15是示出导出与0°<θ<90°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

图16是示出示出导出与90°<θ<180°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

图17是示出导出与180°<θ<270°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

图18是示出导出与270°<θ<360°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

图19是示出导出与θ=0°、90°、180°、270°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

图20是示出像素块内的有效像素提取处理的整体的流程的流程图。

图21是示出像素块内的有效像素的判断的流程的流程图。

图22是示出0°<θ<90°时的像素块内的有效像素的判断的流程的流程图。

图23是示出90°<θ<180°时的像素块内的有效像素的判断的流程的流程图。

图24是示出180°<θ<270°时的像素块内的有效像素的判断的流程的流程图。

图25是示出270°<θ<360°时的像素块内的有效像素的判断的流程的流程图。

图26是示出θ=0°、90°、180°、270°时的像素块内的有效像素的判断的流程的流程图。

图27是示出在像素块的上边至下边存在分区划分边界时的有效像素判断的流程的流程图。

图28是示出在像素块的左边至右边存在分区划分边界时的有效像素判断的流程的流程图。

图29是示出在像素块的上边至右边存在分区划分边界时的有效像素判断的流程的流程图。

图30是示出在像素块的上边至左边存在分区划分边界时的有效像素判断的流程的流程图。

图31是示出在像素块的左边至下边存在分区划分边界时的有效像素判断的流程的流程图。

图32是示出在像素块的下边至右边存在分区划分边界时的有效像素判断的流程的流程图。

图33是用于说明实施例2涉及的像素块的地址计算处理的图。

图34是示出实施例2涉及的导出矩形状的像素块的左上坐标的处理的流程的流程图。

图35是实现内容分发服务的内容提供系统的整体结构图。

图36是数字广播用系统的整体结构图。

图37是示出电视机的结构例的方框图。

图38是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例的方框图。

图39是示出作为光盘的记录介质的构造例的图。

图40是示出各个实施例的实现运动图像解码装置的集成电路的结构例的结构图。

图41是示出各个实施例的实现运动图像解码装置的集成电路的结构例的结构图。

图42是示出以往的宏块划分的例子的图。

图43是示出以往的对几何划分的帧间预测块进行解码的方法的例子的流程图。

图44是以往的运动补偿装置中的判断参考宏块是否跨越缓存行边界、以及变更预载指定地址的处理的详细流程图。

图45是以往的运动补偿装置中的参考宏块跨越缓存行边界时的预载指定地址设定法的说明图。

具体实施方式

以下,参照附图说明本发明的实施例。

(实施例1)

图1是示出本实施例的图像编码装置的结构的方框图。图像编码装置1000具备,编码处理部1100、以及控制编码处理部1100的工作的编码控制部1200。

编码处理部1100,通过对运动图像以块为单位来进行编码,从而生成编码流。这样的编码处理部1100具备,减法器1110、正交转换部1121、量化部1122、熵编码部1123、逆量化部1124、逆正交转换部1125、加法器1126、去块滤波器1130、帧存储器1140、面内预测部1150、运动补偿部1170、运动检测部1160、以及开关1180。

减法器1110,获得运动图像,并且,从开关1180获得预测图像(预测块)。而且,减法器1110,通过从该运动图像中包含的编码对象块(对象块)中减去预测图像,从而生成残差图像(残差块)。

正交转换部1121,通过对由减法器1110生成的残差图像,进行例如离散余弦转换等的正交转换,从而将该残差图像转换为由多个频率系数构成的系数块。量化部1122,通过对该系数块中包含的各个频率系数进行量化,从而生成量化后的系数块。

熵编码部1123,通过对由量化部1122量化的系数块、和由运动检测部1160检测出的运动矢量、块分区信息(后述)、以及参考图像确定信息等进行熵编码(可变长编码),从而生成编码流。

逆量化部1124,对由量化部1122量化的系数块进行逆量化。逆正交转换部1125,通过对该逆量化后的系数块中包含的各个频率系数进行逆离散余弦转换等的逆正交转换,从而生成解码残差图像(解码残差块)。

加法器1126,通过对由开关1180获得的预测图像、和由逆正交转换部1125生成的解码残差图像进行加法运算,从而生成局部解码图像(解码块)。

而且,在本实施例中,由所述的正交转换部1121、量化部1122、熵编码部1123、逆量化部1124、逆正交转换部1125、以及加法器1126构成编码部1120,但是,不仅限于此。例如,也可以还追加运动检测部1160或编码控制部1200等。

去块滤波器1130,除去由加法器1126生成的局部解码图像的块失真,将该局部解码图像存放到帧存储器1140。

面内预测部1150,利用由加法器1126生成的局部解码图像,对对象块进行面内预测,从而生成预测图像(预测块)。

运动检测部1160,针对运动图像中包含的对象块检测运动矢量,将检测出的该运动矢量、块分区信息、以及参考图像确定信息,输出到运动补偿部1170和熵编码部1123。而且,块分区信息是指,示出对象块(参考块)的形状的信息。并且,参考图像确定信息是指,用于确定由帧存储器1140存储的多个参考图像中的一个的信息。

例如,如图7示出,块分区信息包含,参考块的水平尺寸H_SIZE、参考块的垂直尺寸V_SIZE、以及以往例(专利文献1,专利文献2,非专利文献1,非专利文献2)所记载的ρ以及θ。

ρ以及θ是决定参考块的分区的参数,将与以ρ以及θ来定义的线段正交的直线定义为分区划分边界。ρ表示,从像素块的中心与分区划分边界正交的线段的长度。θ表示,在将从像素块的中心的水平方向右侧设为0°、将逆时针旋转设为正时的线段的角度。

并且,将分区划分边界的左侧的区域定义为分区0,将分区划分边界的右侧的区域定义为分区1。换而言之,在由分区划分边界区划的两个分区中,将包含像素块的左上的像素的分区定义为分区0,将另一方定义为分区1。

运动补偿部1170,通过利用由帧存储器1140存放的参考图像、以及由运动检测部1160检测出的运动矢量,从而对对象块进行运动补偿。运动补偿部1170,根据这样的运动补偿,生成针对对象块的预测图像(预测块)。

而且,本发明涉及的运动补偿部1170能够进行,针对矩形状的对象块的运动补偿、以及针对非矩形状的对象块的运动补偿。并且,本说明书中的“矩形状”,与正方形和长方形相当。另一方面,本说明书中的“非矩形状”,与不相当于矩形状的形状相当,具体而言,与梯形、平行四边形、三角形及五角形等的四角形以外的多角形、圆形、椭圆形等相当。

开关1180,在对象块被面内预测编码的情况下,将由面内预测部1150生成的预测图像输出到减法器1110以及加法器1126。另一方面,开关1180,在对象块被画面间预测编码的情况下,将由运动补偿部1170生成的预测图像输出到减法器1110以及加法器1126。

接着,参照图2A,说明运动补偿部(运动补偿装置)1170的结构的一个例子。图2A是运动补偿部1170的方框图的一个例子。图2A所示的运动补偿部1170具备,参考块存储器1171、帧存储器传输控制部1172、参考块存储器传输控制部1173、以及运动补偿处理部1174。

参考块存储器1171是,用于存储由帧存储器2140存储的参考图像中的一部分的存储部。具体而言,存储参考图像中的用于运动补偿处理部1174的处理的一部分。

而且,典型而言,参考块存储器1171是,存储容量比帧存储器2140小、且数据的读出速度比帧存储器2140快的存储部。典型而言,帧存储器2140是DRAM(Dynamic Random Access Memory:动态随机存取存储器),参考块存储器1171是SRAM(Static Random Access Memory:静态随机存取存储器),但是,不仅限于此。

帧存储器传输控制部1172,将作为参考图像的一部分的区域的像素块的像素数据,从帧存储器2140传输给参考块存储器1171。而且,像素块是指,包含运动补偿处理部1174所利用的参考块的矩形状的区域。并且,参考块是,参考图像的一部分的区域,是用于针对对象块的运动补偿的区域。在此,通常,对象块和参考块,成为相同形状。也就是说,在对象块为矩形状的情况下,参考块也成为矩形状,在对象块为非矩形状的情况下,参考块也成为非矩形状。

于是,帧存储器传输控制部1172,根据从运动检测部1160获得的运动矢量、块分区信息、以及参考图像确定信息,确定像素块的位置以及形状。而且,在对象块为矩形状的情况下,帧存储器传输控制部1172,将参考图像本身的像素块的像素数据,从帧存储器2140传输给参考块存储器1171。另一方面,在对象块为非矩形状的情况下,帧存储器传输控制部1172,从参考图像中确定包含(典型而言,外接于)参考块的像素块,将确定的像素块的像素数据,从帧存储器2140传输给参考块存储器1171。

但是,帧存储器传输控制部1172,实际上,与参考块是矩形状还是非矩形状无关,除了确定的像素块的像素数据以外,还将该像素块的周边像素的像素数据一起传输。具体而言,如图8所示,将像素块的像素数据、与像素块周边的像素的像素数据一起传输。后面进行详细说明。

参考块存储器传输控制部1173,将参考块的像素数据,从参考块存储器1171传输给运动补偿处理部1174。参考块存储器传输控制部1173,根据从运动检测部1160获得的运动矢量、块分区信息、以及参考图像确定信息,确定参考块的位置以及形状。

而且,在参考块为矩形状的情况下,参考块存储器传输控制部1173,将由参考块存储器1171存储的像素块的像素数据,照原样传输给运动补偿处理部1174。另一方面,在参考块为非矩形状的情况下,参考块存储器传输控制部1173,从矩形状的像素块中提取非矩形状的参考块,将提取的参考块的像素数据,从参考块存储器1171传输给运动补偿处理部1174。

但是,参考块存储器传输控制部1173,实际上,与参考块是矩形状还是非矩形状无关,除了提取的参考块的像素数据以外,还将该参考块的周边像素的像素数据一起传输。后面进行详细说明。

运动补偿处理部1174,利用由参考块存储器1171存储的像素块中包含的参考块,更具体地说,利用由参考块存储器传输控制部1173传输的参考块,生成对象块的预测块。

接着,参照图2B,说明图1以及图2A所示的图像编码装置1000以及运动补偿部1170的工作。图2B是示出以运动补偿部1170的处理为中心的图像编码装置1000的工作的流程图的一个例子。

首先,运动检测部1160,进行对象块的运动检测,将运动矢量和块分区信息和参考图像确定信息输出到运动补偿部1170(步骤S1110)。在此,在对象块为矩形状的情况下,可以省略块分区信息。

接着,帧存储器传输控制部1172,根据从运动检测部1160获得的运动矢量、块分区信息、以及参考图像确定信息,执行计算由帧存储器1140存储的参考图像中的、成为传输的对象的像素块的地址的处理(步骤S1120)。

图9示出像素块内的坐标(像素块内坐标)的例子。原点为像素块的左上端,对于水平方向(x坐标),将右方向设为正的方向,对于垂直方向(y坐标),将下方向设为正的方向。并且,图10示出参考图像内的坐标(参考图像内坐标)的例子。原点为参考图像的左上端,对于水平方向(x坐标),将右方向设为正的方向,对于垂直方向(y坐标),将下方向设为正的方向。

帧存储器传输控制部1172,首先,由以像素块的左上端为(0,0)的坐标系计算像素块的地址,进行将计算出的地址转换为以像素块的左上端为(0,0)的坐标系的处理。在后面详细说明地址计算处理。而且,帧存储器传输控制部1172,将确定的像素块的像素数据,从帧存储器1140传输给参考块存储器1171(步骤S1130)。

接着,参考块存储器传输控制部1173,执行提取由参考块存储器1171存储的像素块中的、成为传输的对象的参考块的处理(步骤S1140)。以下,将像素块中的成为传输的对象的像素(即,构成参考块的像素)表记为“有效像素”,将不成为传输的对象的像素表记为“无效像素”。而且,参考块存储器传输控制部1173,将提取的参考块的像素数据,从参考块存储器1171传输给运动补偿处理部1174(步骤S1150)。

接着,运动补偿处理部1174,利用从运动检测部1160获得的运动矢量、以及由参考块存储器传输控制部1173传输的参考块,执行针对对象块的运动补偿处理(步骤S1160)。而且,运动补偿处理部1174,将由运动补偿处理生成的预测块的像素数据,输出到减法器1110。

减法器1110,将从运动补偿处理部1174获得的预测块的像素数据,从对应的对象块的像素数据中减去,从而生成残差块(步骤S1170)。而且,减法器1110,将生成的残差块的像素数据,输出到编码部1120。

编码部1120,对从减法器1110获得的残差块的像素数据进行编码,并作为编码流来输出,并且,将由本地编码获得的解码块,存放到帧存储器1140(步骤S1180)。

具体而言,将残差块,由正交转换部1121正交转换,由量化部1122量化。而且,将量化部1122生成的量化系数,由熵编码部1123熵编码,并生成编码流。并且,与熵编码部1123的处理并行地,将量化部1122生成的量化系数,由逆量化部1124逆量化,由逆正交转换部1125逆正交转换,由加法器1126与预测块相加,将由去块滤波器1130进行滤波处理而获得的解码块存放到帧存储器1140。

接着,参照图3A以及图3B,说明运动补偿部1170的结构以及工作的其他的例子。图3A是运动补偿部1170的方框图的其他的例子。图3B是示出以运动补偿部1170的处理为中心的图像编码装置1000的工作的流程图的其他的例子。而且,对于与图2A以及图2B共同之处,附上同一符号,并省略详细说明。

图3A所示的运动补偿部1170,除了图2A的结构以外,还具备参考块存储器状态管理部1175。参考块存储器状态管理部1175,以预先规定的大小的传输块为单位,管理参考图像的像素数据是否被存储在参考块存储器1171中。而且,帧存储器传输控制部1172,将确定的像素块中的、未被存储在参考块存储器1171中的像素数据,以由参考块存储器状态管理部1175管理的传输块为单位来有选择地传输。

图11的(a)是参考块存储器1171的结构例。图11的(b)是参考图像的坐标和参考块存储器1171的存储体的关系例(分辩率1920×1080pixel时)。图12是由参考块存储器状态管理部1175保持的信息的一个例子。

首先,参考块存储器1171的存储区域,如图11的(a)所示,被区划为规定的尺寸(该例子中,16×16像素)的存储体(传输块)。而且,以该存储体为单位,进行针对参考块存储器1171的像素数据的写入。

参考块存储器状态管理部1175,以存储体为单位管理:确定由参考块存储器1171保持的像素数据的参考图像内坐标中的水平坐标的信息(x_offset);确定由参考块存储器1171保持的像素数据的参考图像内坐标中的垂直坐标的信息(y_offset);确定由参考块存储器1171保持的参考图像的信息(refidx);以及表示是否保持对运动补偿有意义的像素数据的状态的信息(状态)。

而且,“x_offset”,例如,相当于像素块的顶点(左上端)的参考图像内坐标中的水平坐标的最高位4比特。“y_offset”,例如,相当于像素块的顶点(左上端)的参考图像内坐标中的垂直坐标的最高位4比特。“refidx”是,例如,参考图像的图片号码(参考图像确定信息)。对于“状态”,例如,在该存储体中保持有意义的像素的情况下,设定“valid”,在没有保持有意义的像素的情况下,设定“invalid”。

具体而言,根据帧存储器传输控制部1172计算出的参考图像内的像素块的坐标信息,更新并保持由参考块存储器1171保持的像素数据的x_offset、y_offset、refidx、以及状态。而且,将保持的信息,输出到帧存储器传输控制部1172、以及参考块存储器传输控制部1173。

对于由参考块存储器状态管理部1175存储的信息,例如,在参考块存储器1171具有图11的(a)所示的结构、存储有图11的(b)示出的参考图像的一部分的情况下,是如图12示出的信息。

帧存储器传输控制部1172,将从加法器1126输出的解码图像作为参考图像写入到帧存储器1140。并且,根据从运动检测部1160获得的块分区信息、参考图像确定信息、以及运动矢量,确定运动补偿所需要的参考图像,计算包含参考块的像素块的参考图像内坐标中的水平坐标和垂直坐标。

而且,帧存储器传输控制部1172,对计算出的水平坐标以及垂直坐标、与从参考块存储器状态管理部1175获得的参考块存储器1171所保持的像素数据的x_offset、y_offset、refidx、以及状态进行比较,在参考块存储器1171没有存储需要的像素数据的情况下,从帧存储器1140读出包含该像素数据的存储体,并写入到参考块存储器1171。

参考块存储器状态管理部1175,更新由帧存储器传输控制部1172读出并写入到参考块存储器1171的像素数据的x_offset、y_offset、refidx、以及状态。另一方面,在参考块存储器1171存储有需要的像素数据的情况下,从帧存储器1140不读出存储体。

图3B所示的流程图,与图2B所示的流程图不同,追加了步骤S1122以及步骤S1132。也就是说,帧存储器传输控制部1172,如图3B所示,像素块的地址计算处理(步骤S1120)后,确认确定的像素块整体是否已经被存储在参考块存储器1171中(步骤S1122)。

在确定的像素块整体没有被存储在参考块存储器1171中的情况下(步骤S1122的“否”),帧存储器传输控制部1172,将确定的像素块中的、没有被存储在参考块存储器1171中的像素数据,以由参考块存储器状态管理部1175管理的传输块为单位来有选择地传输(步骤S1130)。而且,参考块存储器状态管理部1175,按照由帧存储器传输控制部1172的传输结果,更新参考块存储器的状态(步骤S1132)。

图4是示出本实施例的图像解码装置的结构的方框图。图像解码装置2000具备解码处理部2100、以及控制解码处理部2100的工作的解码控制部2200。

解码处理部2100,通过按照每个块对编码流进行解码,从而生成解码图像。这样的解码处理部2100具备,熵解码部2111、逆量化部2112、逆正交转换部2113、加法器2120、去块滤波器2130、帧存储器2140、面内预测部2150、运动补偿部2160、以及开关2170。

熵解码部2111,获得编码流,对该编码流进行熵解码(可变长解码),生成量化系数块、运动矢量、块分区信息、以及参考图像确定信息。

逆量化部2112,对由熵解码部2111的熵解码而生成的量化系数块进行逆量化。逆正交转换部2113,通过对该逆量化后的系数块中包含的各个频率系数进行反离散余弦转换等的逆正交转换,从而生成解码残差图像(解码残差块)。

而且,在本实施例中,由所述的熵解码部2111、逆量化部2112、以及逆正交转换部2113构成解码部2110,但是,不仅限于此。

加法器2120,通过对从开关2170获得的预测图像(预测块)、与由逆正交转换部2113生成的解码残差图像进行加法运算,从而生成解码图像(解码块)。

去块滤波器2130,除去由加法器2120生成的解码图像的块失真,将该解码图像存放到帧存储器2140,并且,输出该解码图像。

面内预测部2150,通过利用由加法器2120生成的解码图像,对解码对象块(对象块)进行面内预测,从而生成预测图像(预测块)。

运动补偿部2160,利用由帧存储器2140存放的参考图像、和由熵解码部2111的熵解码而生成的运动矢量,对对象块进行运动补偿。运动补偿部2160,通过这样的运动补偿,生成对对象块的预测图像(预测块)。

开关2170,在对象块被面预测编码的情况下,将由面内预测部2150生成的预测图像输出到加法器2120。另一方面,开关2170,在对象块被画面间预测编码的情况下,将由运动补偿部2160生成的预测图像输出到加法器2120。

接着,参照图5A,说明运动补偿部(运动补偿装置)2160的结构的一个例子。图5A是运动补偿部2160的方框图的一个例子。图5A所示的运动补偿部2160具备,参考块存储器2161、帧存储器传输控制部2162、参考块存储器传输控制部2163、以及运动补偿处理部2164。而且,图5A所示的运动补偿部2160的各个功能框,与图2A所示的同一名称的各个功能框对应。

而且,帧存储器传输控制部2162,与图2A的帧存储器传输控制部1172不同,从熵解码部2111获得运动矢量、块分区信息、以及参考图像确定信息。并且,参考块存储器传输控制部2163,与图2A的参考块存储器传输控制部1173不同,从熵解码部2111获得块分区信息。进而,运动补偿处理部2164,与图2A的运动补偿处理部1174不同,将生成的预测块输出到加法器2120。

接着,参照图5B,说明图4以及图5A所示的图像解码装置2000以及运动补偿部2160的工作。图5B是示出以运动补偿部2160的处理为中心的图像解码装置2000的工作的流程图的一个例子。

首先,熵解码部2111,对编码流进行熵解码,并生成量化系数块、运动矢量、块分区信息、以及参考图像确定信息(步骤S1210)。

接着,帧存储器传输控制部2162,根据从熵解码部2111获得的运动矢量、块分区信息、以及参考图像确定信息,执行成为传输对象的像素块的地址的计算处理(步骤S1220)。而且,对于该处理,是与图2B的步骤S1120共同的处理,在后面进行详细说明。而且,帧存储器传输控制部2162,将确定的像素块的像素数据,从帧存储器2140传输给参考块存储器2161(步骤S1230)。

接着,参考块存储器传输控制部2163,执行提取成为传输的对象的参考块的处理(步骤S1240)。而且,对于该处理,是与图2B的步骤S1140共同的处理,在后面进行详细说明。而且,参考块存储器传输控制部2163,将提取的参考块的像素数据,从参考块存储器2161传输给运动补偿处理部2164(步骤S1250)。

接着,运动补偿处理部2164,利用从熵解码部2111获得的运动矢量、和由参考块存储器传输控制部2163传输的参考块,对对象块执行运动补偿处理(步骤S1260)。而且,运动补偿处理部2164,将由运动补偿处理生成的预测块的像素数据,输出到加法器2120。

加法器2120,对从逆正交转换部2113获得的解码残差块的像素数据、与从运动补偿处理部2164获得的预测块的对应的像素数据进行加法运算,生成解码块(解码图像)(步骤S1270)。而且,将熵解码部2111生成的量化系数块,由逆量化部2112逆量化,由逆正交转换部2113逆正交转换,从而得到解码残差块。

而且,将加法器2120生成的解码图像,由去块滤波器2130滤波处理后,作为解码图像来输出,并且,作为参考图像存放到帧存储器2140(步骤S1280)。

接着,参照图6A以及图6B,说明运动补偿部2160的结构以及工作的其他的例子。图6A是运动补偿部2160的方框图的其他的例子。图6B是示出以运动补偿部2160的处理为中心的图像解码装置2000的工作的流程图的其他的例子。而且,对于图5A和图5B的共同之处,附上同一符号,并省略详细说明。

图6A所示的运动补偿部2160,除了图5A的结构以外,还具备参考块存储器状态管理部2165。对于参考块存储器状态管理部2165的功能,由于与图3A的参考块存储器状态管理部1175共同,因此省略说明。

帧存储器传输控制部2162,如图6B所示,在像素块的地址计算处理(步骤S1220)后,在确定的像素块整体没有被存放在参考块存储器2161中的情况下(步骤S1222的“否”),将确定的像素块中的、没有被存储在参考块存储器2161中的像素数据,以由参考块存储器状态管理部2165管理的传输块为单位来有选择地传输(步骤S1230)。而且,参考块存储器状态管理部2165,按照由帧存储器传输控制部2162的传输结果,更新参考块存储器的状态(步骤S1232)。

利用图13至图19,详细说明帧存储器传输控制部1172的包含参考块的矩形状的像素块的地址计算工作。图13是示出帧存储器传输控制部1172进行的像素块的地址计算处理的整体的流程的流程图。而且,以下的说明是,对帧存储器传输控制部2162也同样符合的。

首先,帧存储器传输控制部1172,利用从运动检测部1160获得的块分区信息,判断运动补偿处理所需要的参考块是否为非矩形状(步骤S2301)。

在步骤S2301的判断的结果为,参考块为矩形状的情况下(步骤S2301的“是”),计算与矩形状的参考块一致的像素块的左上像素和尺寸(步骤S2302)。

另一方面,在步骤S2301的判断的结果为,参考块为非矩形状的情况下(步骤S2301的“否”),导出与各个非矩形分区外接的矩形状的像素块的左上坐标和尺寸(步骤S2303)。

接着,为了像素块中增加运动补偿处理部1174的滤波处理所需要的像素,而进行校正在步骤S2302或步骤S2303中计算出的像素块的左上像素和尺寸的处理(步骤S2304)。

例如,在利用用于H.264的运动补偿的6抽头滤波器,进行水平方向的小数像素生成的情况下,如图8所示,将像素块的左上像素的水平坐标校正-2,将水平尺寸校正+5。同样,在利用用于H.264的运动补偿的6抽头滤波器,进行垂直方向的小数像素生成的情况下,如图8所示,将像素块的左上像素的垂直坐标校正-2,将垂直尺寸校正+5。而且,说明了用于H.264的运动补偿的6抽头滤波处理的例子,但是,并不需要是所述滤波处理,也可以是任何滤波处理。

接着,帧存储器传输控制部1172,利用从运动检测部1160获得的运动矢量信息、和像素块的坐标信息,将在步骤S2304中导出的与各个分区外接的像素块的左上坐标,按照运动矢量平行移动,求出参考图像内的矩形状的像素块的左上坐标(步骤S2305)。

也就是说,在步骤S2302以及步骤S2303中,暂时,计算对象块的位置的像素块的左上坐标,通过将该暂时的左上坐标在步骤S2305中按照运动矢量平行移动,从而能够获得本来的参考块的位置的像素块的左上坐标。

接着,帧存储器传输控制部1172,通过将各个矩形状的像素块的参考图像内的左上坐标,转换为参考图像的帧存储器1140内的地址,从而计算构成从帧存储器1140读出的矩形状的像素块的像素数据的地址(步骤S2306)。

图14是示出导出与各个非矩形分区外接的矩形状的像素块的左上坐标和尺寸的处理的流程的流程图。而且,在图14至图19示出的流程图中,对于块分区信息,利用参考块的水平尺寸H_SIZE、参考块的垂直尺寸V_SIZE、以及以往例(专利文献1,专利文献2,非专利文献1,非专利文献2)所记载的ρ和θ进行说明。

在步骤S2401中,判断从运动检测部1160获得的分区信息θ是否为0°<θ<90°。也就是说,判断以ρ和θ定义的线段,是否位于图7的第一象限(右上的区域)。而且,在是0°<θ<90°的情况下,进行步骤S2402的处理。在步骤S2402中,进行导出与0°<θ<90°时的参考块外接的像素块的左上坐标和尺寸的处理(步骤S2402)。另一方面,在不是0°<θ<90°的情况下,进行步骤S2403的处理(步骤S2401)。

在步骤S2403中,判断从运动检测部1160获得的块分区信息θ是否为90°<θ<180°。也就是说,判断以ρ和θ定义的线段,是否位于图7的第二象限(左上的区域)。而且,在是90°<θ<180°的情况下,进行步骤S2404的处理。在步骤S2404中,进行导出与90°<θ<180°时的参考块外接的像素块的左上坐标和尺寸的处理(步骤S2404)。另一方面,在不是90°<θ<180°的情况下,进行步骤S2405的处理(步骤S2403)。

在步骤S2405中,判断从运动检测部1160获得的分区信息θ是否为180°<θ<270°。也就是说,判断以ρ和θ定义的线段,是否位于图7的第三象限(左下的区域)。而且,在是180°<θ<270°的情况下,进行步骤S2406的处理。在步骤S2406中,进行导出与180°<θ<270°时的参考块外接的像素块的左上坐标和尺寸的处理(步骤S2406)。另一方面,在不是180°<θ<270°的情况下,进行步骤S2407的处理(步骤S2405)。

在步骤S2407中,判断从运动检测部1160获得的分区信息θ是否为270°<θ<360°。也就是说,判断以ρ和θ定义的线段,是否位于图7的第四象限(右下的区域)。而且,在是270°<θ<360°的情况下,进行步骤S2408的处理。在步骤S2408中,进行导出与270°<θ<360°时的参考块外接的像素块的左上坐标和尺寸的处理(步骤S2408)。另一方面,在不是270°<θ<360°的情况下,进行步骤S2409的处理(步骤S2407)。

在步骤S2409中,进行导出与θ=90°、180°、270°、或360°时的参考块外接的像素块的左上坐标和尺寸的处理(步骤S2409)。

图15是示出导出与0°<θ<90°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。而且,在图15至图19示出的流程图中,利用根据块分区信息和水平坐标信息导出分区划分边界的垂直坐标的f(x)的函数、和根据块分区信息和垂直坐标信息导出分区划分边界的水平坐标的g(x),由下述的式1以及式2示出该函数。

【算式1】

y=f(x)=Int(1/tanθ(x-H_SIZE/2)-ρ/sinθ+V_SIZE/2)····(式1)

【算式2】

x=g(y)=Int(tanθ(y+ρ/sinθ-V_SIZE/2)+H_SIZE/2)····(式2)

在步骤S2501中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2502的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2512的处理(步骤S2501)。

在步骤S2502中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<g(0)<H_SIZE。而且,在是0<g(0)<H_SIZE的情况下,进行步骤S2503的处理。另一方面,在不是0<g(0)<H_SIZE的情况下,进行步骤S2507的处理(步骤S2502)。

在步骤S2507中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S2508的处理。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S2512的处理(步骤S2507),结束导出与0°<θ<90°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2503中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2503),进行步骤S2504的处理。在步骤S2504中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE(步骤S2504),进行步骤S2505的处理。

在步骤S2505中,将与分区1外接的像素块的左上像素的参考块内坐标设为(g(0),0)(步骤S2505),进行步骤S2506的处理。在步骤S2506中,设为与分区1外接的像素块的水平尺寸w=H_SIZE-g(0),垂直尺寸h=f(H_SIZE-1)(步骤S2506),结束导出与0°<θ<90°时的各个分区外接的像素块的左上坐标和尺寸的处理。

也就是说,在步骤S2503至步骤S2506中,如图7所示,导出分区划分边界与像素块的上边以及右边交叉时的与分区0以及分区1外接的像素块的左上坐标和尺寸。

而且,在该例子中,对于与分区划分边界相接的两个分区0、1的双方,导出了左上坐标和尺寸,但也可以是,确定分区0以及1的哪一方为参考块后,导出确定的一方的左上坐标和尺寸。这共同于图15至图19的各个处理。

在步骤S2508中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2508),进行步骤S2509的处理。在步骤S2509中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=f(H_SIZE-1)(步骤S2509),进行步骤S2510的处理。

在步骤S2510中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,f(0))(步骤S2510),进行步骤S2511的处理。在步骤S2511中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE-f(0)(步骤S2511),结束导出与0°<θ<90°时的各个分区外接的像素块的左上坐标和尺寸的处理。

也就是说,在步骤S2508至步骤S2511中,导出分区划分边界与像素块的左边以及右边交叉时的与分区0以及分区1外接的像素块的左上坐标和尺寸。

在步骤S2512中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2512),进行步骤S2513的处理。在步骤S2513中,设为与分区0外接的像素块的水平尺寸w=g(V_SIZE-1),垂直尺寸h=V_SIZE(步骤S2513),进行步骤S2514的处理。

在步骤S2514中,将与分区1外接的像素块的左上像素的参考块内坐标设为(g(0),0),(步骤S2514),进行步骤S2515的处理。在步骤S2515中,设为与分区1外接的像素块的水平尺寸w=H_SIZE-g(0),垂直尺寸h=V_SIZE(步骤S2515),结束导出与0°<θ<90°时的各个分区外接的像素块的左上坐标和尺寸的处理。

也就是说,在步骤S2512至步骤S2515中,导出分区划分边界与像素块的上边以及下边交叉时的与分区0以及分区1外接的像素块的左上坐标和尺寸。

而且,对于图16至图18,与所述同样,也根据分区划分边界与像素块的哪个边交叉的情况,计算与各个分区外接的像素块的左上坐标和尺寸。

图16是示出导出与90°<θ<180°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

在步骤S2601中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S2602的处理。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S2612的处理(步骤S2601)。

在步骤S2602中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<g(0)<H_SIZE。而且,在是0<g(0)<H_SIZE的情况下,进行步骤S2603的处理。另一方面,在不是0<g(0)<H_SIZE的情况下,进行步骤S2607的处理(步骤S2602)。

在步骤S2607中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2608的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2612的处理(步骤S2607),结束导出与90°<θ<180°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2603中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2603),进行步骤S2604的处理。在步骤S2604中,设为与分区0外接的像素块的水平尺寸w=g(0),垂直尺寸h=f(0)(步骤S2604),进行步骤S2605的处理。

在步骤S2605中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2605),进行步骤S2606的处理。在步骤S2606中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE(步骤S2606),结束导出与90°<θ<180°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2608中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2608),进行步骤S2609的处理。在步骤S2609中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=f(0)(步骤S2609),进行步骤S2610的处理。

在步骤S2610中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,f(H_SIZE-1))(步骤S2610),进行步骤S2611的处理。在步骤S2611中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE-f(H_SIZE-1)(步骤S2611),结束导出与90°<θ<180°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2612中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2612),进行步骤S2613的处理。在步骤S2613中,设为与分区0外接的像素块的水平尺寸w=g(0),垂直尺寸h=V_SIZE(步骤S2613),进行步骤S2614的处理。

在步骤S2614中,将与分区1外接的像素块的左上像素的参考块内坐标设为(g(V_SIZE-1),0)(步骤S2614),进行步骤S2615的处理。在步骤S2615中,设为分区1的外接矩形的水平尺寸w=H_SIZE-g(V_SIZE-1),垂直尺寸h=V_SIZE(步骤S2615),结束导出与90°<θ<180°时的各个分区外接的像素块的左上坐标和尺寸的处理。

图17是示出导出与180°<θ<270°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

在步骤S2701中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S2702的处理。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S2712的处理(步骤S2701)。

在步骤S2702中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2703的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2707的处理(步骤S2702)。

在步骤S2707中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2708的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2712的处理(步骤S2707),结束导出与180°<θ<270°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2703中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2703),进行步骤S2704的处理。在步骤S2704中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=f(H_SIZE-1)(步骤S2704),进行步骤S2705的处理。

在步骤S2705中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,f(0))(步骤S2705),进行步骤S2706的处理。在步骤S2706中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE-f(0)(步骤S2706),结束导出与180°<θ<270°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2708中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2708),进行步骤S2709的处理。在步骤S2709中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE(步骤S2709),进行步骤S2710的处理。

在步骤S2710中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,f(0))(步骤S2710),进行步骤S2711的处理。在步骤S2711中,设为与分区1外接的像素块的水平尺寸w=g(V_SIZE-1),垂直尺寸h=V_SIZE-f(0)(步骤S2711),结束导出与180°<θ<270°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2712中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2712),进行步骤S2713的处理。在步骤S2713中,设为与分区0外接的像素块的水平尺寸w=g(V_SIZE-1),垂直尺寸h=V_SIZE(步骤S2713),进行步骤S2714的处理。

在步骤S2714中,将与分区1外接的像素块的左上像素的参考块内坐标设为(g(0),0)(步骤S2714),进行步骤S2715的处理。在步骤S2715中,设为分区1的外接矩形的水平尺寸w=H_SIZE-g(0),垂直尺寸h=V_SIZE(步骤S2715),结束导出与180°<θ<270°时的各个分区外接的像素块的左上坐标和尺寸的处理。

图18是示出导出与270°<θ<360°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

在步骤S2801中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2802的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2812的处理(步骤S2801)。

在步骤S2802中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S2803的处理。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S2807的处理(步骤S2802)。

在步骤S2807中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2808的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S2812的处理(步骤S2807),结束导出与270°<θ<360°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2803中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2803),进行步骤S2804的处理。在步骤S2804中,设为分区0的外接矩形的水平尺寸w=H_SIZE,垂直尺寸h=f(0)(步骤S2804),进行步骤S2805的处理。

在步骤S2805中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,f(H_SIZE-1))(步骤S2805),进行步骤S2806的处理。在步骤S2806中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE-f(H_SIZE-1)(步骤S2806),结束导出与270°<θ<360°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2808中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2808),进行步骤S2809的处理。在步骤S2809中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=V_SIZE(步骤S2809),进行步骤S2810的处理。

在步骤S2810中,将与分区1外接的像素块的左上像素的参考块内坐标设为(g(V_SIZE-1),f(H_SIZE-1))(步骤S2810),进行步骤S2811的处理。在步骤S2811中,设为与分区1外接的像素块的水平尺寸w=H_SIZE-g(V_SIZE-1),垂直尺寸h=V_SIZE-f(H_SIZE-1)(步骤S2811),结束导出与270°<θ<360°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2812中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2812),进行步骤S2813的处理。在步骤S2813中,设为与分区0外接的像素块的水平尺寸w=g(0),垂直尺寸h=V_SIZE(步骤S2813),进行步骤S2814的处理。

在步骤S2814中,将与分区1外接的像素块的左上像素的参考块内坐标设为(g(V_SIZE-1),0)(步骤S2814),进行步骤S2815的处理。在步骤S2815中,设为与分区1外接的像素块的水平尺寸w=H_SIZE-g(V_SIZE-1),垂直尺寸h=V_SIZE(步骤S2815),结束导出与270°<θ<360°时的各个分区外接的像素块的左上坐标和尺寸的处理。

图19是示出导出与θ=0°、90°、180°、270°时的各个分区外接的像素块的左上坐标和尺寸的处理的流程的流程图。

在步骤S2901中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=0°。而且,在是θ=0°的情况下,进行步骤S2902的处理。另一方面,在不是θ=0°的情况下,进行步骤S2906的处理(步骤S2901)。

在步骤S2906中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=90°。而且,在是θ=90°的情况下,进行步骤S2907的处理。另一方面,在不是θ=90°的情况下,进行步骤S2911的处理(步骤S2906)。

在步骤S2911中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=180°。而且,在是θ=180°的情况下,进行步骤S2912的处理。另一方面,在不是θ=180°的情况下,进行步骤S2916的处理(步骤S2911)。

在步骤S2916中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=270°。而且,在是θ=270°的情况下,进行步骤S2917的处理(步骤S2916)。

在步骤S2902中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2902),进行步骤S2903的处理。在步骤S2903中,设为与分区0外接的像素块的水平尺寸w=1/2*H_SIZE+ρ,垂直尺寸h=V_SIZE(步骤S2903),进行步骤S2904的处理。

在步骤S2904中,将与分区1外接的像素块的左上像素的参考块内坐标设为(1/2*H_SIZE+ρ,0)(步骤S2904),进行步骤S2905的处理。在步骤S2905中,设为与分区1外接的像素块的水平尺寸w=1/2*H_SIZE-ρ,垂直尺寸h=V_SIZE(步骤S2905),结束导出与θ=0°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2907中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2907),进行步骤S2908的处理。在步骤S2908中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=1/2*V_SIZE-ρ(步骤S2908),进行步骤S2909的处理。

在步骤S2909中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,1/2*V_SIZE-ρ)(步骤S2909),进行步骤S2910的处理。在步骤S2910中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=1/2*V_SIZE+ρ(步骤S2910),结束导出与θ=90°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2912中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2912),进行步骤S2913的处理。在步骤S2913中,设为与分区0外接的像素块的水平尺寸w=1/2*H_SIZE-ρ,垂直尺寸h=V_SIZE(步骤S2913),进行步骤S2914的处理。

在步骤S2914中,将与分区1外接的像素块的左上像素的参考块内坐标设为(1/2*H_SIZE-ρ,0)(步骤S2914),进行步骤S2915的处理。在步骤S2915中,设为与分区1外接的像素块的水平尺寸w=1/2*H_SIZE+ρ,垂直尺寸h=V_SIZE(步骤S2915),结束导出与θ=180°时的各个分区外接的像素块的左上坐标和尺寸的处理。

在步骤S2917中,将与分区0外接的像素块的左上像素的参考块内坐标设为(0,0)(步骤S2917),进行步骤S2918的处理。在步骤S2918中,设为与分区0外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=1/2*V_SIZE+ρ(步骤S2918),进行步骤S2919的处理。

在步骤S2919中,将与分区1外接的像素块的左上像素的参考块内坐标设为(0,1/2*V_SIZE+ρ)(步骤S2919),进行步骤S2920的处理。在步骤S2920中,设为与分区1外接的像素块的水平尺寸w=H_SIZE,垂直尺寸h=1/2*V_SIZE-ρ(步骤S2920),结束导出与θ=270°时的各个分区外接的像素块的左上坐标和尺寸的处理。

以上,根据图14至图19示出的流程图的处理,能够导出与各个非矩形分区外接的像素块的左上坐标和尺寸。

接着,利用图20至图32,详细说明参考块存储器传输控制部1173的像素块内的有效像素提取处理的工作。图20是示出参考块存储器传输控制部1173进行的像素块内的有效像素提取处理的整体的流程的流程图。而且,以下的说明是,对参考块存储器传输控制部2163也同样符合的。

首先,参考块存储器传输控制部1173,利用从运动检测部1160获得的块分区信息,判断运动补偿处理所需要的参考块是否为非矩形(步骤S3101)。在步骤S3301的判断的结果为,参考块为矩形的情况下,将像素块内的所有的像素判断为有效像素(步骤S3102)。另一方面,在步骤S3301的判断的结果为,参考块为非矩形的情况下,进行像素块内的有效像素判断(步骤S3103)。

接着,为了将在运动补偿部1170利用的滤波处理所需要的像素追加到参考块,校正有效像素的坐标(步骤S3104)。例如,在利用用于H.264的运动补偿的6抽头滤波器,进行水平方向的小数像素生成的情况下,将像素块的左上像素的水平坐标校正-2,将水平尺寸校正+5。在利用用于H.264的运动补偿的6抽头滤波器,进行垂直方向的小数像素生成的情况下,将像素块的左上像素的垂直坐标校正-2,将垂直尺寸校正+5。说明了用于H.264的运动补偿的6抽头滤波处理的例子,但是,并不需要是所述滤波处理,也可以是任何滤波处理。

接着,参考块存储器传输控制部1173,求出参考块存储器1171内的参考块的有效像素坐标的信息,将由该信息确定的参考块的像素数据输出到运动补偿部1170(步骤S3105)。

图21是示出像素块内的有效像素的判断的流程的流程图。在图21至图32示出的流程图中,对于块分区信息,利用像素块的水平尺寸H_SIZE、像素块的垂直尺寸V_SIZE、以及以往例(专利文献1,专利文献2,非专利文献1,非专利文献2)所记载的ρ和θ进行说明。

在步骤S3201中,判断从运动检测部1160获得的块分区信息θ是否为0°<θ<90°。而且,在是0°<θ<90°的情况下,进行步骤S3202的处理。在步骤S3202中,进行0°<θ<90°时的像素块内的有效像素的判断(步骤S3202)。另一方面,在不是0°<θ<90°的情况下,进行步骤S3203的处理(步骤S3201)。

在步骤S3203中,判断从运动检测部1160获得的块分区信息θ是否为90°<θ<180°。而且,在是90°<θ<180°的情况下,进行步骤S3204的处理。在步骤S3204中,进行90°<θ<180°时的像素块内的有效像素的判断(步骤S3204)。另一方面,在不是90°<θ<180°的情况下,进行步骤S3205的处理(步骤S3203)。

在步骤S3205中,判断从运动检测部1160获得的块分区信息θ是否为180°<θ<270°。而且,在是180°<θ<270°的情况下,进行步骤S3206的处理。在步骤S3206中,进行180°<θ<270°时的像素块内的有效像素的判断(步骤S3206)。另一方面,在不是180°<θ<270°的情况下,进行步骤S3207的处理(步骤S3205)。

在步骤S3207中,判断从运动检测部1160获得的块分区信息θ是否为270°<θ<360°。而且,在是270°<θ<360°的情况下,进行步骤S3208的处理。在步骤S3208中,进行270°<θ<360°时的像素块内的有效像素的判断(步骤S3208)。另一方面,在不是270°<θ<360°的情况下,进行步骤S3209的处理(步骤S3207)。

在步骤S3209中,进行θ=90°、180°、270°、或360°时的像素块内的有效像素的判断(步骤S3209)。

图22是示出0°<θ<90°时的像素块内的有效像素的判断的流程的流程图。

在步骤S3301中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3302的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3306的处理(步骤S3301)。

在步骤S3302中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<g(0)<H_SIZE。而且,在是0<g(0)<H_SIZE的情况下,进行步骤S3303的处理。在步骤S3303中,进行在像素块的上边至右边存在分区划分边界时的有效像素判断,结束0°<θ<90°时的像素块内的有效像素的判断(步骤S3303)。另一方面,在不是0<g(0)<H_SIZE的情况下,进行步骤S3304的处理(步骤S3302)。

在步骤S3304中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S3305的处理。在步骤S3305中,进行在像素块的左边至右边存在分区划分边界时的有效像素判断,结束0°<θ<90°时的像素块内的有效像素的判断(步骤S3305)。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S3306的处理(步骤S3306)。

在步骤S3306中,进行在像素块的上边至下边存在分区划分边界时的有效像素判断,结束0°<θ<90°时的像素块内的有效像素的判断(步骤S3306)。

图23是示出90°<θ<180°时的像素块内的有效像素的判断的流程的流程图。

在步骤S3401中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S3402的处理。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S3406的处理(步骤S3401)。

在步骤S3402中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<g(0)<H_SIZE。而且,在是0<g(0)<H_SIZE的情况下,进行步骤S3403的处理。在步骤S3403中,进行在像素块的上边至左边存在分区划分边界时的有效像素判断,结束90°<θ<180°时的像素块内的有效像素的判断(步骤S3403)。另一方面,在不是0<g(0)<H_SIZE的情况下,进行步骤S3404的处理(步骤S3402)。

在步骤S3404中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3405的处理。在步骤S3405中,进行在像素块的左边至右边存在分区划分边界时的有效像素判断,结束90°<θ<180°时的像素块内的有效像素的判断(步骤S3405)。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3406的处理(步骤S3406)。

在步骤S3406中,进行在像素块的上边至下边存在分区划分边界时的有效像素判断,结束90°<θ<180°时的像素块内的有效像素的判断(步骤S3406)。

图24是示出180°<θ<270°时的像素块内的有效像素的判断的流程的流程图。

在步骤S3501中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S3502的处理。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S3506的处理(步骤S3501)。

在步骤S3502中,根据从运动检测部1160获得的分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3302的处理。在步骤S3503中,进行在像素块的左边至右边存在分区划分边界时的有效像素判断,结束180°<θ<270°时的像素块内的有效像素的判断(步骤S3503)。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3504的处理(步骤S3502)。

在步骤S3504中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3505的处理。在步骤S3505中,进行在像素块的左边至下边存在分区划分边界时的有效像素判断,结束180°<θ<270°时的像素块内的有效像素的判断(步骤S3505)。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3506的处理(步骤S3506)。

在步骤S3506中,进行在像素块的上边至下边存在分区划分边界时的有效像素判断,结束180°<θ<270°时的像素块内的有效像素的判断(步骤S3506)。

图25是示出270°<θ<360°时的像素块内的有效像素的判断的流程的流程图。

在步骤S3601中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3602的处理。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3606的处理(步骤S3601)。

在步骤S3602中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(0)<V_SIZE。而且,在是0<f(0)<V_SIZE的情况下,进行步骤S3603的处理。在步骤S3603中,进行在像素块的左边至右边存在分区划分边界时的有效像素判断,结束270°<θ<360°时的像素块内的有效像素的判断(步骤S3603)。另一方面,在不是0<f(0)<V_SIZE的情况下,进行步骤S3604的处理(步骤S3602)。

在步骤S3604中,根据从运动检测部1160获得的块分区信息的H_SIZE和V_SIZE,判断是否为0<f(H_SIZE-1)<V_SIZE。而且,在是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3605的处理。在步骤S3605中,进行在像素块的下边至右边存在分区划分边界时的有效像素判断,结束270°<θ<360°时的像素块内的有效像素的判断(步骤S3605)。另一方面,在不是0<f(H_SIZE-1)<V_SIZE的情况下,进行步骤S3606的处理(步骤S3606)。

在步骤S3606中,进行在像素块的上边至下边存在分区划分边界时的有效像素判断,结束270°<θ<360°时的像素块内的有效像素的判断(步骤S3606)。

图26是示出θ=0°、90°、180°、270°时的像素块内的有效像素的判断的流程的流程图。

在步骤S3701中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=0°。而且,在是θ=0°的情况下,进行步骤S3702的处理。另一方面,在不是θ=0°的情况下,进行步骤S3703的处理(步骤S3701)。

在步骤S3703中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=90°。而且,在是θ=90°的情况下,进行步骤S3704的处理。另一方面,在不是θ=90°的情况下,进行步骤S3705的处理(步骤S3705)。

在步骤S3705中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=180°。而且,在是θ=180°的情况下,进行步骤S3706的处理。另一方面,在不是θ=180°的情况下,进行步骤S3707的处理(步骤S3705)。

在步骤S3707中,根据从运动检测部1160获得的块分区信息的θ,判断是否为θ=270°。而且,在是θ=270°的情况下,进行步骤S3708的处理(步骤S3707)。

图26所记载的valid_partition0(i,j)、以及valid_partitionl(i,j)是,与像素块相同的尺寸的2维矩阵数据,且是示出构成划分为两个的块分区的像素在像素块内的各个坐标是否有效的信息。1时示出有效,0时示出无效。

在步骤S3702中,对于0<=i<=1/2*H_SIZE+ρ,0<=j<V_SIZE的像素,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,对于1/2*H_SIZE+ρ<=i<H_SIZE,0<=j<V_SIZE的像素,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1(步骤S3702)。

在步骤S3704中,对于0<=i<=H_SIZE,0<=j<1/2*V_SIZE-ρ的像素,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,对于0<=i<=H_SIZE,1/2*V_SIZE-ρ<=j<V_SIZE的像素,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1(步骤S3704)。

在步骤S3706中,对于0<=i<=1/2*H_SIZE-ρ,0<=j<V_SIZE的像素,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,对于1/2*H_SIZE-ρ<=i<H_SIZE,0<=j<V_SIZE的像素,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1(步骤S3706)。

在步骤S3708中,对于0<=i<=H_SIZE,0<=j<1/2*V_SIZE+ρ的像素,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,对于0<=i<=H_SIZE,1/2*V_SIZE+ρ<=j<V_SIZE的像素,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1(步骤S3708)。

图27是示出在像素块的上边至下边存在分区划分边界时的有效像素判断的流程的流程图。

在步骤S3801中,设为j=0,进行步骤S3802的处理(步骤S3801)。在步骤S3802中,设为i=0,进行步骤S3803的处理(步骤S3802)。在步骤S3803中,计算构成斜边(分区划分边界)的坐标(g(j),j),进行步骤S3804的处理(步骤S3803)。

在步骤S3804中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S3805的处理(步骤S3804)。在步骤S3805中,判断是否为0<=i<=g(j)。而且,在是0<=i<=g(j)的情况下,进行步骤S3806的处理。在步骤S3806中,设为i++,进行步骤S3804的处理(步骤S3806)。也就是说,步骤S3804至步骤S3806是,将位于分区划分边界的左侧的像素,判断为属于分区0的像素的处理。

另一方面,在不是0<=i<=g(j)的情况下,进行步骤S3807的处理(步骤S3805)。

在步骤S3807中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S3808的处理(步骤S3807)。在步骤S3808中,判断是否为g(j)<=i<H_SIZE。而且,在是g(j)<=i<H_SIZE的情况下,进行步骤S3809的处理。在步骤S3809中,设为i++,进行步骤S3807的处理(步骤S3809)。也就是说,步骤S3807至步骤S3809是,将位于分区划分边界的右侧的像素,判断为属于分区1的像素的处理。

另一方面,在不是g(j)<=i<H_SIZE的情况下,进行步骤S3810的处理(步骤S3808)。在步骤S3810中,判断是否为j<V_SIZE。而且,在是j<V_SIZE的情况下,进行步骤S3811的处理。在步骤S3811中,设为j++,进行步骤S3802的处理(步骤S3811)。另一方面,在不是j<V_SIZE的情况下,结束在像素块的上边至下边存在分区划分边界时的有效像素判断(步骤S3810)。

图28是示出在像素块的左边至右边存在分区划分边界时的有效像素判断的流程的流程图。图28是,与图27的处理相似,将位于分区划分边界的上侧的像素判断为属于分区0的像素、将位于下侧的像素判断为属于分区1的像素的处理。

在步骤S3901中,设为j=0,进行步骤S3902的处理(步骤S3901)。在步骤S3902中,设为i=0,进行步骤S3903的处理(步骤S3902)。在步骤S3903中,计算构成斜边(分区划分边界)的坐标(i,f(i)),进行步骤S3904的处理(步骤S3903)。

在步骤S3904中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S3905的处理(步骤S3904)。在步骤S3905中,判断是否为0<=j<=f(i)。而且,在是0<=j<=f(i)的情况下,进行步骤S3906的处理。在步骤S3906中,设为j++,进行步骤S3904的处理(步骤S3906)。另一方面,在不是0<=j<=f(i)的情况下,进行步骤S3907的处理(步骤S3905)。

在步骤S3907中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S3908的处理(步骤S3907)。在步骤S3908中,判断是否为f(i)<=j<V_SIZE。而且,在是f(i)<=j<V_SIZE的情况下,进行步骤S3909的处理。在步骤S3909中,设为j++,进行步骤S3907的处理(步骤S3909)。另一方面,在不是f(i)<=j<V_SIZE的情况下,进行步骤S3910的处理(步骤S3908)。

在步骤S3910中,判断是否为i<H_SIZE。而且,在是i<H_SIZE的情况下,进行步骤S3911的处理。在步骤S3911中,设为i++,进行步骤S3902的处理(步骤S3911)。另一方面,在不是i<H_SIZE的情况下,结束在像素块的左边至右边存在分区划分边界时的有效像素判断(步骤S3910)。

图29是示出在像素块的上边至右边存在分区划分边界时的有效像素判断的流程的流程图。

在步骤S4001中,设为j=0,进行步骤S4002的处理(步骤S4001)。在步骤S4002中,设为i=0,进行步骤S4003的处理(步骤S4002)。在步骤S4003中,计算构成斜边(分区划分边界)的坐标(g(j),j),进行步骤S4004的处理(步骤S4003)。

在步骤S4004中,判断是否为g(j)<H_SIZE。而且,在是g(j)<H_SIZE的情况下,进行步骤S4005的处理。另一方面,在不是g(j)<H_SIZE的情况下,进行步骤S4011的处理(步骤S4004)。

在步骤S4005中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4006的处理(步骤S4005)。在步骤S4006中,判断是否为0<=i<=g(j)。而且,在是0<=i<=g(j)的情况下,进行步骤S4007的处理。在步骤S4007中,设为i++,进行步骤S4005的处理(步骤S4007)。另一方面,在不是0<=i<=g(j)的情况下,进行步骤S4008的处理(步骤S4006)。也就是说,步骤S4005至步骤S4007是,将位于分区划分边界的左侧的像素,判断为属于分区0的像素的处理。

在步骤S4008中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S4009的处理(步骤S4008)。在步骤S4009中,判断是否为g(j)<=i<H_SIZE。而且,在是g(j)<=i<H_SIZE的情况下,进行步骤S4010的处理。在步骤S4010中,设为i++,进行步骤S4008的处理(步骤S4010)。另一方面,在不是g(j)<=i<H_SIZE的情况下,进行步骤S4014的处理(步骤S4009)。也就是说,步骤S4008至步骤S4010是,将位于分区划分边界的右侧的像素,判断为属于分区1的像素的处理。

在步骤S4011中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4012的处理(步骤S4011)。在步骤S4012中,判断是否为i<H_SIZE。而且,在是i<H_SIZE的情况下,进行步骤S4013的处理。在步骤S4013中,设为i++,进行步骤S4011的处理(步骤S4013)。另一方面,在不是i<H_SIZE的情况下,进行步骤S4014的处理(步骤S4012)。也就是说,步骤S4011至步骤S4013是,将分区划分边界与像素块的右边的交点的下侧的像素,判断为全部属于分区0的像素的处理。

在步骤S4014中,判断是否为j<V_SIZE。而且,在是j<V_SIZE的情况下,进行步骤S4015的处理。在步骤S4015中,设为j++,进行步骤S4002的处理(步骤S4015)。另一方面,在不是j<V_SIZE的情况下,结束在像素块的上边至右边存在分区划分边界时的有效像素判断(步骤S4014)。

图30是示出在像素块的上边至左边存在分区划分边界时的有效像素判断的流程的流程图。图30是,与图29的处理相似,将位于分区划分边界的左侧的像素判断为属于分区0的像素、将位于右侧的像素判断为属于分区1的像素、将分区划分边界与像素块的左边的交点的下侧的像素判断为全部属于分区1的像素的处理。

在步骤S4101中,设为j=0,进行步骤S4102的处理(步骤S4101)。在步骤S4102中,设为i=0,进行步骤S4103的处理(步骤S4102)。在步骤S4103中,计算构成斜边(分区划分边界)的坐标(g(j),j),进行步骤S4104的处理(步骤S4103)。

在步骤S4104中,判断是否为0<=g(j)。而且,在是0<=g(j)的情况下,进行步骤S4105的处理。另一方面,在不是0<=g(j)的情况下,进行步骤S4111的处理(步骤S4104)。

在步骤S4105中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4106的处理(步骤S4105)。在步骤S4106中,判断是否为0<=i<=g(j)。而且,在是0<=i<=g(j)的情况下,进行步骤S4107的处理。在步骤S4107中,设为i++,进行步骤S4105的处理(步骤S4107)。另一方面,在不是0<=i<=g(j)的情况下,进行步骤S4108的处理(步骤S4106)。

在步骤S4108中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S4109的处理(步骤S4108)。在步骤S4109中,判断是否为g(j)<=i<H_SIZE。而且,在是g(j)<=i<H_SIZE的情况下,进行步骤S4110的处理。在步骤S4110中,设为i++,进行步骤S4108的处理(步骤S4110)。另一方面,在不是g(j)<=i<H_SIZE的情况下,进行步骤S4114的处理(步骤S4109)。

在步骤S4111中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S4112的处理(步骤S4111)。在步骤S4112中,判断是否为i<H_SIZE。而且,在是i<H_SIZE的情况下,进行步骤S4113的处理。在步骤S4113中,设为i++,进行步骤S4111的处理(步骤S4113)。另一方面,在不是i<H_SIZE的情况下,进行步骤S4114的处理(步骤S4112)。

在步骤S4114中,判断是否为j<V_SIZE。而且,在是j<V_SIZE的情况下,进行步骤S4115的处理。在步骤S4115中,设为j++,进行步骤S4102的处理(步骤S4115)。另一方面,在不是j<V_SIZE的情况下,结束在像素块的上边至左边存在分区划分边界时的有效像素判断(步骤S4114)。

图31是示出在像素块的左边至下边存在分区划分边界时的有效像素判断的流程的流程图。图31是,与图29的处理相似,将分区划分边界与像素块的左边的交点的上侧的像素判断为全部属于分区1的像素、将位于分区划分边界的左侧的像素判断为属于分区0的像素、将位于右侧的像素判断为属于分区1的像素的处理。

在步骤S4201中,设为j=0,进行步骤S4202的处理(步骤S4201)。在步骤S4202中,设为i=0,进行步骤S4203的处理(步骤S4202)。在步骤S4203中,计算构成斜边(分区划分边界)的坐标(g(j),j),进行步骤S4204的处理(步骤S4203)。

在步骤S4204中,判断是否为0<=g(j)。而且,在是0<=g(j)的情况下,进行步骤S4205的处理。另一方面,在不是0<=g(j)的情况下,进行步骤S4211的处理(步骤S4204)。

在步骤S4205中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S4206的处理(步骤S4205)。在步骤S4206中,判断是否为0<=i<=g(j)。而且,在是0<=i<=g(j)的情况下,进行步骤S4207的处理。在步骤S4207中,设为i++,进行步骤S4205的处理(步骤S4207)。另一方面,在不是0<=i<=g(j)的情况下,进行步骤S4208的处理(步骤S4206)。

在步骤S4208中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4209的处理(步骤S4208)。在步骤S4209中,判断是否为g(j)<=i<H_SIZE。而且,在是g(j)<=i<H_SIZE情况下,进行步骤S4210的处理。在步骤S4210中,设为i++,进行步骤S4208的处理(步骤S4210)。另一方面,在不是g(j)<=i<H_SIZE的情况下,进行步骤S4214的处理(步骤S4209)。

在步骤S4211中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4212的处理(步骤S4211)。在步骤S4212中,判断是否为i<H_SIZE。而且,在是i<H_SIZE的情况下,进行步骤S4213的处理。在步骤S4213中,设为i++,进行步骤S4211的处理(步骤S4213)。另一方面,在不是i<H_SIZE的情况下,进行步骤S4214的处理(步骤S4212)。

在步骤S4214中,判断是否为j<V_SIZE。而且,在是j<V_SIZE的情况下,进行步骤S4215的处理。在步骤S4215中,设为j++,进行步骤S4202处理(步骤S4215)。另一方面,在不是j<V_SIZE的情况下,结束在像素块的左边至下边存在分区划分边界时的有效像素判断(步骤S4214)。

图32是示出在像素块的下边至右边存在分区划分边界时的有效像素判断的流程的流程图。图32是,与图29的处理相似,将分区划分边界与像素块的右边的交点的上侧的像素判断为全部属于分区0的像素、将位于分区划分边界的左侧的像素判断为属于分区0的像素、将位于右侧的像素判断为属于分区1的像素的处理。

在步骤S4301中,设为j=0,进行步骤S4302的处理(步骤S4301)。在步骤S4302中,设为i=0,进行步骤S4303的处理(步骤S4302)。在步骤S4303中,计算构成斜边(分区划分边界)的坐标(g(j),j),进行步骤S4304的处理(步骤S4303)。

在步骤S4304中,判断是否为g(j)<H_SIZE。而且,在是g(j)<H_SIZE的情况下,进行步骤S4305的处理。另一方面,在不是g(j)<H_SIZE的情况下,进行步骤S4311的处理(步骤S4304)。

在步骤S4305中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4306的处理(步骤S4305)。在步骤S4306中,判断是否为0<=i<=g(j)。而且,在是0<=i<=g(j)的情况下,进行步骤S4307的处理。在步骤S4307中,设为i++,进行步骤S4305的处理(步骤S4307)。另一方面,在不是0<=i<=g(j)的情况下,进行步骤S4308的处理(步骤S4306)。

在步骤S4308中,设为valid_partition0(i,j)=0,valid_partitionl(i,j)=1,进行步骤S4309的处理(步骤S4308)。在步骤S4309中,判断是否为g(j)<=i<H_SIZE。而且,在是g(j)<=i<H_SIZE的情况下,进行步骤S4310的处理。在步骤S4310中,设为i++,进行步骤S4308的处理(步骤S4310)。另一方面,在不是g(j)<=i<H_SIZE的情况下,进行步骤S4314的处理(步骤S4309)。

在步骤S4311中,设为valid_partition0(i,j)=1,valid_partitionl(i,j)=0,进行步骤S4312的处理(步骤S4311)。在步骤S4312中,判断是否为i<H_SIZE。而且,在是i<H_SIZE的情况下,进行步骤S4313的处理。在步骤S4313中,设为i++,进行步骤S4311的处理(步骤S4313)。另一方面,在不是i<H_SIZE的情况下,进行步骤S4314的处理(步骤S4312)。

在步骤S4314中,判断是否为j<V_SIZE。而且,在是j<V_SIZE的情况下,进行步骤S4315的处理。在步骤S4315中,设为j++,进行步骤S4302的处理(步骤S4315)。另一方面,在不是j<V_SIZE的情况下,结束在像素块的下边至右边存在分区划分边界时的有效像素判断(步骤S4314)。

以上,根据图20至图32示出的流程图的处理,能够提取参考块存储器1171内的像素块有效像素、即参考块。

根据该结构,能够缩短从帧存储器1140中决定用于执行非矩形运动补偿的参考块的地址的时间。因此,能够缩短运动检测部1160计算头信息(运动矢量、块分区信息、以及参考图像确定信息等)后,帧存储器传输控制部1172读出包含参考块的矩形状的像素块,写入到参考块存储器1171为止的时间。

而且,对于计算在包含非矩形的参考块的矩形区域的参考画面坐标中的水平坐标和垂直坐标的方法,示出了根据外接的矩形的顶点坐标求出的方法,但是,可以根据包含参考块的矩形的顶点坐标来计算,也可以根据构成参考块的边的坐标来计算。

(实施例2)

实施例1涉及的帧存储器传输控制部1172,将与非矩形状的参考块外接的单一的矩形像素块的像素数据,从帧存储器1140传输给参考块存储器1171。例如,在将图33的阴影(包含斜线阴影以及点阴影)所示的三角形的参考块3500(105像素)用于运动补偿的情况下,矩形状的像素块3000(256像素)成为传输的对象。如此,根据参考块的形状或大小,会有产生需要传输实际不用于运动补偿的多个像素(所述的例子中,151像素)的可能性。

于是,在实施例2中,目的在于,通过将不用于运动补偿的像素的一部分从传输的对象中除外,从而减少从帧存储器1140向参考块存储器1171的传输负荷。而且,实施例2涉及的图像编码装置以及图像解码装置的结构以及基本工作,与实施例1共同,因此,省略共同之处的详细说明,以不同之处为中心进行说明。

图33是示出包含用于运动补偿的非矩形状的参考块的矩形状的图。图34是示出实施例2涉及的导出像素块的左上坐标的处理的流程的流程图。也就是说,实施例2与实施例1的区别在于,相当于图13的步骤S2303的处理。

首先,实施例2涉及的帧存储器传输控制部1172,如图33所示,将参考图像3000区划为预先规定的大小的矩形状的多个像素块3100、3200、3300、3400,能够以像素块3100、3200、3300、3400的单位,从帧存储器1140传输给参考块存储器1171。也就是说,像素块3100、3200、3300、3400是,例如,DRAM的访问单位,在图33的例子中,是8像素×8像素的正方形。但是,像素块的大小不仅限于所述。并且,像素块,并不需要是正方形,也可以是长方形。

而且,实施例2涉及的帧存储器传输控制部1172,确定多个像素块3100、3200、3300、3400中的、包含构成非矩形状的参考块3500的像素的一个以上的像素块3200、3300、3400,将确定的一个以上的像素块3200,3300,3400的像素数据,从帧存储器1140传输给参考块存储器1171。

参照图34,说明导出成为传输对象的像素块的左上坐标的处理。但是,图34是,导出左上坐标的处理的一个例子,本发明不仅限于此。

首先,帧存储器传输控制部1172,确定构成非矩形状的参考块3500的边的像素的坐标(S4401)。在图33的例子中,确定斜线阴影所示的39像素的坐标。而且,像素的坐标,被表现为x坐标(横方向)以及y坐标(纵方向)的组合,例如,左上的像素3101的坐标成为(0,0)。

接着,帧存储器传输控制部1172,对在步骤S4401中确定的39像素的全部,执行步骤S4403至步骤S4405的处理(S4402,S4406)。该反复处理是,导出包含构成非矩形的参考块3500的像素的像素块的左上坐标的处理。

首先,帧存储器传输控制部1172,将构成参考块3500的边的像素的坐标值的低3比特替换为0(S4403)。例如,在将非矩形的参考块3500的右上的像素3501的坐标(15,2)的低3比特替换为0的情况下,得到包含该像素3501的像素块3200的左上的像素3201的坐标(8,0)。但是,若像素块的大小不同,则替换为0的比特数也不同,例如,若像素块的大小是16像素×16像素,将坐标值的低4比特替换为0即可。

接着,帧存储器传输控制部1172,对于在步骤S4403中导出的坐标(8,0),在后述的步骤S4404中判断是否为已经输出的坐标(S4403)。而且,在是未输出的坐标的情况下(S4403的“否”),帧存储器传输控制部1172,将在步骤S4403中导出的坐标(8,0),作为包含构成非矩形的参考块3500的像素的像素块3200的左上坐标来输出(S4404)。

另一方面,接着,在对像素3501的左下的像素3502执行步骤S4403至步骤S4405的情况下,与像素3501的情况同样,得到像素块3200的左上的像素3201的坐标(8,0)(S4403)。因此,不输出该坐标(S4404的“是”)。

在对图33的斜线阴影所示的39像素执行所述的处理的情况下,例如,从像素3503的坐标(9,8)得到像素块3400的左上的像素3401的坐标(8,8),从像素3504的坐标(7,10)得到像素块3300的左上的像素3301的坐标(0,8)。

也就是说,在对图33适用实施例2的处理的情况下,通过相当于图13的步骤S2303的处理,得到三个像素块3200、3300、3400的左上坐标。另一方面,由于各个像素块3200、3300、400的尺寸为固定(8像素×8像素),因此,不需要重新导出。

如此,根据实施例2,为了将参考块3500用于运动补偿,将三个像素块3200、3300、3400的像素数据(192像素)从帧存储器1140传输给参考块存储器1171即可,与实施例1相比,能够减少传输负荷。

(实施例3)组套、系统安装形态

*执行程序和保持该程序的记录介质*

通过将用于实现在上述的各个实施例所示的图像解码方法的结构的程序记录到记录介质,从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等,能够记录程序即可。

进而,在此,对在上述的各个实施例所示的图像处理装置的应用实例以及利用其的系统进行说明。

*由网络连接的系统*

图35是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小,在各单元内分别设置有作为固定无线局的基站ex106至ex110。

在该内容提供系统ex100中,计算机ex111、PDA(个人数字助理:personal digital assistant)ex112、摄像机ex113、移动电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106至ex110,与互联网ex101上相连接。

然而,内容提供系统ex100并非局限于图35所示的构成,也可以对任意的要素进行组合接续。并且,可以不通过作为固定无线局的基站ex106至ex110,而是各个设备直接与电话网ex104相连接。并且,也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备,摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且,移动电话ex114可以是GSM(注册商标)(Global System for MobileCommunications:全球移动通讯系统)方式、CDMA(Code DivisionMultiple Access:码分多址访问)方式、W-CDMA(Wideband-CodeDivision Multiple Access:宽带码分多址访问)方式、或LTE(Long TermEvolution:长期演进)方式、HSPA(High-Speed Packet Access:高速分组访问)的移动电话,或PHS(Personal Handy-phone System:个人手持式电话系统)等任一个。

在内容提供系统ex100中,摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接,从而能够进行实况分发等。在实况分发中,针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的实施例所说明的编码处理,并发送到流播放服务器ex103。另外,流播放服务器ex103针对提出请求的客户端,对被发送的内容数据进行流的分发。作为客户端,包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备,对接收的数据进行解码处理并再生。

并且,拍摄的数据的编码处理可以在摄像机ex113进行,也可以在进行数据的发送处理的流播放服务器ex103进行,也可以相互分担进行。同样,被分发的数据的解码处理可以由客户端进行,也可以在流播放服务器ex103进行,也可以相互分担进行。并且,不仅限于摄像机ex113,由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据,也可以通过计算机ex111而被发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行,也可以相互分担进行。

并且,这样的编码处理以及解码处理,由一般的计算机ex111以及各个设备有的LSIex500处理。LSIex500可以由一个芯片构成,也可以由多个芯片构成。另外,也可以将图像编码用以及图像解码用的软件安装到能够计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中,并利用该软件来进行编码处理以及解码处理。而且,在移动电话ex114是附带有相机的情况下,也可以发送该相机所获得的运动图像数据。在这种情况下的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且,流播放服务器ex103是多个服务器或多个计算机,也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述,在内容提供系统ex100中,客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中,在客户端能够实时地接收并解码由用户发送的信息并且能够再生,这样,即使是没有特殊权利或设备的用户也能够实现个人播放。

*广播系统*

而且,不仅限于内容提供系统ex100的例子,如图36示出,也可以在数字广播用系统ex200中,组装所述的各个实施例的至少运动图像编码装置或运动图像解码装置的某个。具体而言,在广播电台ex201,影像数据的比特流通过电波进行通信,或被传送到卫星ex202。该比特流是,由所述的各个实施例中说明的运动图像编码方法编码后的编码比特流。接受它的播放卫星ex202,发出广播用的电波,该电波由能够接收卫星广播的家庭的天线ex204接收。接收的比特流,由电视机(接收机)ex300或机顶盒(STB)ex217等的装置解码或再生。

并且,在再生装置ex212中也可以安装所述的实施例中所示的运动图像解码装置,该再生装置ex212对作为记录介质的DVD、BD等蓄积介质ex214中所记录的编码比特流进行读取或解码。在此情况下,被再生的影像信号被显示在监视器ex213。

并且,在阅读器/记录器ex218中也可以安装在上述的实施例中所示的运动图像解码装置或运动图像编码装置,该阅读器/记录器ex218对DVD、BD等记录介质ex215中所记录的编码比特流进行读取或解码,或者将影像信号编码并写入到记录介质ex215中。在此情况下,被再生的影像信号被显示在监视器ex219,通过记录有编码比特流的记录介质ex215,其他的装置以及系统能够再生影像信号。并且,也可以将图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内,并在电视机的监视器ex219上显示。此时,可以不组装到机顶盒,而是将图像解码装置组装到电视机内。

*作为广播系统内的设备的一个例子的电视机*

图37示出了利用了上述的实施例所说明的图像解码方法的电视机(接收机)ex300。电视机ex300包括:调谐器ex301,通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的比特流;调制/解调部ex302,解调接收的编码数据,或者调制为了要发送到外部的编码数据;以及多路复用/分离部ex303,对解调的影像数据和声音数据进行分离,或者对被编码的影像数据和声音数据进行多路复用。并且,电视机ex300具有信号处理部ex306和输出部ex309,所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305;所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307,以及对被解码的影像信号进行显示的显示器等显示部ex308。进而,电视机ex300具有接口部ex317,该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而,电视机ex300具有统括控制各个部的控制部ex310,以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外,还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且,记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先,对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作,并根据具有CPU等的控制部ex310的控制,将在调制/解调部ex302解调的影像数据和声音数据,在多路复用/分离部ex303进行分离。进而,电视机ex300将分离的声音数据在声音信号处理部ex304进行解码,利用上述的各个实施例中说明的解码方法,将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时,为了使声音信号和影像信号同步再生,而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且,电视机ex300可以不从广播等读出被编码的编码比特流,而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。以下将要说明的构成是,电视机ex300对声音信号以及影像信号进行编码,并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作,并根据控制部ex310的控制,在声音信号处理部ex304对声音信号进行编码,并利用在上述的各个实施例中说明的编码方法,在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用,并被输出到外部。在进行多路复用时,为了使声音信号和影像信号同步,而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外,关于缓冲器ex318至ex321,可以如图中所示那样具备多个,也可以共享一个以上的缓冲器。而且,除图中所示以外,例如可以在调制/解调部ex302以及多路复用/分离部ex303之间等,作为回避系统的上溢和下溢的缓冲材料,可以在缓冲器中蓄积数据。

并且,电视机ex300除具有获得广播等以及来自记录介质等的声音数据以及影像数据的构成以外,还可以具有接受麦克风以及摄像机的AV输入的构成,并且也可以对从这些获得的数据进行编码处理。并且,在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明,不过也可以不能进行上述的处理,而只能进行上述的接收、解码处理、外部输出的构成。

并且,在阅读器/记录器ex218从记录介质中读出或写入编码比特流的情况下,上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行,也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

*关于电视机或阅读器/记录器进行向记录介质的记录再生的构成*

作为一个例子,图38示出从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401至ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息,并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动,并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大,对被记录在记录介质ex215的信号成分进行分离、解调,并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时,将光学头ex401移动到规定的信息光道,进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现,即:系统控制部ex407利用被保持在缓冲器ex404的各种信息,并且按照需要在进行新的信息的生成以及追加的同时,一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作,一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成,通过执行读出以及写入的程序来执行这些处理。

以上,以光学头ex401照射激光光点为例进行了说明,不过也可以是利用近场光学(near-field optical)来进行高密度的记录的构成。

图39是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上,导槽(槽)被形成为螺旋状,在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息,该记录块ex231是记录数据的单位,进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息,来确定记录块。并且,记录介质ex215包括:数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233,被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233,进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明,但并非受此所限,也可以是多层结构的能够在表面以外进行记录的光盘。并且,也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息,或者从各种角度记录不同的信息的层等,进行多维的记录/再生的构造的光盘。

并且,在数字广播用系统ex200,能够在具有天线ex205的车辆ex210从卫星ex202等接收数据,并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且,关于车辆导航系统ex211的构成可以考虑到在图37所示的构成中添加GPS接收部,同样也可以考虑到添加计算机ex111以及移动电话ex114等。并且,上述移动电话ex114等终端与电视机ex300同样,除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外,还可以考虑到是仅具有编码器的发送终端,以及仅具有解码器的接收终端的共三种形式。

如此,可以将所述各个实施例所示的运动图像编码方法或运动图像解码方法用于所述的任何机器、系统上,据此可以获得所述各个实施例所说明的效果。

而且,本发明不仅限于这些所述实施例,而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例4)LSI安装形态

*LSI1仅发明部*

在本实施例中,图40示出实施例1所示的图像解码装置,以实现为作为典型的半导体集成电路的LSI的形态。在DRAM上实现帧存储器3,在LSI上构成其他的电路以及存储器。

它们既可以单独地单芯片化,也可以包含一部分或全部而单芯片化。而且,在此,被称为LSI,但是,根据集成度不同,会有被称为IC、系统LSI、超LSI、特大LSI的情况。

并且,对于集成电路化的方法,不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(FieldProgrammable Gate Array∶现场可编程门阵列)、以及可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

进而,将对本实施例的图像解码装置集成化后的半导体芯片与用于描绘图像的显示器组合,从而能够构成适用于各种用途的描绘设备。作为移动电话、电视机、数字录像机、数字摄像机、汽车导航等的信息描绘机构,能够利用本发明。作为显示器,除电子束管(CRT)以外,还有液晶显示器、PDP(等离子显示板)、有机EL等平面显示器,并且也可以与以投影仪为代表的投射型显示器等相组合。

并且,本实施例示出系统LSI和DRAM(Dynamic Random AccessMemory:动态随机存取存储器)的构成,不过也可以由eDRAM(embededDRAM:嵌入式DRAM)、SRAM(Static Random Access Memory:静态随机存取存储器)、硬盘等的其他的存储装置构成。

(实施例5)组套、系统安装形态

*LS11整体*

上述的各个实施例所示的图像解码方法以及装置典型的可以以作为集成电路的LSI来实现。作为一个例子,图41示出了被单芯片化的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509,各个要素通过总线ex510连接。电源电路部ex505在电源为导通状态的情况下,通过向各个部提供电力,从而启动为能够工作的状态。

并且,例如在进行解码处理的情况下,LSIex500根据微型计算机ex502的控制,将通过流输入输出ex506经由解调处理电路ex220得到的编码数据或从记录介质ex215读出而得到的编码数据被暂时蓄积到存储器ex511等。根据微型计算机ex502的控制,蓄积的数据按照处理量以及处理速度被适当地分为多次等,并被发送到信号处理部ex507,信号处理部ex507进行声音数据的解码以及/或影像数据的解码。在此,影像信号的解码处理是在上述的各个实施例中所说明的解码处理。并且,为了使被解码的声音信号和被解码的影像信号同步再生,可以根据情况将各个信号暂时蓄积到存储器ex511等。被解码的输出信号适当地经由存储器ex511等,从AV输入/输出ex509输出到监视器ex219等。被构成为在访问存储器ex511时通过存储控制器ex503。

另外,以上虽然对存储器ex511作为LSIex500的外部构成进行了说明,不过也可以被包括在LSIex500的内部。并且,LSIex500可以被单芯片,也可以是多个芯片。

而且,在此,被称为LSI,但是,根据集成度不同,会有被称为IC、系统LSI、超LSI、特大LSI的情况。

并且,对于集成电路化的方法,不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(FieldProgrammable Gate Array∶现场可编程门阵列)、以及可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

工业实用性

本发明的图像解码装置,能够利用在各种各样的用途上。例如,能够利用于电视机、数字录像机、汽车导航、移动电话、数字照相机、数字摄像机等的高分辨率的信息显示设备以及摄像设备,利用价值高。

符号说明

100方法

112开始框

114、116、118功能框

120结束框

1000图像编码装置

1100编码处理部

1110减法器

1120编码部

1121正交转换部

1122量化部

1123熵编码部

1124、2112逆量化部

1125、2113逆正交转换部

1126、2120加法器

1130、2130去块滤波器

1140、2140帧存储器

1150、2150面内预测部

1160运动检测部

1170、2160运动补偿部

1171、2161参考块存储器

1172、2162帧存储器传输控制部

1173、2163参考块存储器传输控制部

1174、2164运动补偿处理部

1175、2165参考块存储器状态管理部

1180、2170开关

1200编码控制部

2000图像解码装置

2100解码处理部

2110解码部

2111熵解码部

2200解码控制部

3000参考图像

3100、3200、3300、3400像素块

3101、3201、3301、3401、3501、3502、3503、3504像素

3500参考块

ex100内容提供系统

ex101互联网

ex102互联网服务提供商

ex103流播放服务器

ex104电话网

ex106基站

ex107基站

ex108基站

ex109基站

ex110基站

ex111计算机

ex112PDA(Personal Digital Assistant)

ex113摄像机

ex114移动电话

ex115游戏机

ex116摄像机

ex117麦克风

ex200数字广播用系统

ex201广播电台

ex202播放卫星

ex203电缆

ex204天线

ex205天线

ex210汽车

ex211汽车导航

ex212再生装置

ex213监视器

ex215记录介质

ex216记录介质

ex217机顶盒(STB)

ex218阅读器/记录器

ex219监视器

ex220解调部

ex230信息光道

ex231记录块

ex232内周区域

ex233数据记录区域

ex234外周区域

ex300电视机(接收机)

ex301调谐器

ex302调制/解调部

ex303多路复用/分离部

ex304声音信号处理部

ex305影像信号处理部

ex306信号处理部

ex307扬声器

ex308显示部

ex309输出部

ex310控制部

ex311电源电路部

ex312操作输入部

ex313电桥

ex314插槽部

ex315驱动器

ex316调制解调器

ex317接口部

ex318缓冲器

ex319缓冲器

ex400信息再生/记录部

ex401光学头

ex402调制记录部

ex403再生解调部

ex404缓冲器

ex405盘式电机

ex406伺服控制部

ex407系统控制部

ex500LSI

ex502CPU

ex503存储控制器

ex505电源电路部

ex506流输入输出

ex507信号处理部

ex509AV输入/输出

ex510总线

ex511存储器

权利要求书(按照条约第19条的修改)

1.(修改后)一种运动图像解码装置,对编码流进行解码来生成解码运动图像,所述运动图像解码装置具备:

帧存储器,存储参考图像;

运动补偿部,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

解码部,从所述编码流生成所述解码运动图像,

所述运动补偿部具备:

参考块存储器,用于存储所述参考图像中的一部分;

帧存储器传输控制部,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理部,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

所述解码部,从所述编码流中获得示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用所述编码流和由所述运动补偿部生成的所述预测块,从所述编码流生成所述解码运动图像,

所述帧存储器传输控制部,利用由所述解码部获得的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

2.(修改后)如权利要求1所述的运动图像解码装置,

所述运动补偿部还具备参考块传输控制部,该参考块传输控制部,从矩形状的所述像素块中提取非矩形状的所述参考块,将提取的所述参考块的像素数据,从所述参考块存储器传输给所述运动补偿处理部,

所述运动补偿处理部,利用由所述参考块传输控制部从所述参考块存储器传输来的所述参考块,生成所述对象块的预测块。

3.(修改后)如权利要求1或2所述的运动图像解码装置,

所述帧存储器传输控制部,确定与非矩形状的所述参考块外接的矩形状的所述像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器。

4.(修改后)如权利要求1或2所述的运动图像解码装置,

所述帧存储器传输控制部,确定构成所述参考图像的预先规定的大小的矩形状的多个像素块中的、包含构成非矩形状的所述参考块的像素的一个以上的像素块,将确定的所述一个以上的像素块的像素数据,从所述帧存储器传输给所述参考块存储器。

5.(修改后)如权利要求1至4的任一项所述的运动图像解码装置,

所述运动补偿部还具备参考块存储器状态管理部,该参考块存储器状态管理部,以预先规定的大小的传输块为单位来管理,所述参考图像的像素数据是否被存储在所述参考块存储器中,

所述帧存储器传输控制部,将确定的所述像素块中的、没有被存储在所述参考块存储器中的像素数据,以由所述参考块存储器状态管理部管理的所述传输块为单位来有选择地传输。

6.(修改后)一种运动图像编码装置,对运动图像进行编码来生成编码流,所述运动图像编码装置具备:

帧存储器,存储参考图像;

运动补偿部,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

编码部,从所述运动图像生成所述编码流,

所述运动补偿部,具备:

参考块存储器,用于存储所述参考图像中的一部分;

帧存储器传输控制部,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理部,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

所述编码部,生成示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用由所述运动补偿部生成的所述预测块,从所述运动图像生成所述编码流,

所述帧存储器传输控制部,利用由所述编码部生成的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

7.(修改后)如权利要求6所述的运动图像编码装置,

所述运动补偿部还具备参考块传输控制部,该参考块传输控制部,从矩形状的所述像素块中提取非矩形状的所述参考块,将提取的所述参考块的像素数据,从所述参考块存储器传输给所述运动补偿处理部,

所述运动补偿处理部,利用由所述参考块传输控制部从所述参考块存储器传输来的所述参考块,生成所述对象块的预测块。

8.(修改后)如权利要求6或7所述的运动图像编码装置,

所述帧存储器传输控制部,确定与非矩形状的所述参考块外接的矩形状的所述像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器。

9.(修改后)如权利要求6或7所述的运动图像编码装置,

所述帧存储器传输控制部,确定构成所述参考图像的预先规定的大小的矩形状的多个像素块中的、包含构成非矩形状的所述参考块的像素的一个以上的像素块,将确定的所述一个以上的像素块的像素数据,从所述帧存储器传输给所述参考块存储器。

10.(修改后)如权利要求6至9的任一项所述的运动图像编码装置,

所述运动补偿部还具备参考块存储器状态管理部,该参考块存储器状态管理部,以预先规定的大小的传输块为单位来管理,所述参考图像的像素数据是否被存储在所述参考块存储器中,

所述帧存储器传输控制部,将确定的所述像素块中的、没有被存储在所述参考块存储器中的像素数据,以由所述参考块存储器状态管理部管理的所述传输块为单位来有选择地传输。

11.(追加)一种运动图像解码方法,运动图像解码装置对编码流进行解码来生成解码运动图像,所述运动图像解码装置具备,存储参考图像的帧存储器、以及用于存储所述参考图像中的一部分的参考块存储器,所述运动图像解码方法包括:

运动补偿步骤,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

解码步骤,从所述编码流生成所述解码运动图像,

所述运动补偿步骤,包括:

帧存储器传输控制步骤,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理步骤,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

在所述解码步骤中,从所述编码流中获得示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用所述编码流和在所述运动补偿步骤中生成的所述预测块,从所述编码流生成所述解码运动图像,

在所述帧存储器传输控制步骤中,利用在所述解码步骤中获得的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

12.(追加)一种运动图像编码方法,运动图像编码装置对运动图像进行编码来生成编码流,所述运动图像编码装置具备,存储参考图像的帧存储器、以及用于存储所述参考图像中的一部分的参考块存储器,所述运动图像编码方法包括:

运动补偿步骤,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

编码步骤,从所述运动图像生成所述编码流,

所述运动补偿步骤,包括:

帧存储器传输控制步骤,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理步骤,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

在所述编码步骤中,生成示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用在所述运动补偿步骤中生成的所述预测块,从所述运动图像生成所述编码流,

在所述帧存储器传输控制步骤中,利用在所述编码步骤中生成的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

13.(追加)一种程序,使计算机对编码流进行解码来生成解码运动图像,所述计算机具备,存储参考图像的帧存储器、以及用于存储所述参考图像中的一部分的参考块存储器,使计算机执行以下的步骤:

运动补偿步骤,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

解码步骤,从所述编码流生成所述解码运动图像,

所述运动补偿步骤,包括:

帧存储器传输控制步骤,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理步骤,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

在所述解码步骤中,从所述编码流中获得示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用所述编码流和在所述运动补偿步骤中生成的所述预测块,从所述编码流生成所述解码运动图像,

在所述帧存储器传输控制步骤中,利用在所述解码步骤中获得的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

14.(追加)一种程序,使计算机对运动图像进行编码来生成编码流,所述计算机具备,存储参考图像的帧存储器、以及用于存储所述参考图像中的一部分的参考块存储器,使计算机执行以下的步骤:

运动补偿步骤,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

编码步骤,从所述运动图像生成所述编码流,

所述运动补偿步骤,包括:

帧存储器传输控制步骤,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理步骤,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

在所述编码步骤中,生成示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用在所述运动补偿步骤中生成的所述预测块,从所述运动图像生成所述编码流,

在所述帧存储器传输控制步骤中,利用在所述编码步骤中生成的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

15.(追加)一种集成电路,对编码流进行解码来生成解码运动图像,所述集成电路具备:

帧存储器,存储参考图像;

运动补偿部,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

解码部,从所述编码流生成所述解码运动图像,

所述运动补偿部,具备:

参考块存储器,用于存储所述参考图像中的一部分;

帧存储器传输控制部,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理部,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

所述解码部,从所述编码流中获得示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用所述编码流和由所述运动补偿部生成的所述预测块,从所述编码流生成所述解码运动图像,

所述帧存储器传输控制部,利用由所述解码部获得的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

16.(追加)一种集成电路,对运动图像进行编码来生成编码流,所述集成电路具备:

帧存储器,存储参考图像;

运动补偿部,针对运动图像中包含的非矩形状的对象块,利用所述帧存储器中存储的所述参考图像进行运动补偿;以及

编码部,从所述运动图像生成所述编码流,

所述运动补偿部,具备:

参考块存储器,用于存储所述参考图像中的一部分;

帧存储器传输控制部,从所述参考图像中确定包含非矩形状的参考块的矩形状的像素块,将确定的所述像素块的像素数据,从所述帧存储器传输给所述参考块存储器,所述非矩形状的参考块是用于针对所述对象块的运动补偿的参考块;以及

运动补偿处理部,利用所述参考块存储器中存储的所述像素块中包含的所述参考块,生成所述对象块的预测块,

所述编码部,生成示出所述参考图像的形状的块分区信息以及运动矢量,并且,利用由所述运动补偿部生成的所述预测块,从所述运动图像生成所述编码流,

所述帧存储器传输控制部,利用由所述编码部生成的所述块分区信息以及所述运动矢量,确定包含非矩形状的所述参考块的矩形状的所述像素块。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号