影像质量评价装置、影像质量评价方法和影像质量评价程序以及影像匹配装置、影像匹配方法和影像匹配程序

摘要

主观质量推定部(11)，输入作为未恶化的影像信号的基准影像信号(RI)与该基准影像信号恶化后的恶化影像信号(PI)，计算两信号的影像信号特征量，根据计算出的两信号的影像信号特征量的差，推定恶化影像信号的主观质量。特征量计算部(12)，计算基准影像信号的影像信号特征量。在修正信息存储部(13)中，与影像信号特征量对应起来存储用于修正主观质量的修正信息。修正计算部(14)，从修正信息存储部(13)取得对应从特征量计算部(12)输入的基准影像信号的影像信号特征量的修正信息，转交给修正部(15)。修正部(15)，根据转交来的修正信息，修正由主观质量推定部(11)推定出的恶化影像信号的主观质量。

说明书

技术领域

本发明涉及不是在人们看到实际的影像后进行质量评价的主观质量评价试验，而是由影像信号的物理的特征量的测定推定主观质量的影像质量评价装置、影像质量评价方法和影像质量评价程序。

另外，本发明还涉及在影像质量评价装置、影像质量评价方法和影像质量评价程序中，进行基准影像信号和通过经过编码或网络传送等、而其质量恶化的恶化影像信号间的空间以及时间位置的匹配的影像匹配装置、影像匹配方法和影像匹配程序。

背景技术

影像信息，通过某种处理，例如编码或者网络传送等，一般其质量会恶化。关于这样的恶化的影像，把人们实际看见后而感觉到的恶化的程度称为主观质量。

历来，作为评价该主观质量的方法，进行根据人们实际看见影像的主管质量评价试验。但是，对于人们实际看见影像后评价该影像的质量，存在费事费工且在影像的质量评价上花费时间的问题。另外，精通影像质量评价的人和初学者，大多评价不同。

因此，作为由物理测定推定影像的主观质量的方法，有根据基准影像信号和恶化的恶化影像信号的物理特征量的差，或者根据仅由恶化影像信号的物理特征量求得的恶化量，客观地评价质量的恶化程度的方法。

但是，影像的主观质量，如果限定影像的话，虽然有时也可以高精度地推定主观评价值(例如参照ANSI T1.801.03-1996，“Digital Transport ofOne-Way Video Signal Parameters for Objective Performance Assessment”；冈本、高桥“关于影像质量客观评价技术的适用法的探讨”，信学ソ大，Sep.2002；冈本、栗田、高桥“关于提高影像质量客观评价的性能的探讨”，信学ソ大，Mar.2003)，但是对于任意的影像，因为极大依赖影像的性质，所以即使在恶化量的程度相同的场合，作为结果判断的主管质量也多有不同。

从这样的理由出发，在求影像主观质量的场合，仍然大多是人们实际看见该影像后来进行评价其质量这样的主观评价试验，这样的技术状况一直在持续。

在这样的状况中，提出了使其能够像接近人看见的场合那样评价主观质量为目的，着眼于影像的边缘区域，对影像信号使用Sobel滤波器，计算其恶化量的客观评价法(参照PCT Pub.No.：WO99/45715)。

但是，仅用这样的特征量，还不能得到置换实际的主观评价的充分的评价精度。

另一方面，在推定影像的主观质量的方法中，作为比较基准影像信号和恶化的恶化影像信号的物理特征量的前提，需要匹配基准影像信号和恶化影像信号的空间及时间的位置。亦即，在基准影像信号和恶化影像信号之间，需要匹配时间方向的偏离或者空间位置的偏离。

原来，这样的匹配处理是用手动进行的。但是，不久，提出了自动进行匹配处理的方案。例如，在美国专利5,446,492中，作为客观评价的前处理，在时间匹配处理时发生了延迟的场合也能对其进行应对。

根据该文献的技术，像电视广播那样，如果对象是同大小同帧速率的信号的话，则一旦取得同步，以后就能取得良好的同步。

但是，在近年来开始普及的经由因特网等的IP网络的影像分发或通信服务中，因为在个人计算机(PC)终端中接收影像，所以接收的影像的大小或长宽比各种各样。另外，也有时损失像数据包那样某种程度集中的信息。因此，难于取得基准影像信号和恶化影像信号的空间的位置对应。另一方面，由于IP包到达间隔的波动或者包损失的发生，发生了诸如在时间轴上的影像显示的定时偏离或者影像显示定时的波动或者冻结这些过去不存在的现象。因此，没有取得基准影像信号和恶化影像信号之间这样的时间上偏离的匹配的方法。

在推定影像的主观质量的方法中，如果不能充分地取得基准影像信号和恶化影像信号的空间以及时间的位置匹配的话，最终将不可能进行影像的主观质量的推定，即使能其精度也低。

此外，在前面的PCT Pub.No.：WO99/45715中，作为记述了时间上匹配处理的一例的文献，可以举出ITU-T Contribution COM-12-29“Draft newrecommendation on multimedia communication delay，synchronization，and framerate measurement”，December 1997。

发明内容

本发明是鉴于上述的现有技术提出的，其目的是，提供能够对任意影像高精度地推定统一的主观质量的影像质量评价装置、影像质量评价方法和影像质量评价程序。

另外，本发明的目的是，提供在推定主观质量中比较基准影像信号和恶化影像信号的物理特征量时，能够确实取得它们的空间以及时间的位置匹配的影像匹配装置、影像匹配方法和影像匹配程序。

为实现上述目的，第一形态的发明的要旨是一种影像质量评价装置，具有：输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号，计算两信号的影像信号特征量，根据计算出的两信号的影像信号特征量的差，推定所述恶化影像信号的主观质量的主观质量推定部；与影像信号特征量对应起来存储用于修正所述主观质量的修正信息的修正信息存储部；输入所述基准影像信号的所述影像信号特征量，从所述修正信息存储部取得与已输入的影像信号特征量对应的修正信息，根据取得的修正信息修正所述推定的主观质量的主观质量修正部。

第二形态的发明的要旨是，在第一形态的发明中，所述主观质量推定部，根据表示在影像信号中包含的影像的各帧内的影像状态的空间信息以及表示在帧间的影像变化的时间信息的至少任何一个的恶化影像信号和基准影像信号间的差推定所述主观质量。

第三形态的发明的要旨是，在第二形态的发明中，所述主观质量推定部，作为所述恶化影像信号和所述基准影像信号间的所述影像信号特征量的差，计算表示在影像信号中包含的影像的各帧内的恶化量的边缘电力量(E)、以及表示在帧间的恶化量的移动电力量(M)的至少一方。

第四形态的发明的要旨是，在第二形态的发明中，所述主观质量推定部，根据在ITU-R Recommendation P.910中规定的spatial information以及temporalinformation中至少任何一个的、恶化影像信号和基准影像信号间的差推定所述主观质量。

第五形态的发明的要旨是，在第一形态的发明中，修正信息存储部，作为用于修正所述主观质量的修正信息，与表示在影像信号中包含的在影像的各帧内的影像状态的空间信息以及表示在帧间的影像变化的时间信息对应起来存储修正系数。

第六形态的发明的要旨是，在第一形态的发明中，所述主观质量推定部，具有：输入所述基准影像信号和所述恶化影像信号，生成关于来自所述基准影像信号的基准影像帧和来自所述恶化影像信号的恶化影像帧的时间的偏离、和所述基准影像帧和所述恶化影像帧的空间的偏离的校准信息的校准信息生成部；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，根据表示所述基准影像帧和所述恶化影像帧的影像状态的空间信息计算各自的空间特征量的空间特征量计算部；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，对于所述基准影像帧和所述恶化影像帧，根据表示各自的帧间的影像变化的时间信息计算各自的时间特征量的时间特征量计算部；根据所述空间特征量和所述时间特征量推定所述恶化影像信号的主观质量的推定部。

另外，为实现上述目的，第七形态的发明是一种影像质量评价方法，该方法，是在具有与影像信号特征量对应起来存储用于修正作为未恶化的影像信号的基准影像信号恶化后的恶化影像信号被推定出的主观质量的修正信息的修正信息存储部、推定所述恶化影像信号的主观质量的影像质量评价装置中的影像质量评价方法；其特征在于，输入所述基准影像信号和所述恶化影像信号，计算两信号的影像信号特征量，根据算出的两信号的影像信号特征量的差、推定所述恶化影像信号的所述主观质量，从所述修正信息存储部取得与算出的所述基准影像信号的影像信号特征量对应的修正信息，根据取得的修正信息修正所述推定的主观质量。

另外，为实现上述目的，第八形态的发明是一种影像质量评价程序，其特征在于，使计算机作为下述单元工作：输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号，计算两信号的影像信号特征量，根据计算出的两信号的影像信号特征量的差，推定所述恶化影像信号的主观质量的主观质量推定单元；与影像信号特征量对应起来存储用于修正所述主观质量的修正信息的修正信息存储单元；从所述修正信息存储单元取得对应算出的所述基准影像信号的影像信号特征量的修正信息，根据取得的修正信息修正所述推定出的主观质量的主观质量修正单元。

另外，为实现上述目的，第九形态的发明是一种影像质量评价装置，其特征在于，具有：输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号，生成关于来自所述基准影像信号的基准影像帧和来自所述恶化影像信号的恶化影像帧的时间的偏离、和所述基准影像帧和所述恶化影像帧的空间的偏离的校准信息的校准信息生成部；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，根据表示所述基准影像帧和所述恶化影像帧的影像状态的空间信息计算各自的空间特征量的空间特征量计算部；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，对于所述基准影像帧和所述恶化影像帧，根据表示各自的帧间的影像变化的时间信息计算各自的时间特征量的时间特征量计算部；根据所述空间特征量和所述时间特征量推定所述恶化影像信号的主观质量的主观质量推定部。

第十形态的发明的要旨是，在第九形态的发明中，进一步具有：在把在所述恶化影像信号中包含的恶化影像的文件形式变换为在对应的所述基准影像信号中包含的基准影像的文件形式的同时，输出与其统一后的文件形式关联的信息的形式变换部，和对应与所述文件形式关联的信息、存储用于推定所述恶化影像信号的主观质量的系数的修正系数存储部；所述主观质量推定部，从所述修正系数存储部取得对应与从所述形式变换部输入的所述统一的文件形式关联的信息的所述系数，根据所述空间特征量、所述时间特征量、以及所述取得的系数，推定所述恶化影像信号的主观质量。

第十一形态的发明的要旨是，在第十形态的发明中，所述形式变换部，作为与所述统一的文件形式关联的信息，输出所述恶化影像信号的信号形式、由所述恶化影像信号发送来的恶化影像的信息量、以及所述恶化影像信号的编码方式中至少任何一个，所述修正系数存储部，对应所述恶化影像信号的信号形式、由所述恶化影像信号发送来的恶化影像的信息量、以及所述恶化影像信号的编码方式中至少任何一个，存储最佳的系数。

第十二形态的发明的要旨是，在第九或者第十形态的发明中，所述空间特征量计算部，根据所述基准影像信号和所述恶化影像信号，将定量化在帧内亮度值急剧变化的边界发生的恶化的指标作为所述空间特征量进行计算。

第十三形态的发明的要旨是，在第十二形态的发明中，所述空间特征量计算部，根据所述基准影像信号和所述恶化影像信号，将在ANSIT1.801.03-1995中规定的边缘电力量作为所述空间特征量进行计算。

第十四形态的发明的要旨是，在第九、第十或者第十二形态的发明中，所述空间特征量计算部，比较所述基准影像帧，将定量化在对应该基准影像帧的所述恶化影像帧亮度值急剧变化的边界在水平垂直方向上发生的情况的指标作为所述空间特征量进行计算。

第十五形态的发明的要旨是，在第九、第十、第十二或者第十四形态的发明中，所述空间特征量计算部，根据在每一个作为帧内的大于等于1像素以上的集合的块中基准影像在ITU-R Recommendation P.910中规定的Temporal Information值和恶化影像在ITU-R Recommendation P.910中规定的Temporal Information值的差，将影像的帧间的变化量作为所述时间特征量进行计算。

第十六形态的发明的要旨是，在第九或者第十形态的发明中，进而具有与空间特征量和时间特征量对应起来存储用于修正所述主观质量的修正信息的修正信息存储部；输入所述基准影像信号的所述空间特征量以及所述时间特征量、从所述修正信息存储部取得对应输入的空间特征量和时间特征量的修正信息、根据取得的修正信息修正所述推定出的主观质量的主观质量修正部。

另外，为实现上述目的，第十七形态的发明的要旨是一种影像质量评价方法，其特征在于，输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号；生成关于来自所述基准影像信号的基准影像帧和来自所述恶化影像信号的恶化影像帧的时间的偏离、和所述基准影像帧和所述恶化影像帧的空间的偏离的校准信息；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，根据表示所述基准影像帧和所述恶化影像帧的影像状态的空间信息计算各自的空间特征量；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，对于所述基准影像帧和所述恶化影像帧，根据表示各自的帧间的影像变化的时间信息计算各自的时间特征量；根据所述空间特征量和所述时间特征量推定所述恶化影像信号的主观质量。

另外，为实现上述目的，第十八形态的发明的要旨是影像质量评价方法，其特征在于，输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化的恶化影像信号；把在所述恶化影像信号中包含的恶化影像的文件形式变换为在对应的所述基准影像信号中包含的基准影像的文件形式；生成与该统一过的文件形式关联的信息；生成关于来自所述基准影像信号的基准影像帧和来自所述恶化影像信号的文件形式被变换过的恶化影像的恶化影像帧间的时间的偏离、和所述基准影像帧和所述恶化影像帧间的空间的偏离的校准信息；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，根据表示所述基准影像帧和所述恶化影像帧的影像状态的空间信息计算各自的空间特征量；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，对于所述基准影像帧和所述恶化影像帧，根据表示各自的帧间的影像变化的时间信息计算各自的时间特征量；根据所述空间特征量、所述时间特征量和对应与所述统一过的文件形式关联的信息的、用于主观质量推定的系数，推定所述恶化影像信号的主观质量。

另外，为实现上述目的，第十九形态的发明是一种影像质量评价程序，该程序使计算机作为下述单元工作：输入作为未恶化的影像信号的基准影像信号和其基准影像信号恶化的恶化影像信号、生成关于来自所述基准影像信号的基准影像帧和来自所述恶化影像信号的恶化影像帧间的时间的偏离、和所述基准影像帧和所述恶化影像帧间的空间的偏离的校准信息的校准信息生成单元；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，根据表示所述基准影像帧和所述恶化影像帧的影像状态的空间信息计算各自的空间特征量的空间特征量计算单元；根据所述校准信息，在消除了所述空间偏离和所述时间偏离之后，对于所述基准影像帧和所述恶化影像帧，根据表示各自的帧间的影像变化的时间信息计算各自的时间特征量的时间特征量计算单元；根据所述空间特征量和所述时间特征量，推定所述恶化影像信号的主观质量的主观质量推定单元。

第二十形态的发明的要旨是，在第十九形态的发明中，进而使计算机作为下述单元工作：在把在所述恶化影像信号中包含的恶化影像的文件形式，变换为在对应的所述基准影像信号中包含的基准影像的文件形式的同时，输出与该统一过的文件形式关联的信息的形式变换单元；和使其和与所述文件形式关联的信息对应起来、存储用于推定所述恶化影像信号的主观质量的系数的修正系数存储单元；所述主观质量推定单元，从所述修正系数存储单元中取得对应与从所述形式变换单元输入的所述统一过的文件形式关联的信息的所述系数，根据所述空间特征量、所述时间特征量以及所述取得的系数，推定所述恶化影像信号的主观质量。

另外，为实现上述目的，第二十一形态的发明是一种影像匹配装置，其特征在于，具有：输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号，把在所述恶化影像信号中包含的恶化影像的文件形式，变换为在对应的所述基准影像信号中包含的基准影像的文件形式的形式变换部；匹配在所述基准影像信号中包含的基准影像帧和所述恶化影像信号中包含的恶化影像帧的数目以及显示定时的显示定时匹配部；和对于所述基准影像帧以及所述恶化影像帧的对象帧以及其前后几个帧，监视在所述基准影像帧以及所述恶化影像帧之间的帧的偏离或者所述恶化影像的冻结状态，且取得帧间的对应关系以及像素间的对应关系的匹配的同步/位置匹配部。

第二十二形态的发明的要旨是，在第二十一形态的发明中，所述形式变换部，变换所述恶化影像的数据形式、大小、长宽比中至少一个来使与所述基准影像吻合。

第二十三形态的发明的要旨是，在第二十一形态的发明中，所述显示定时匹配部，在所述基准影像帧和所述恶化影像帧的帧速率不同的场合，通过插补或者删除所述恶化影像帧，使所述基准影像帧和所述恶化影像帧的帧速率吻合。

第二十四形态的发明的要旨是，在第二十一形态的发明中，所述显示定时匹配部，对于所述基准影像帧的显示定时，调准所述恶化影像帧的显示定时。

第二十五形态的发明的要旨是，在第二十一形态的发明中，所述显示定时匹配部，在所述基准影像帧的显示定时不一定的场合，把所述基准影像帧和所述恶化影像帧双方的显示定时取为预定的时间间隔。

第二十六形态的发明的要旨是，在第二十一形态的发明中，所述同步/位置匹配部，对于所述基准影像帧和所述恶化影像帧的对象帧以及其前后几个帧，比较全部帧或其特定区域的各自的特征量的推移，执行决定所述特征量的偏离成为最小的所述基准影像帧和所述恶化影像帧的时间的对应关系的宏同步处理。

第二十七形态的发明的要旨是，在第二十六形态的发明中，所述同步/位置匹配部，对于所述基准影像帧和所述恶化影像帧的对象帧以及其前后几个帧，一边挪移所述基准影像帧和所述恶化影像帧的时间的对应关系以及像素对应关系，一边比较全部帧或其特定区域的各自的特征量，执行决定所述特征量的差异成为最小的所述基准影像帧和所述恶化影像帧的时间的对应关系以及像素对应关系的微同步/位置匹配处理。

第二十八形态的发明的要旨是，在第二十七形态的发明中，所述同步/位置匹配部，初期执行所述宏同步处理以及所述微同步/位置匹配处理。

第二十九形态的发明的要旨是，在第二十八形态的发明中，所述同步/位置匹配部，在所述恶化影像帧陷入了冻结状态的场合，通过对帧数进行计数来计量所述冻结状态的继续时间。

第三十形态的发明的要旨是，在第二十九形态的发明中，所述同步/位置匹配部，对于所述基准影像帧和所述恶化影像帧的对象帧以及其前后几个帧，导出全部帧的各自的特征量，在对于所述基准影像帧的特征量随时间变化而所述恶化影像帧的特征量不随时间变化时，判定所述恶化影像帧陷入冻结状态。

第三十一形态的发明的要旨是，在第二十八形态的发明中，所述同步/位置匹配部，在所述恶化影像帧陷入冻结状态的场合，或者不能与所述基准影像帧同步的场合，再次执行所述宏同步处理。

第三十二形态的发明的要旨是，在第二十八形态的发明中，所述同步/位置匹配部，在所述恶化影像帧陷入帧偏离的状态的场合，输出帧的偏离数。

第三十三形态的发明的要旨是，在第二十一形态的发明中，进而具有从所述同步/位置匹配部输入所述基准影像信号和所述恶化影像信号，使所述恶化影像的亮度以及颜色信息与所述基准影像吻合，并把所述亮度以及颜色信息已吻合的恶化影像返回到所述同步/位置匹配部的亮度/颜色修正部。

另外，为实现上述目的，第三十四形态的发明是一种影像匹配方法，其特征在于，输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号；把在所述恶化影像信号中包含的恶化影像的文件形式，变换为在对应的所述基准影像信号中包含的基准影像的文件形式；匹配在所述基准影像信号中包含的基准影像帧和所述恶化影像信号中包含的恶化影像帧的数目以及显示定时；和对于所述基准影像帧以及所述恶化影像帧的对象帧以及其前后几个帧，监视在所述基准影像帧以及所述恶化影像帧之间的帧的偏离或者所述恶化影像的冻结状态，且取得帧间的对应关系以及像素间的对应关系的匹配。

另外，为实现上述目的，第三十五形态的发明是一种影像匹配程序，其特征在于，使计算机作为下述单元工作：输入作为未恶化的影像信号的基准影像信号和该基准影像信号恶化后的恶化影像信号、把在所述恶化影像信号中包含的恶化影像的文件形式变换为在对应的所述基准影像信号中包含的基准影像的文件形式的形式变化单元；匹配在所述基准影像信号中包含的基准影像帧和在所述恶化影像信号中包含的恶化影像帧的数目以及显示定时的显示定时匹配单元；和对于所述基准影像帧以及所述恶化影像帧的对象帧以及其前后几个帧、监视在所述基准影像帧和所述恶化影像帧之间的帧的偏离或者所述恶化影像的冻结状态、同时取得帧间的对应关系以及像素间的对应关系的匹配的同步/位置匹配单元。

另外，为实现上述目的，第三十六形态的发明是一种影像质量评价装置，其特征在于，具有：输入作为未恶化的影像信号的基准影像信号(RI)和该基准影像信号恶化后的恶化影像信号(PI)、把在所述恶化影像信号中包含的恶化影像的文件形式变换为在对应的所述基准影像信号中包含的基准影像的文件形式的形式变换部(41)；匹配在所述基准影像信号中包含的基准影像帧和在所述恶化影像信号中包含的恶化影像帧的数目以及显示定时的显示定时匹配部(42)；对于所述基准影像帧以及所述恶化影像帧的对象帧以及其前后几个帧、监视在所述基准影像帧和所述恶化影像帧之间的帧的偏离或者所述恶化影像的冻结状态、同时取得帧间的对应关系以及像素间的对应关系的匹配的同步/位置匹配部(43)；和输入通过所述同步/位置匹配部(43)已取得匹配的所述基准影像信号(RI)以及所述恶化影像信号(PI)、计算两信号的影像信号特征量、根据计算的两信号的影像信号特征量的差、推定所述恶化影像信号的主观质量的主观质量推定部(11)。

附图说明

图1是表示本发明的影像质量评价装置的第一实施形态的结构的框图；

图2是表示在图1的修正信息数据库中存储的修正信息的图；

图3是表示基于针对一次推定主观质量SQ的修正公式的修正后的最终推定主观质量Q和实测的主观质量的关系的图；

图4是表示本发明的影像质量评价装置的第二实施形态的结构的框图；

图5是用于计算在图4的空间特征量计算部中使用的水平垂直边缘量的图；

图6是表示本发明的影像质量评价装置的第三实施形态的结构的框图；

图7是表示在图6的加权系数数据库中存储的多个条件以及与条件对应的加权系数的图；

图8是把在本发明的实施形态的验证中使用的标准影像数据分类为学习数据和验证数据列举的图；

图9是根据图8的学习数据以及验证数据计算出的SI(空间信息)值和TI(时间信息)值的分布图；

图10是表示使用现有的峰值SN比(PSNR)得到的学习数据的推定结果的图；

图11是表示使用现有的边缘电力量(Ave_EE)得到的学习数据的推定结果的图；

图12是表示使用本发明的第二以及第三实施形态的影像质量评价装置得到的学习数据的推定结果的图；

图13是表示使用本发明的第二以及第三实施形态的影像质量评价装置得到的验证数据的推定结果的图；

图14是表示仅使用现有的边缘电力量(Ave_EE)得到的学习数据的推定结果的图；

图15是表示水平垂直边缘量的最小值(Min_HV)和主观评价值的关系的图；

图16是表示块平均运动电力量(Ave_MEB)和主观评价值的关系的图；

图17是表示本发明的影像匹配装置的实施形态的结构的框图；

图18是表示本发明的影像匹配装置的实施形态的动作步骤的流程图；

图19是用于说明显示定时匹配部中的处理的图；

图20是用于说明同步/位置匹配部中宏时刻同步处理的图；

图21是用于说明同步/位置匹配部中微同步/位置导出处理的图。

具体实施方式

下面参照附图详细说明本发明的影像质量评价装置、影像质量评价方法和影像质量评价程序以及影像匹配装置、影像匹配方法和影像匹配程序的实施形态。第一到第三实施形态是影像质量评价装置、影像质量评价方法和影像质量评价程序的发明的实施形态，第四实施形态是影像匹配装置、影像匹配方法和影像匹配程序的发明的实施形态。

<第一实施形态>

参照图1说明本发明的影像质量评价装置的第一实施形态的各装置部分。图1是表示本发明的影像质量评价装置的第一实施形态的结构的框图。

第一实施形态的影像质量评价装置，至少具有主观质量推定部11、特征量计算部12、修正信息数据库13、修正计算部14以及修正部15。

主观质量推定部11，输入基准影像信号RI和恶化影像信号PI。基准影像信号RI是恶化以前的影像信号，另一方面，恶化影像信号PI，是基准影像信号RI例如被编码或经由网络而恶化了的影像信号。

接着，主观质量推定部11，关于基准影像信号RI和恶化影像信号PI计算作为物理特征量的各自的影像信号特征量的差。在影像信号特征量中，例如有表示在影像信号中包含的在有影像的帧的影像状态的空间信息(SI)、以及表示在影像信号中包含的在有影像的帧间的影像变化的时间信息(TI)。作为这些空间信息SI以及时间信息TI，例如有在ITU-R Recommendation P.910的”Subjective Video Quality Assessment Methods for Multimedia Applications”的Appendix A中规定的Spatial Information以及Temporal Information。

然后，主观质量推定部11，从计算的影像信号特征量的差定量化恶化影像信号PI的恶化，根据该定量化了的恶化推定主观质量。亦即，主观质量推定部11，由基准影像信号RI和恶化影像信号PI定量化恶化影像信号PI的恶化，根据该被定量化了的恶化推定主观质量。推定出的主观质量，从主观质量推定部11作为一次推定主观质量SQ输出。一次推定主观质量SQ，例如若通过边缘电力量(E)和运动电力量(M)决定的话，则一般可用下式(1)所示的函数表示：

SQ＝F(M，E)            ...(1)。

该函数F是预先通过主观评价实验求得的。另外，边缘电力量(E)和运动电力量(M)，在美国ANSI规定的影像质量客观评价尺度(ANSIT1.801.03-1996，“Digital Transport of One-Way Video Signal Parameters forObiective Performance Assessment”)中被规定了。

特征量计算部12，输入基准影像信号RI，根据该基准影像信号RI计算影像信号特征量FI。作为该影像信号特征量FI如上所述例如也有空间信息SI或时间信息TI。特征量计算部12，例如确定空间信息SI以及时间信息TI中至少任何一个定量计算其特征量。

修正信息数据库13，与影像信号特征量对应起来存储修正信息。影像信号特征量，如上所述例如是空间信息SI或时间信息TI。修正信息是用于修正作为主观质量推定部11输出的一次推定主观质量SQ的修正公式或修正系数。后面参照图2将详细说明这些修正信息。这些修正公式或修正系数，预先通过实验决定，存储在修正信息数据库13中。在具有影像信号特征量FI的影像中加入了恶化的场合，预先通过主观评价实验统一计算人们看见该影像后主观上感觉到何种程度的恶化这样的特性。根据该特性计算对于影像信号特征量FI的修正公式以及修正系数。

亦即，预先通过主观评价试验统一计算基准影像信号RI的物理特征量和在具有其特征的影像上加上恶化时的主观评价特性，根据该计算出的物理特征量和主观评价特性间的对应关系，修正从基准影像信号RI的影像信号特征量由主观质量推定部11导出的一次推定主观质量SQ，使之可以进行高精度地向统一的客观评价值的变换。

修正计算部14，从特征量计算部12输入影像信号特征量FI，从修正信息数据库13抽出与该影像信号特征量FI对应的修正公式以及修正系数。亦即，修正计算部14，在修正信息数据库13中检索与影像信号特征量FI对应的修正公式以及修正系数，从修正信息数据库13抽出相应的修正公式以及修正系数。然后，修正计算部14，作为修正信息CI输出这些修正公式以及修正系数。

修正部15，从主观质量推定部11输入一次推定主观质量SQ，从修正计算部14输入修正信息CI。然后，修正部15，把一次推定主观质量SQ代入伴有在修正信息CI中包含的修正系数的修正公式中，作为最终推定主观质量Q输出修正的一次推定主观质量SQ。最终推定主观质量Q，修正了定量表示恶化影像信号PI的主观质量SQ的一次推定主观质量SQ。

下面参照图2说明修正信息数据库13存储的、对应影像信号特征量的修正信息。图2是表示在图1的修正信息数据库13中存储的修正信息的图。

如图2所示，在修正信息数据库13中，与影像信号特征量的各个值对应起来，把多个修正系数数据库化。根据图2，在通过特征量计算部12将基准影像信号RI的影像信号特征量(空间信息SI以及时间信息TI)计算为(SI，TI)＝(75，30)的场合，对应该影像信号特征量的修正系数是(α，β)＝(α2，β2)。实际上，修正计算部14从特征量计算部12输入影像信号特征量FI，从修正信息数据库13的数据库与修正公式一起抽出与该影像信号特征量FI对应的修正系数。进而，在对应影像信号特征量修正公式也变化的场合，在修正信息数据库13中，不仅修正系数，对应影像信号特征量的修正公式也被数据库化。

最后，参照图3说明修正部15修正一次推定主观质量SQ后输出的最终推定主观质量Q。图3是表示使用对一次推定主观质量SQ的修正公式得到的修正后的最终推定主观质量Q和实测的主观质量间的关系的图。

在第一实施形态中，修正公式为下面的式(2)。

最终推定主观质量Q＝α×一次推定主观质量SQ+β……(2)

这里，α和β是修正系数。图3表示通过对于输入到影像信号评价装置中的3种输入影像信号计算的3个修正公式得到的图线。横轴表示作为主观质量推定部11的输出的一次推定主观质量SQ，纵轴表示对于一次推定主观质量SQ、通过人们实际看到通过输入影像信号得到的影像后评价其质量的主观质量评价试验计算出来的主观质量。图中用圆形记号、方形记号和三角形记号分别表示的，是表示对于每一输入影像信号针对一次推定主观质量SQ的主观质量评价点。另一方面，3条线是分别对应3种输入影像信号的基于本实施形态的修正公式，根据本实施形态，一次推定主观质量SQ以这样对应每一影像的修正公式进行修正。

这样，根据第一实施形态，从基准影像的物理特征量求对于该影像的人的视觉特性，作为对于基准影像的特征量的修正信息数据库化，对于从基准影像和恶化影像的物理的特征量的差导出的推定主观质量，以该修正信息付以权重，这样，对于任意影像就可以以和作为现有方法的主观评价法相同的精度统一推定主观质量。

此外，在上述实施形态中，把计算基准影像信号RI的影像信号特征量的结构作为特征量计算部12在逻辑上作为单体设置，但是也可以不特别设置这样的特征量计算部12，原样不变利用由主观质量推定部11导出的基准影像信号RI的影像信号特征量。

另外，修正计算部14和修正部15不仅物理上、也可以在逻辑上为一体。亦即，也可以在修正部15直接输入基准影像信号RI的影像信号特征量的同时，修正部15从修正信息数据库输入对应该影像信号特征量的修正信息。

<第二实施形态>

参照图4说明本发明的影像质量评价装置的第二实施形态的各装置部分。图4是表示本发明的影像质量评价装置的第二实施形态的结构的框图。

第二实施形态的影像质量评价装置，如图4所示，具有校准信息生成部21、空间特征量计算部22、时间特征量计算部23以及主观质量推定部24。

校准信息生成部21，输入基准影像信号RI和恶化影像信号PI，分别从基准影像信号RI接收基准影像帧，从恶化影像信号PI接收恶化影像帧，检测基准影像帧和恶化影像帧的时间的以及空间的帧的偏离，生成关于这些时间的以及空间的帧的偏离的校准信息。

所谓基准影像帧和恶化影像帧的时间上的偏离，是指校准信息生成部21在某时刻接收到的基准影像帧和恶化影像帧的影像在时间上的偏离。例如，在校准信息生成部21在某时刻在基准影像帧中接收某影像A的帧、在该时刻在恶化影像帧中接收到比该影像A的帧3帧前的帧的场合，校准信息生成部21检测对于基准影像帧恶化影像帧晚了3帧的事实，将该信息作为校准信息生成。

另外，所谓基准影像帧和恶化影像帧的空间的偏离，是指校准信息生成部21在某时刻接收到的影像的空间位置偏离了。例如，在基准影像帧和恶化影像帧的帧在时间上不偏离的场合，校准信息生成部21在某时刻在基准影像帧中接收在影像中心球(ボ-ル)的中心映射的帧、在该时刻在恶化影像帧中在从影像的中心右1像素、上2像素偏离的位置球的中心映射的帧的场合，校准信息生成部21检测对于基准影像帧恶化影像帧向右1像素、上2像素偏离了的事实，将该信息作为校准信息生成。

空间特征量计算部22，输入基准影像信号RI和恶化影像信号PI和校准信息，使基准影像帧和恶化影像帧的空间的偏离以及时间的偏离消失，其后，根据基准影像信号RI和恶化影像信号PI计算空间特征量。在该第二实施形态中，作为该空间特征量，使用以下要详述的边缘电力量(Ave_EE)和水平垂直边缘量的最小值(Min_HV)的指标。

边缘电力量(Ave_EE)：

该指标，是基于基准影像信号RI和恶化影像信号PI定量化在帧内亮度值急剧变化的边界(称为边缘)上发生的恶化(例如模糊情况)的指标。在第二实施形态中，作为一例，通过使用Sobel滤波器从像素的亮度值强调边缘，由此，来定量化边缘上的恶化。另外，这里定量化的边缘电力量(Ave_EE)，在ANSI TI.801.03-1996，“Digital Transport of One-Way Video Signal Parametersfor Objective Performance Assessment”中被规定了。

边缘电力量(Ave_EE)，用(3)式定量化。

[数学式1]

$>>Ave>\_>EE>=>>>1>M>over>>\Sigma >>m>=>0>>>M>->1>over>>>>(>>>S>>I>in>>>(>m>)>>->S>>I>out>>>(>m>)>>>>S>>I>in>>>(>m>)>>>>)>>2>\; >->->->>(>3>)>>>s>$

式中，SI_μ(m)(μ＝in或out)由(4)式给出。

[数学式2]

$>>S>>I>\mu >>>(>m>)>>=>>>1>N>>>\Sigma >>i>,>j>>>\{>S>>I>2>>h>\_>\mu >>(>i>,>j>,>m>)>>+>S>>I>2>>v>\_>\mu >>(>i>,>j>,>m>)>>\}>->>>(>>1>N>>>S>>I>2>>h>\_>\mu >>(>i>,>j>,>m>)>>+>S>>I>2>>v>\_>\mu >>(>i>,>j>,>m>)>\; >)>>2>\; >->->->>(>4>)>>>s>$

μ＝in或out

另外，这里，SI_h-μ(i，j，m)、SI_v-μ(i，j，m)，分别表示位于第m帧的位置(i，j)处的Sobel滤波器，分别由(5)式以及(6)式给出。

SI_h-μ(i，j，m)＝{-Y_μ(i-1，j-1，m)-2Y_μ(i，j-1，m)-Y_μ(i+1，j-1，m)

                  +Y_μ(i-1，j+1，m)+2Y_μ(i，j+1，m)+Y_μ(i+1，j+1，m)}

                                                            ……(5)

SI_v-μ(i，j，m)＝{-Y_μ(i-1，j-1，m)+Y_μ(i+1，j-1，m)-2Y_μ(i-1，j，m)

                  +2Y_μ(i+1，j，m)-Y_μ(i-1，j+1，m)+Y_μ(i+1，j+1，m)}

                                                            ……(6)

式中，Y_in(i，j，m)表示位于基准影像帧的第m帧的位置(i，j)处的像素的亮度值(从0到255)，Y_out(i，j，m)表示位于恶化影像帧的第m帧的位置(i，j)处的像素的亮度值(从0到255)。

此外，后面和图一起说明仅用边缘电力量(Ave_EE)推定的时的结果，但是存在尽管客观评价值几乎不变但主观评价值变化却很大的影像，仅用该边缘电力量(Ave_EE)不能完全捕捉在这些影像中发生的恶化。

水平垂直边缘量的最小值(Min_HV)：

该指标，是和基准影像帧比较，来定量化在对应该基准影像帧的所述恶化影像帧中亮度值急剧变化的边界(边缘)在水平垂直方向上发生的程度的指标。在该第二实施形态中，作为一例，通过由在帧的水平/垂直方向的场所发生的水平垂直边缘量和其以外的方向的场所发生的边缘量的比、捕捉失真量的特征量(Min_HV)，来定量化在水平垂直上边缘发生的程度。该程度，如图5所示，通过输入影像和恶化影像来求取进入由常数r0＝20和Δθ＝0.05236决定的水平/垂直方向区域的点部分的边缘量(HV)和进入这以外的区域的边缘量(HV短横线)的比。采用这样的指标的理由在于，大多用块单位编码影像信息，所以确实反映在这样的编码中的所谓的块失真。

水平垂直边缘量的最小值(Min_HV)，用式(7)定量化。

[数学式3]

$>>Min>\_>HV>=>>min>m>>\{>>>HV>>R>in>>>(>M>)>>->HV>>R>out>>>(>m>)>>>>HV>>R>in>>>(>m>)>>>>\}>->->->>(>7>)>>>s>$

式中，HVR_μ(m)(μ＝in或out)，由(8)式给出。

[数学式4]

$>>HV>>R>\mu >>>(>m>)>>=>>>H>>V>\mu >>>(>>r>min>>,>\Delta \theta >,>m>)>>+>0.5>>ver>>>H>>V>\mu >>>‾>>>(>>r>min>>,>\Delta \theta >,>m>)>>+>0.5>>>->->->>(>8>)>>>s>$

μ＝in或out

另外，这里有用(9)式表示的定义。

[数学式5]

$>>H>>V>\mu >>>(>>r>min>>,>\Delta \theta >,>m>)>>=>>1>P>>>\Sigma >>i>,>j>>>S>>I>>r>\_>\mu >>(>i>,>j>,>m>)>>>>->->->>(>9>)>>>s>$

μ＝in或out

其中，作为条件，满足(10)式以及(11)式。

SI_{r_μ}(i，j，m)≥r_min＞0                     ……(10)

k_n/2-Δθ＜SI_{θ_μ}(i，j，m)＜k_n/2+Δθ(k＝0，1，2，3)

                                            ……(11)

这里，SI_{θ_μ}(i，j，m)＝tan^-1[SI_{v_μ}(i，j，m)/SI_{h_μ}(i，j，m)]。

另外，(9)式的P，是图5的阴影占据的范围的像素数。

另一方面，有(12)式表示的定义。

[数学式6]

$>ver>>>H>>V>\mu >>>‾>>>(>>r>min>>,>\Delta \theta >,>m>)>>=>>1>P>>>\Sigma >>i>,>j>>>S>>I>>r>\_>\mu >>>>(>i>,>j>,>m>)>>->->->>(>12>)>>>s>$

μ＝in或out

其中，作为条件，满足(13)式以及(14)式。

SI_{r_μ}(i，j，m)≥r_min＞0                      ……(13)

k_п/2+Δθ＜SI_{θ_μ}(i，j，m)＜(k+1)_п/2-Δθ(k＝0，1，2，3)

                                         ……(14)

另外，(12)式的P是满足(13)式以及(14)式的范围的像素数。

水平垂直边缘量的最小值(Min_HV)，是在边缘电力量(Ave_EE)中捕捉不到的恶化，具体说，是捕捉由于块失真新生成的边缘的特征量。参照附图后面会说明，通过该指标可以敏感地捕捉其恶化。该指标，以ANSI中规定的指标为基础，不过，如(7)式所示，通过使用最小值独自改进成能够高灵敏度地仅捕捉新边缘的发生数量。

然而，时间特征量计算部23，输入基准影像信号RI和恶化影像信号PI和校准信息，消除基准影像帧和恶化影像帧的空间偏离以及时间偏离，其后，根据基准影像信号RI和恶化影像信号PI计算时间特征量。在该第二实施形态中作为该时间特征量，使用以下要详细说明的作为基于TI(时间信息)值的差的指标的块平均运动电力量(Ave_MEB)。TI值是影像帧之间的像素的亮度值的差，是在ITU-R Recommendation P.910中被规定了的。

该块平均运动电力量(Ave_MEB)：

该指标，是对于作为帧内几个像素集合的每一块导出基准影像帧和恶化影像帧的TI值的差、根据基准影像帧每块的TI值对该差执行标准化的指标。

亦即，块平均运动电力量(Ave_MEB)用(15)式表示。

[数学式7]

$>>Ave>\_>MEB>=>>1>M>over>>\Sigma >>M>=>0>>>M>->1>over>>>1>>N>b>>>>>\Sigma >>(>k>,>l>)>>>>>(>>>T>>I>>b>\_>in>>>>(>k>,>l>,>m>)>>->T>>I>>b>\_>out>>>>(>k>,>l>,>m>)>>>>T>>I>>b>,>in>>>>(>k>,>l>,>m>)>>>>)>>2>\; >->->->>(>15>)>>>s>$

式中，TI_b-μ(k，l，m)用(16)式表示。

[数学式8]

$>>T>>I>>b>\_>\mu >>>>(>k>,>l>,>m>)>>=>>1>64>>>\Sigma >>i>,>j>>>>>(>>Y>\mu >>>(>8>k>+>i>,>8>l>+>j>,>m>)>>->>Y>\mu >>>(>8>k>+>i>,>8>l>+>j>,>m>->1>)>>)>>2>>->->->>(>16>)>>>s>$

μ＝in或out

块平均运动电力量(Ave_MEB)，是在边缘电力量(Ave_EE)中捕捉不尽的恶化，具体说，是捕捉基于每个区域的运动的恶化的发生的特征量。参照附图后面会说明，通过该指标可以敏感地捕捉其恶化。该指标，是为捕捉每一区域的运动导出每块的TI值，进而通过用基准影像的值进行标准化，而使灵敏度增高的独自的尺度。

主观质量推定部24，把由空间特征量计算部22计算的空间特征量和由时间特征量计算部23计算的时间特征量作为输入，推定作为对于基准影像信号RI的恶化影像信号PI的主观质量的主观评价值。该主观评价值(Y)用(17)式计算。

Y＝αX₁+βX₂+γX₃+δ      ……(17)

式中，X₁＝Ave_EE，X₂＝Min_HV，X₃＝Ave_MEB。

该主观评价值是最终得到的值。

这里，α、β、γ、δ是为从与对于通过主观评价试验求得的恶化影像的主观评价值的关系，对于时间特征量以及空间特征量来决定与主观评价值的对应关系而预先求得的加权系数。另外，α、β、γ、δ，例如，是根据恶化影像信号PI的信号形式、由恶化影像信号PI发送来的恶化影像的信息量(大小)以及恶化影像信号的编码方式来决定。因此，从恶化影像信号PI的信号形式、通过恶化影像信号PI发送来的恶化影像的信息量(大小)以及恶化影像信号的编码方式，可以预先计算α、β、γ、δ。

根据以上说明的第二实施形态的影像质量评价装置，可以对于任意的影像统一推定主观质量。后面参照附图要详细说明该第二实施形态的影像质量评价装置相对于现有的影像质量评价装置、精度可提高多少。

另外，也可以把在第二实施形态中说明过的图4所示的影像质量评价装置组装入到图1所示的影像质量评价装置的主观质量推定部11中，使用图1所示的影像质量评价装置。即，图4所示的影像质量评价装置输入基准影像信号RI和恶化影像信号PI，把主观质量推定部24输出的值作为一次推定主观质量SQ向修正部15输出。修正部15，从修正计算部14接收修正信息CI，输入一次推定主观质量SQ，计算最终推定主观质量Q。

<第三实施形态>

参照图6说明本发明的影像质量评价装置的第三实施形态的各装置部分。图6是表示本发明的影像质量评价装置的第三实施形态的结构的框图。

第三实施形态的影像质量评价装置，与第二实施形态的影像质量评价装置比较，不同之处在于：向装置输入的基准影像信号RI和恶化影像信号PI是分别以相互不同的文件形式输入的；再者，恶化影像信号PI的信号形式、通过恶化影像信号PI发送来的恶化影像的信息量(大小)以及恶化影像信号的编码方式是未知的。因此，对和第二实施形态的影像质量评价装置同样的部分给以同样的符号，省略说明。

第三实施形态的影像质量评价装置，如图6所示，具有格式变换部35、校准信息生成部21、空间特征量计算部22、时间特征量计算部23、主观质量推定部34、以及加权系数数据库36。

格式变换部35，在输入基准影像文件和恶化影像文件后，而恶化影像文件的文件形式与基准影像文件的文件形式不同的场合，把恶化影像文件的文件形式变换为与基准影像文件的文件形式相同的形式。更详细说，例如，在恶化影像文件的信号形式、颜色分布、大小、长宽比、以及编码方式与基准影像文件的不同的场合，把恶化影像文件的文件形式变换为与基准影像文件的文件形式相同的形式。然后，格式变换部35从变换为了与基准影像文件相同文件形式的恶化影像文件输出恶化影像信号PI。来自格式变换部35的恶化影像信号PI被输出到校准信息生成部21、空间特征量计算部22、时间特征量计算部23。

更具体说，格式变换部35，例如，在设想基准影像是VGA尺寸的YUV形式基准影像、基准影像和恶化影像的颜色格式不同的场合，如果恶化影像是RGB形式的话，则使用在Rec.IUT-R BT.601“STUDIO ENCODINGPARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 ANDWIDE-SCREEN 16:9 ASPECT RATIOS”等中记载的变换式变化该影像。另外，在格式变换部35把基准影像和恶化影像的尺寸或者长宽比变换为相同的场合，有时可以简单地作为整数倍计算，但是在这点不成立的场合需要变换为任意尺寸。在这种场合，使用周知的方法进行向任意尺寸的变换(例如参照，Muramatsu S.and Kiya H.：”Scale Factor of Resolution Conversion Based onOrthogonal Transforms，”IEICE Trans.Fundamentals.，E76-A，7，pp.1150-1153(July 1993)，或者松村正吾、贵家仁志，“对于变化编码的图像的任意的有理数倍率的分辨率变换法”电子信息通信学会论文集A，Vol.77-A，No.3，pp.369-378，March 1994)。另外，影像信号被压缩了的场合，预先变换为非压缩形式。

另外，由于影像编码或传送系统的特性或不同国家规格的不同，使得恶化影像的颜色或亮度的分布不同，因此，为避免给客观评价值造成偏差，要对基准影像和恶化影像的亮度值等的分布进行标准化。亦即，对于基准影像和恶化影像两者，对于亮度、色差信号、或者RGB值的每一个，从特定帧的像素值的分布，导出其最大值、最小值、平均值、方差那样的统计量，为使其分布相同，通过例如以平均值偏离的数量移位恶化影像的全部像素值，或者通过使用在用于使基准影像和恶化影像的最小值和最大值的范围一致的(18)式所示的变换式进行变换，来对基准影像和恶化影像的分布进行标准化。

[数学式9]

式中，Y：变换后的恶化影像的像素值

      X：变换前的恶化影像的像素值

格式变换部35，向主观质量推定部34输出与变换过的恶化影像信号PI的文件形式、即和基准影像信号RI同样的文件形式关联的信息。与该文件形式关联的信息，例如是恶化影像文件的信号形式、颜色分布、尺寸、长宽比、以及编码方式，但是在该第三实施形态中，向主观质量推定部34输出恶化影像文件的信号形式、尺寸、以及编码方式。

加权系数数据库36，把恶化影像文件的信号形式、尺寸、以及编码方式作为一组条件，存储有多个该条件，对应各条件预先设定加权系数α、β、γ、δ。这些加权系数，是从和通过主观评价实验求得的针对恶化影像的主观评价值间的关系、对于时间特征量以及空间特征量、预先求得和主观评价值间的对应关系的系数。图7表示加权系数数据库36存储的多个条件以及对应这些条件的加权系数。

主观质量推定部34，对应从格式变换部35输入的恶化影像文件的信号形式、尺寸、以及编码方式，从加权系数数据库36取得加权系数α、β、γ、δ，这点与第二实施形态的主观质量推定部24不同。其他和主观质量推定部24相同。

此外，在图6中，格式变换部35和校准信息生成部21被分别配置，但是格式变换部35和校准信息生成部21也可以作为一个构成部组装到图6的影像质量评价装置中。

根据以上说明的本第三实施形态，即使在恶化影像文件的文件形式与基准影像文件不同的场合，也可以推定恶化影像的主观质量。再有，关于恶化影像文件的信号形式、尺寸、以及编码方式，因为可以对应多个模式，所以可以推定各种各样的恶化影像文件的主观质量。

下面比较现有的影像质量评价装置，参照图8到图16，来说明关于第二以及第三实施形态的影像质量评价装置推定的影像质量值的推定精度的实际结果。

最初，说明用于在推定精度的验证以及导出在加权系数数据库36中存储的加权系数使用的主观评价数据。主观评价数据，把在图8中所示的用ITU-R选定的标准影像(参照ITU-R BT.802-1，“Test Pictures and Sequences forsubjective Assessments of Digital Codecs’Coveying Signals produced Accordingto Recommendation ITU-RBT.601，”1994，以及ITU-R BT.1201-2，“Testmaterials to be used in subjective assessment，”2001)的36种作为影像，如图8所示，把标准影像分为用于验证影像质量评价值的推定精度的验证数据、和作为在导出系数中预先使用的数据的学习数据。

用于验证推定精度的主观评价数据，被选择为减小由于基准影像的特性的不平衡引起的影响。亦即，考虑在ITU-TP.910(参考ITU-TP.910，“SubjectiveVideo Quality assessment Methods for multimedia applicatons”Aug.1996.)中表示的空间信息(SI)、时间信息(TI)的分布，从图9的区域A到区域D选定相同数目的影像，这样，可以把具有各种各样的SI值以及TI值的影像作为基准影像。另外，对于这些基准影像，使用以MPEG4为基础的编码恶化在256kbps～8Mbps的范围内作做成为分配给4阶段的恶化影像。

主观质量评价法，使用在MPEG的验证等多媒体数字信号编解码器的性能评价试验中经常使用的DSCQS法(参考ITU-R BT.500-10，“Methodology firthe subjective assessment of the quality of television pictures”March 2000.)，接受试验的人是从18岁到40岁的普通男女24名。

影像质量评价装置的目标推定精度，做成等于在评价中评测点的分散的程度是合适的。在把主观评价值的分散的程度作为单侧95％的可信区间导出时，在全部数据中是7.24。因此，作为影像质量评价装置的目标推定精度，以平均方差(RMSE)不超过该值作为目标。

分别在图10以及图11中表示在现有的影像质量评价装置中、一般使用的、使用采用了PSNR(Peak Signal Noise Ratio：峰值SN比)和作为ANSI的参数已知的边缘电力量(Ave_EE)的数据、对于学习数据推定出的结果。图10是在使用了PSNR的场合的推定结果，图11是在使用了边缘电力量(Ave_EE)的场合的推定结果。根据图10以及图11，PSNR的RMSE是9.57，边缘电力量(Ave_EE)的RMSE是7.47，比之PSNR，边缘电力量(Ave_EE)一方表示出良好的特性，但是RMSE超过目标值，推定精度是不充分的。

图12以及图13表示使用使用了边缘电力量(Ave_EE)、水平垂直边缘量的最小值(Min_HV)、Ave_MEB全体的第二以及第三实施形态的影像质量评价装置，对于学习数据、验证数据的推定结果。根据图12以及图13，因为学习数据的RMSE是6.43，验证数据的RMSE是6.49，所以，不仅对于学习数据，就是对于作为非学习数据的验证数据也能实现足够的目标推定精度。因此，显见，第二以及第三实施形态的影像质量评价装置，具有能够代替人们看见实际影像后评价其质量的主观评价质量试验使用的推定精度，达到了实用水平。

图14是表示仅使用边缘电力量(Ave_EE)得到的学习数据的一部分的推定结果的图。如图14所示，显见，在输入影像[3]、[6]、[7]、[9]处评测点的倾斜度大，尽管客观评价值几乎不变化，主观评价值却变化很大，仅用边缘电力量(Ave_EE)捕捉不尽在这些影像中发生的恶化。

图15是表示水平垂直边缘量的最小值(Min_HV)和主观评价值的关系的图。如图15所示，可知，根据水平垂直边缘量的最小值(Min_HV)，在输入影像[3]、[7]中，敏感地捕捉该恶化。

图16是表示块平均运动电力量(Ave_MEB)和主观评价值的关系的图。如图16所示，可知，根据块平均运动电力量(Ave_MEB)，在输入影像[6]、[9]中，敏感地捕捉该恶化。

如上所述，根据本发明的第二以及第三实施形态，作为影像的物理特征量，除了捕捉在边缘区域发生的恶化的参数之外，通过追加两个补充精度不足的独自参数，可以把在特定的影像中保持推定精度的技术扩展到任意影像。

<第四实施形态>

下面说明涉及影像匹配装置、影像匹配方法以及影像匹配程序的发明的实施形态。

图17是表示本发明的影像匹配装置的实施形态的结构的框图。

第四实施形态的影像匹配装置，至少具有格式变换部41、显示定时匹配部42、同步/位置匹配部43、亮度/颜色修正部44、以及恶化量导出部45。

格式变换部41，使在由于编码或者在网络中的损失恶化后的恶化影像信号中包含的文件形式，与在基准影像信号中包含的基准影像的形式吻合。显示定时匹配部42，使基准影像信号和恶化影像信号的影像显示定时吻合。同步/位置匹配部43，一边从恶化量导出部45取得恶化量或者同步偏离信息，一边取得基准影像信号和恶化影像信号的时间空间方向的匹配。另外，根据需要，亮度/颜色修正部44，对于基准影像信号和恶化影像信号的亮度或者颜色分布的不同进行修正。

此外，在该实施形态中，在基准影像信号和恶化影像信号中，包含帧速率信息或者帧显示时刻/取入时刻信息。另外根据需要，还包含信号格式信息。由此，该影像匹配装置，对于基准影像以及恶化影像，一边在存储器中存储对象帧及其前后数帧，一边进行非实时处理。

图18是表示本发明的影像匹配装置的实施形态的动作步骤的流程图。

首先，格式变换部41，在基准影像和恶化影像的信号形式、尺寸、长宽比不同的场合，进行恶化影像的信号形式的变换(步骤S1)。例如，若基准影像的数据形式是非压缩的YUV形式，恶化影像的数据形式是是非压缩的RGB形式的话，则使用Rec.ITU-R BT.601”STUDIO ENCODINGPARAMETERS OG DIGITAL TELEVISION FOR SDANDART 4:3 ANDWIDE-SCREEN 16:9 ASPECT RATIOS”的变换式变换恶化影像。另外，格式变换部41，起初在恶化影像是压缩形式的场合事前要变换为非压缩形式。进而，格式变换部41，在尺寸和长宽比不同的场合，进行变换以使它们变成相同。例如，有时可以简单地作为整数倍计算，但是在仅这样做还不够的场合，需要变换为任意尺寸，在这一场合，使用周知的方法进行向任意尺寸的变换(例如参照，Muramatsu S.and Kiya H.：”Scale Factor of Resolution ConversionBased on Orthogonal Transforms，”IEICE Trans.Fundamentals.，E76-A，7，PP.1150-1153(July 1993)，或者松村正吾、贵家仁志，“对于变化编码的图像的任意的有理数倍率的分辨率变换法”电子信息通信学会论文集A，Vol.77-A，No.3，pp.369-378，March 1994.)。其后，格式变换部41，把基准影像信号和变换后的恶化影像信号转交给显示定时匹配部42。

接着，显示定时匹配部42，为使由格式变换部41格式变换过的恶化影像信号与基准影像信号的显示定时吻合，进行帧的补齐等的处理(步骤S2)。

具体说，如图19(a)所示，在恶化影像的显示间隔比基准影像的显示间隔恒定长的场合，显示定时匹配部42，如图19(b)的下段所示，通过补齐全帧对于恶化影像补充影像。

另外，如图19(b)所示，在恶化影像的显示间隔波动的场合，显示定时匹配部42，如图19(b)的下段所示，由与基准影像同步的显示定时，用紧接恶化影像之前的影像补充恶化影像。此外，此时，也可以做成不是用恶化影像之前的影像补充，而是用恶化影像中时间上接近的影像进行补充。即，例如在图19(b)的场合，作为变换恶化影像的第二帧补充了帧I，但是假定如果用恶化影像中时间上接近的影像补充的话，则要补充帧II。

进而，如图19(c)所示，在基准影像信号自身不是固定的帧速率的场合，则要补齐成以和它们不同的正确的时间间隔来显示基准影像信号和恶化影像信号。

其后，显示定时匹配部42，把基准影像信号和恶化影像信号转交给同步/位置匹配部43。

同步/位置匹配部43，设想(1)评价开始状态，(2)同步状态，(3)冻结状态的3种状态后，规定其动作。

(1)首先，在评价开始状态中，同步/位置匹配部43，为取得时间方向的宏的匹配，比较对于一定时间的基准影像信号和恶化影像信号的1帧全体或其特定区域的信号的亮度/色差/RGB值的平均值那样的特征量的推移，取得匹配性成为最高的帧信息，由此，导出宏的时间方向的偏离(步骤S3)。具体说，如图20所示，使特征量在时间方向偏离，从各时间系列值的差为最小，或者互相关系数为最大的条件导出时间方向的偏离(帧差)。

另外，同步/位置匹配部43，为取得微的时间空间方向的匹配，通过恶化量导出部45在基准影像中对于取得了匹配的影像的前后数帧，如图21所示，使恶化影像在上下左右移动像素，把差值为最小的位置作为取得了最匹配的位置，作为像素位置信息接收(步骤S4)。

进而，同步/位置匹配部43，为进行亮度/颜色修正向亮度/颜色修正部44转交取得了匹配的基准影像和恶化影像。亮度/颜色修正部44，使恶化影像的亮度以及颜色信息的平均值、最小值和最大值以及它们的分布，与基准影像的这些取得匹配。例如，在基准影像和恶化影像的亮度分布不同的场合，亮度/颜色修正部44，根据基准影像和恶化影像的亮度分布的各自的平均值和方差值，对于基准影像和恶化影像的亮度分布施行线性标准化，把关于为进行该线性标准化的变换式的信息作为修正信息转交给同步/位置匹配部43。同步/位置匹配部43，接收该修正信息，根据接收的修正信息进行亮度/颜色修正处理(步骤S5)。

以下，作为(2)同步状态(3)冻结状态中的处理，同步/位置匹配部43，进行图18所示的步骤S6到步骤S22的处理。

在基准影像对象帧号码i比基准影像最终帧数N小，或者恶化影像对象帧号码j比恶化影像最终帧数M小时，执行以下的步骤S7到步骤S22的处理(步骤S6)。

于是，首先，判断F1是否是1，即基准影像和恶化影像是否处于非同步状态(步骤S7)。在基准影像和恶化影像处于同步状态的场合(F1＝0)，转移到步骤S8，在基准影像和恶化影像处于非同步状态的场合(F1＝1)，转移到步骤S16。

首先，以下说明基准影像和恶化影像处于同步状态的场合(F1＝0)。

同步/位置匹配部43，向恶化量导出部45转交在上述评价开始状态得到的、时间空间方向的偏离、或者修正了亮度/颜色信息的恶化影像和基准影像。恶化量导出部45，对于恶化影像的对象帧、把对应的基准影像的帧及其前后数帧作为对象进行微同步处理(参照图21)，在导出由此得到的恶化量的同时，把基准影像和恶化影像各自的前一个帧之间的帧间差值作为恶化量导出(步骤S8)。同步/位置匹配部43，接收由恶化量导出部45导出的那些恶化量，在那些恶化量中，根据帧间差值、判断恶化影像是否是冻结状态(步骤S9)。亦即，相对于关于基准影像的差值表示出某值，而恶化影像的差值如果表示出几近于0，则同步/位置匹配部43判断恶化影像是冻结状态。

在恶化影像是冻结状态时，同步/位置匹配部43，在设定为非同步状态(F1＝1)的同时，把冻结数作为“1”(count＝1)(步骤S10)，转移到步骤S22。

另一方面，在恶化影像不是冻结状态时，接着，同步/位置匹配部43，判断在步骤S8通过恶化量导出部45的微同步处理得到的、恶化影像的对象帧的恶化量是否最小(步骤S11)。在恶化影像的对象帧的恶化量是最小时，设定为同步状态(F2＝0)(步骤S12)，转移到步骤S14。另一方面，在恶化影像的对象帧的恶化量不是最小时，判定为帧偏离状态(跳帧状态，返帧状态)，转移到步骤S13，把恶化量最小的帧号码设定为j值，若是跳帧的话设定为F2＝1，否则(返帧状态等)设定为F2＝2，其时的帧的偏离数设定为Count值。

在步骤S14，在输出基准影像和恶化影像的同时输出F2值和Count值。其后，把Count值复位为0，转移到步骤S22。

接着，以下说明在步骤S7被判断为了基准影像和恶化影像处于非同步状态(F1＝1)的场合。

同步/位置匹配部43，在步骤S16，和步骤S8同样，对于恶化影像的对象帧，从恶化量导出部45接收通过把对应的基准影像的帧及其前后数帧作为对象进行的微同步处理得到的恶化量，同时，将与基准影像和恶化影像各自前一帧之间的帧间差值作为恶化量接收。同步/位置匹配部43，和步骤S9相同，在这些恶化量中，根据帧间差值，判断恶化影像是否是冻结状态(步骤S17)。

在恶化影像是冻结状态时，同步/位置匹配部43将冻结数(count值)加1(步骤S18)，转移到步骤S22。

另一方面，在恶化影像不是冻结状态时，同步/位置匹配部43判断冻结状态结束，进行和步骤S3同样的宏时刻同步处理(步骤S19)、输出冻结数(count值)(步骤S20)。其后，把F1值以及count值复位为0，转移到步骤S22。

在步骤S22，将基准影像对象帧号码i以及恶化影像对象帧号码j加1，在该i值达到基准影像最终帧数N、而且该j值达到恶化影像最终帧数M的场合，处理结束。

此外，假定总是在一定时间，对于基准影像信号和恶化影像信号，积蓄有1帧全部或者特定区域的亮度/色差/RGB值的平均值那样的特征量，而由于某种原因未能取同步时，例如在成为对象的帧中的特征量在离开一定时期的平均值某阈值(如3σ那样的标准偏差的常数倍)以上发生了断开时，认为进入(1)的评价初期状态，从步骤S3重新开始处理。

以上是本发明的实施形态的影像匹配处理的详情。

根据本实施形态，在执行影像的格式变换的同时，通过把宏匹配处理和微匹配处理作为基础时常进行同步处理，即使在个人计算机终端中接收影像时接收的影像的尺寸或者长宽比不同的场合，或者在由于如数据包损失那样某程度集中的信息损失而不能取得基准影像和恶化影像的空间位置的对应的场合，或者进而由于IP数据包到达间隔的波动或数据包损失的发生、在时间轴的影像显示的定时偏离或者影像显示定时的波动或者冻结这样的历来不存在的现象发生的场合，都能够适当地取得基准影像和恶化影像的时间方向和空间方向的匹配。

但是，在本发明的影像匹配方法中，设想为把从同步/位置匹配部43输出的基准影像和恶化影像及其附属信息(时间方向的状态)输入影像质量评价装置中(例如被输入第一实施形态的影像质量评价装置的主观质量推定部11)，但是，也可以在恶化量导出部45中，不是导出恶化量而是导出客观评价值，若通过同步/位置匹配部43输出其结果，也可以作为影像质量评价装置使用。

此外，在以上说明的各实施形态中，在其处理步骤中表示的指示，可以基于作为软件的程序来执行。通用计算机系统，预先存储好该程序，通过读入该程序，可以让该通用计算机系统作为影像质量评价装置以及影像匹配装置来工作。上述各实施形态中记述的指示，作为可以让计算机执行的程序，记录在磁盘(软盘，硬盘等)、光盘(CD-ROM，CD-R，CD-RW，DVD-ROM，DVD±R，DVD±RW等)、半导体内存储器、或者与其类似的记录媒体上。计算机从该记录媒体读入程序，若根据该程序由CPU执行在程序中记述的指示，则计算机就作为上述实施形态的影像质量评价装置以及影像匹配装置来动作。

此外，本发明并不限定于上述实施形态的照搬，而可以在实施阶段在不脱离其要旨的范围内变化结构要素来具体化。另外，根据在上述实施形态中公开的多个结构要素的适当的组合，可以形成各种发明。例如，也可以从实施形态中所示的全体结构要素中删除几个结构要素。进而，也可以适当组合涉及不同实施形态的结构要素。

根据本发明的影像质量评价装置、影像质量评价方法以及影像质量评价系统，即使是未知的基准影像，也可以对于任意影像高精度地推定统一的主观质量。

具体说，根据本发明的影像质量评价装置、影像质量评价方法以及影像质量评价系统，从基准影像的物理特征量求取针对该影像的人们的视觉特性，作为对于基准影像特征量的修正信息进行数据库化，通过对于从基准影像和恶化影像的物理特征量的差导出的推定主观质量以该修正信息附加权重，就能对于任意影像以和现有方法的主观评价法同等的精度统一地导出主观质量。

另外，作为影像的物理特征量，除了捕捉在边缘区域发生的恶化的参数之外，通过追加弥补精度不足的两个独自参数，就可以向任意的影像扩展在特定的影像中保持推定精度的技术。

根据本发明的影像匹配装置、影像匹配方法以及影像匹配程序，在主观质量的推定中，在比较基准影像信号和恶化影像信号间的物理特征量时，可以确实地取得它们的空间的以及时间的位置的匹配。

具体说，在进行影像的格式变换的同时，通过经常以宏匹配处理和微匹配处理为基础进行同步匹配，即使在个人计算机终端中接收影像时接收的影像的尺寸或者长宽比不同的场合，或者在由于如数据包损失那样某程度集中的信息损失而不能取得基准影像和恶化影像的空间位置的对应的场合，或者进而由于IP数据包到达间隔的波动或者数据包损失的发生、在时间轴的影像显示的定时偏离或者影像显示定时的波动或者冻结这样的历来不存在的现象发生的场合，都能够适当地取得基准影像和恶化影像的时间方向和空间方向的匹配。

因此，根据以这样的影像匹配装置以及方法为前提的影像质量评价装置以及方法，即使是在上述各场合也能够进行影像质量的客观评价，可以提高其精度。