视频信号处理装置、视频信号处理方法和视频信号处理程序

摘要

本发明提供了一种视频信号处理装置，其在由实际视频信号形成的原始图像帧之间生成插值帧。帧插值单元生成针对各像素指示生成形成插值帧的像素的过程的像素插值信息；接着，增强滤波器系数调整单元利用像素插值信息针对各像素确定要应用于形成插值帧的像素的增强程度，并且根据所确定的程度针对各像素调整增强滤波器的系数；然后，增强滤波器应用单元对形成插值帧的像素应用通过系数调整单元针对各像素调整了系数的增强滤波器。

说明书

技术领域

这里讨论的实施方式涉及视频信号处理装置、视频信号处理方法和 视频信号处理程序。

背景技术

近来，以液晶显示器(LCD)和等离子显示面板(PDP)为代表的 具有又大又薄屏幕的电视机是电视机市场的主流。在采用液晶显示器的 电视机中，由于称作“保持显示器”的在16.7毫秒(1/60秒)内持续显 示同一图像的系统，与自发光等离子显示器相比较，会报告出现图像模 糊。当眼球跟随画面上图像的移动进行连续移动时，由于画面上的连续 静止图像导致眼球的移动与图像的移动之间不匹配，从而认为出现这种 模糊。为了提高这种运动图像特性，缩短保持时间是有效的。因此，现 在许多液晶显示器采用二倍速显示。

为了实现二倍速显示，存在在由实际视频信号形成的原始图像帧之 间插入黑屏帧的方法和在原始图像帧之间插入插值帧的方法。图14是解 释传统技术的示意图。作为插入插值帧的方法，存在在原始图像帧之间 插入一个插值帧的二倍速显示方法以及在原始图像帧之间插入三个插值 帧的四倍速显示方法，如图14所示。作为插入插值帧的方法，还存在将 24帧电影视频转换成120帧每秒(fps)的五倍速显示方法。由于插值帧 生成为插值图像以插值在原始图像帧之间，所以在显示的图像中会出现 模糊。因此，当插入帧的数量增加时，会损失运动图像(或者动画)的 清晰度。

通常，为了减小在放大(或插值)帧中出现的模糊，公开了一种增 强图像的边缘的增强处理方法(增强器)。针对形成帧的各像素执行增强 处理以检测图像的边缘，并且在检测时对边缘应用增强滤波器，以清楚 地强调边缘的方向的亮度差。公开了一种基于搜索运动矢量的结果控制 用于在时间轴方向上进行增强处理的增强滤波器的系数的方法和一种基 于各像素群的运动矢量的可靠性生成插值帧的亮度的方法。

在日本特开2006-91412号公报和日本特表2004-518339号公报中示 例性公开了这样的传统技术。

上述传统技术的问题在于：可能不能够对插入了插值帧的流执行恰 当的增强处理。例如，当对插入了插值帧的流应用传统增强处理时，不 需要进行增强的原始图像帧也会增强，因此没有执行恰当的增强。另外， 传统的增强处理对整个帧均匀地应用增强滤波器。然而，由于插值帧的 模糊并不均匀地出现于帧内的所有像素中，所以出现如下问题：静止文 本字幕增强太大，因此不能够进行恰当的增强。

发明内容

本发明的一个目的在于至少部分解决现有技术中的问题。

根据本发明的一个实施方式的一个方面，提供了一种视频信号处理 装置，其在由实际视频信号形成的原始图像帧之间生成插值帧，该视频 信号处理装置包括：像素信息生成单元，其生成针对各像素指示生成形 成所述插值帧的像素的过程的信息；系数调整单元，其利用由所述像素 信息生成单元生成的信息针对各像素确定要应用于形成插值帧的像素的 增强程度并且根据所确定的程度针对各像素调整增强滤波器的系数；以 及增强滤波器应用单元，其对形成所述插值帧的像素应用通过所述系数 调整单元针对各像素调整了系数的增强滤波器。

利用在权利要求中具体指出的要素和组合实现并获得本发明的目的 和优点。

应该理解，上述一般性描述和下面的详细描述是示例性和解释性的 并且并非限制所要求保护的本发明。

附图说明

图1是解释根据第一实施方式的视频信号处理装置的概要的示意图；

图2是根据第一实施方式的视频信号处理装置的构成的框图；

图3是解释运动矢量搜索的示意图；

图4是解释插值像素的生成的示意图；

图5A和5B是解释增强滤波器的系数的调整的示意图；

图6是由根据第一实施方式的视频信号处理装置执行的处理步骤的 序列图；

图7是由根据第一实施方式的视频信号处理装置执行的处理步骤的 流程图；

图8是解释根据第二实施方式的运动矢量搜索的示意图；

图9是由根据第二实施方式的视频信号处理装置执行的处理步骤的 流程图；

图10是根据第三实施方式的视频信号处理装置的结构的框图；

图11是解释帧率转换装置的示意图；

图12是解释帧率转换装置的另一个示意图；

图13示出了执行视频信号处理程序的计算机；以及

图14是解释传统技术的示意图。

具体实施方式

下面将参照附图详细解释根据本发明的视频信号处理装置、视频信 号处理方法和视频信号处理程序的示例性实施方式。首先解释根据第一 实施方式的视频信号处理装置的概要，接下来解释根据第一实施方式的 视频信号处理装置的构成、过程程序和效果。然后，解释其它实施方式。

首先，参照图1解释根据第一实施方式的视频信号处理装置的概要。 图1是解释视频信号处理装置的概要的示意图。在第一实施方式中，尽 管假定视频信号处理装置生成进行二倍速显示的插值帧，但是本发明不 限于此并且还能够类似地应用到四倍速显示和五倍速显示。

如图1所示，在根据第一实施方式的视频信号处理装置中，帧插值 单元在原始图像帧之间生成插值帧。此时，帧插值单元生成针对各插值 像素指示如何生成像素的过程的像素插值信息。

例如，帧插值单元搜索原始图像帧之间的运动矢量，并且利用搜索 到的运动矢量生成各个插值像素。此时，针对指示如何生成像素的过程 的像素插值信息，帧插值单元生成“运动矢量经过了插值帧上的像素坐 标”的信息和“运动矢量没有经过插值帧上的像素坐标”的信息。

接下来，如图1所示，在视频信号处理装置中，增强滤波器系数调 整单元利用像素插值信息针对各插值像素确定将应用到插值像素的增强 程度，并且根据确定的程度针对各插值像素调整增强滤波器的系数。

例如当像素插值信息是“运动矢量经过了插值帧上的像素坐标”的 信息时，增强滤波器系数调整单元确定不增加将要应用到插值像素的增 强程度。增强滤波器系数调整单元将增强滤波器的系数调整为“α＝1”。

另外，例如当像素插值信息是“运动矢量没有经过插值帧上的像素 坐标”的信息时，增强滤波器系数调整单元确定应该增加将要应用到插 值像素的增强程度。增强滤波器系数调整单元然后将增强滤波器的系数 调整为“α＞1”。

如图1所示，在视频信号处理装置中，增强滤波器应用单元对形成 插值帧的各插值像素应用具有针对各插值像素调整的系数的增强滤波 器。

例如，增强滤波器应用单元利用针对各插值像素调整的系数“α＝1” 来计算增强滤波器的系数“B”，并且对相应的插值像素应用系数“B”。 另外，例如，增强滤波器应用单元利用针对各插值像素调整的系数“α＞1” 来计算增强滤波器的系数“B”，并且对相应的插值像素应用系数“B”。

如上所述，根据第一实施方式的视频信号处理装置利用指示各插值 过程的生成过程的像素插值信息来针对各插值像素调整增强滤波器的系 数。视频信号处理装置对各插值像素应用增强滤波器。因此，视频信号 处理装置能够对插入了插值帧的流执行恰当的增强处理。

例如，在插值像素的过程中，当运动矢量没有经过插值帧上的像素 坐标时，认为在插值像素中出现模糊。另一方面，当运动矢量经过插值 帧上的像素坐标时，不认为在插值像素中出现模糊。如上所述，插值帧 的模糊不会均匀地出现于所有的插值像素中。在这方面，根据第一实施 方式的视频信号处理装置基于插值像素的过程确定在插值像素中是否出 现模糊。由此，例如通过进行调整使得不增强静止文本字幕，能够恰当 地对流进行增强。

参照图2到图5解释根据第一实施方式的视频信号处理装置的构成。 图2是视频信号处理装置的构成的框图。

如图2所示，根据第一实施方式的视频信号处理装置10包括帧插值 单元11、增强滤波器系数调整单元12和增强滤波器应用单元13。

帧插值单元11生成原始图像帧之间的插值帧，并且生成针对各像素 指示生成形成插值帧的插值像素的过程的像素插值信息。具体地讲，帧 插值单元11包括矢量搜索单元11a和像素插值单元11b。

矢量搜索单元11a连接到像素插值单元11b，并且搜索原始图像帧之 间的运动矢量。具体地讲，矢量搜索单元11a搜索输入原始图像流的原 始图像帧之间的运动矢量，并且向像素插值单元11b通知搜索的运动矢 量。在第一实施方式中，矢量搜索单元11a搜索一帧的运动矢量，并且 向像素插值单元11b通知这一帧的运动矢量。

参照图3解释由矢量搜索单元11a执行的运动矢量搜索。图3是解 释运动矢量搜索的示意图。在图3中的水平方向上的三条实线之中，上 实线和下实线表示用于搜索运动矢量的原始图像帧，而中间实线表示要 进行插值的帧。垂直方向上的虚线将像素坐标表示为像素所在的位置。

如图3所示，矢量搜索单元11a例如利用基于MPEG(运动图像专 家组)所采用的块匹配的矢量搜索来对原始图像帧之间的运动矢量进行 搜索。也就是说，矢量搜索单元11a将原始图像帧划分成多个块，并且 搜索运动矢量的块单元。矢量搜索单元11a还能够搜索运动矢量的像素 单元。

当由矢量搜索单元11a搜索到的运动矢量是左向运动矢量时，矢量 搜索单元11a搜索在左向上运动量3的矢量。当由矢量搜索单元11a搜索 到的运动矢量是右向运动矢量时，矢量搜索单元11a搜索在左向上运动 量2的矢量。如图3所示，左向运动矢量没有经过插值帧上的像素坐标。 另一方面，如图3所示，右向运动矢量经过插值帧上的像素坐标。

像素插值单元11b连接到矢量搜索单元11a、增强滤波器系数调整单 元12和增强滤波器应用单元13。像素插值单元11b生成要进行插值的帧 和像素插值信息。具体地讲，像素插值单元11b利用从矢量搜索单元11a 通知的运动矢量生成插值像素和像素插值信息。当像素插值单元11b通 过生成一帧的插值像素生成插值帧时，像素插值单元11b向增强滤波器 应用单元13发送插值帧。当像素插值单元11b通过生成一帧内的插值像 素来生成一帧的像素插值信息时，像素插值单元11b向增强滤波器系数 调整单元12通知所生成的像素插值信息。

参照图4解释由像素插值单元11b生成插值像素。图4是解释插值 像素的生成的示意图。当从矢量搜索单元11a通知的运动矢量经过插值 帧上的像素坐标时(见图3右侧的运动矢量)，像素插值单元11b平行移 动现有像素以生成要进行插值的像素。例如，如图4所示，当大小是运 动矢量“mv”的一半的“mv/2”矢量的端点在像素坐标上时，像素插值 单元11b平行于运动矢量“mv”移动原始图像帧中的现有像素以生成插 值像素。

另一方面，当从矢量搜索单元11a通知的运动矢量没有经过插值帧 上的像素坐标时(见图3左侧的运动矢量)，像素插值单元11b利用附近 现有像素进行计算来生成插值像素。例如，如图4所示，当“mv/2”矢 量的端点不在像素坐标上时，像素插值单元11b利用运动矢量“mv/2” 的端点附近的四个现有像素执行双线性插值计算来生成插值像素。在这 个过程中，通过应用低通滤波器生成插值像素。因此，在生成的插值像 素中出现模糊。

接下来，解释由像素插值单元11b执行的像素插值信息的生成。根 据第一实施方式的像素插值单元11b针对像素插值信息生成“运动矢量 经过了插值帧上的像素坐标”的信息和“运动矢量没有经过插值帧上的 像素坐标”的信息。例如通过确定从矢量搜索单元11a通知的运动矢量 除以2获得的商是否是整数来生成这个信息。

像素插值单元11b能够设置成仅仅将用于生成插值像素的矢量信息 通知给增强滤波器系数调整单元12作为像素插值信息。在这种情况下， 增强滤波器系数调整单元12确定运动矢量除以2获得的商是否是整数， 并且确定是“运动矢量经过了插值帧上的像素坐标”还是“运动矢量没 有经过插值帧上的像素坐标”。

增强滤波器系数调整单元12连接到像素插值单元11b和增强滤波器 应用单元13。增强滤波器系数调整单元12利用像素插值信息针对各插值 像素确定要应用到插值像素的增强程度，并且根据确定的程度调整增强 滤波器的系数。具体地讲，增强滤波器系数调整单元12利用从像素插值 单元11b通知的像素插值信息针对各插值像素确定增强程度，针对各插 值像素调整增强滤波器的系数，并且向增强滤波器应用单元13通知一帧 的调整系数。

参照图5A和5B解释由增强滤波器系数调整单元12执行的增强滤 波器的系数的调整。图5A和5B是解释增强滤波器的系数的调整的示意 图。在第一实施方式中，增强滤波器应用单元13利用图5A所示的增强 滤波器并且利用图5B所示的方程计算增强滤波器的系数“B”。“B”是 正数，附近四个像素的差值用作增强系数。增强滤波器系数调整单元12 针对各插值像素调整系数“α”，由此针对各插值像素调整增强滤波器的 系数。

例如当像素插值信息指示运动矢量经过插值滤波器上的像素坐标 时，增强滤波器系数调整单元12确定要应用于插值像素的增强程度没有 改变，并且将该系数调整为系数“α＝1”。因此，通过图5B所示的方程计 算的增强滤波器的系数“B”没有改变。结果，要应用于插值像素的增强 的程度也没有改变。

另一方面，例如当像素插值信息指示运动矢量不经过插值滤波器上 的像素坐标时，增强滤波器系数调整单元12确定要应用于插值像素的增 强程度增加，并且将该系数调整为系数“α＞1”。通过图5B所示的方程计 算的增强滤波器的系数“B”是大值。结果，要应用于插值像素的增强的 程度增加。

增强滤波器应用单元13连接到像素插值单元11b和增强滤波器调整 单元12，并且对形成插值帧的各插值像素应用针对各插值像素调整了系 数的增强滤波器。具体地讲，增强滤波器应用单元13利用从增强滤波器 系数调整单元12通知的一帧的系数针对各插值像素对从像素插值单元 11b发送的一帧的插值帧应用增强滤波器。

例如，当增强滤波器应用单元13对一帧的插值帧应用增强滤波器时， 增强滤波器应用单元13利用从增强滤波器系数调整单元12通知的整个 一帧的系数“α”来针对各插值像素计算整个帧内的增强滤波器的系数 “B”。增强滤波器应用单元13然后针对各插值像素对整个一帧的插值帧 应用针对各插值像素计算的整个帧内的增强滤波器的系数“B”。

接下来参照图6和图7解释由根据第一实施方式的视频信号处理装 置执行的处理步骤。图6是由视频信号处理装置执行的处理步骤的序列 图，而图7是由视频信号处理装置执行的处理步骤的流程图。

如图6所示，在视频信号处理装置10中，矢量搜索单元11a搜索原 始图像帧之间的运动矢量(步骤S101)，并且向像素插值单元11b通知搜 索到的运动矢量(步骤S102)。

像素插值单元11b然后生成插值像素和像素插值信息(步骤S103)， 并且生成一帧的插值帧(步骤S104)。像素插值单元11b向增强滤波器应 用单元13发送所生成的插值帧(步骤S105)，并且向增强滤波器系数调 整单元12通知生成的像素插值信息(步骤S106)。

接下来，增强滤波器系数调整单元12利用通知的像素插值信息针对 各插值像素确定要应用于插值像素的增强的程度(步骤S107)，并且根据 确定的程度针对各插值像素调整增强滤波器的系数(步骤S108)。增强滤 波器系数调整单元12向增强滤波器应用单元13通知调整后的增强滤波 器的系数(步骤S109)。

另一方面，增强滤波器应用单元13利用从增强滤波器系数调整单元 12通知的系数对从像素插值单元11b发送的形成插值帧的各插值像素应 用增强滤波器(步骤S110)。

接下来，参照图7解释由视频信号处理装置10执行的整个处理步骤。 视频信号处理装置10搜索运动矢量(步骤S201)，生成像素插值信息(步 骤S202)，并且确定运动矢量除以2获得的商是否是整数(步骤S203)。 通过确定运动矢量除以2获得的商是否是整数，视频信号处理装置10确 定生成插值像素的过程，并且确定是否应该增加增强程度。

当运动矢量除以2获得的商是整数(步骤S203为是)时，通过平行 移动现有像素生成插值像素。因此，该插值像素的增强程度不应该增加。 因此，视频信号处理装置10将增强滤波器的系数调整为“α＝1”(步骤 S204)。另一方面，当运动矢量除以2获得的商不是整数(步骤S203为 否)时，通过应用低通滤波器生成插值像素。因此，该插值像素的增强 程度不应该增加。因此，视频信号处理装置10将增强滤波器的系数调整 为“α＞1”(步骤S205)。

然后，视频信号处理装置10针对各插值像素计算增强滤波器的系数 “B”(步骤S206)，并且对各插值像素应用增强滤波器(步骤S207)。

如上所述，视频信号处理装置10在由实际视频信号形成的原始图像 帧之间生成插值帧。帧插值单元11生成针对各插值像素指示生成形成插 值帧的插值像素的过程的像素插值信息。增强滤波器系数调整单元12利 用像素插值信息针对各插值像素确定要应用于插值像素的增强程度，并 且根据确定的程度针对各插值像素调整增强滤波器的系数。增强滤波器 应用单元13对形成插值帧的各插值像素应用针对各插值像素调整了系数 的增强滤波器。

如上所述，视频信号处理装置10利用针对各插值像素指示生成过程 的像素插值信息来针对各插值像素调整增强滤波器的系数，并且对各插 值像素应用增强滤波器。从而，视频信号处理装置10能够对插入了插值 帧的流执行恰当的处理。

例如，在生成插值像素的过程中，当运动矢量没有经过插值帧上的 像素坐标时，认为在生成的插值像素中出现模糊。另一方面，当运动矢 量经过插值帧上的像素坐标时，不认为在生成的插值像素中出现模糊。 如上所述，在所有插值像素中没有均匀出现插值帧的模糊。在这个方面， 视频信号处理装置10利用关于如何生成插值帧中的插值像素的信息确定 在插值像素中是否出现模糊，然后视频信号处理装置10针对各插值像素 调整增强滤波器的系数。因此，例如通过调整使得静止文本字幕没有增 强可以对流进行恰当增强。

另外，根据第一实施方式的帧插值单元11针对像素插值信息生成指 示在原始图像帧之间搜索到的运动矢量是否经过插值帧上的像素坐标的 信息。当像素插值信息指示运动矢量没有经过插值帧上的像素坐标时， 增强滤波器系数调整单元12确定要应用于由像素插值信息进行表示的像 素的增强程度应该增加。增强滤波器系数调整单元12根据确定的程度调 整系数。

如上所述，视频信号处理装置10将运动矢量的信息用于像素插值信 息。因此，当通过搜索运动矢量执行插值像素的生成时，视频信号处理 装置10能够对插入了插值帧的流执行恰当的增强处理。

根据上述第一实施方式的视频信号处理装置通过在原始图像帧之间 在一个方向上搜索运动矢量生成插值帧。根据本发明的第二实施方式的 视频信号处理装置通过在两个方向上搜索运动矢量生成插值帧。因此， 在基于生成插值像素的过程确定增强的程度时，根据第二实施方式的视 频信号处理装置还利用搜索到的两个运动矢量之间的关系。

参照图8解释根据第二实施方式的运动矢量搜索。图8是解释根据 第二实施方式的运动矢量搜索的示意图。当由矢量搜索单元11a搜索到 的运动矢量是左向运动矢量时，这些运动矢量具有两个运动矢量其中之 一为另一个运动矢量的逆矢量的逆矢量关系。当由矢量搜索单元11a搜 索的运动矢量是右向运动矢量时，两个运动矢量其中之一不是另一个运 动矢量逆矢量。逆矢量是指仅仅是矢量的方向不同的两个矢量之间的关 系，如图8的左侧所示。

当两个运动矢量其中之一与另一个运动矢量为逆矢量关系时，认为 运动矢量的可靠性为高。因此，像素插值单元11b基于这些运动矢量生 成插值像素。另一方面，当两个运动矢量其中之一与另一个运动矢量不 是逆矢量关系时，认为运动矢量的可靠性为低。因此，像素插值单元11b 利用一种通过进一步混合利用两个运动矢量生成的插值像素减小误差的 方法生成插值像素。换言之，当没有获得逆矢量的关系时，像素插值单 元11b有意地在插值像素中生成模糊。

因此，增强滤波器系数调整单元12确定运动矢量是否经过插值帧上 的像素坐标，并且还确定两个运动矢量其中之一是否与另一个运动矢量 为逆矢量关系。当像素插值信息指示两个运动矢量其中之一与另一个运 动矢量不是逆矢量关系时，增强滤波器系数调整单元12确定不改变要应 用于插值像素的增强的程度而不考虑运动矢量是否经过像素坐标。增强 滤波器系数调整单元12将系数调整为“α＝1”。或者，作为确定不改变增 强的程度的替代，增强滤波器系数调整单元12能够确定降低增强的程度。 在这种情况下，增强滤波器系数调整单元12将系数调整为“α＜1”。

参照图9解释这个特征。图9是由根据第二实施方式的视频信号处 理装置执行的处理步骤的流程图。视频信号处理装置10搜索运动矢量(步 骤S301)，生成像素插值信息(步骤S302)，并且确定运动矢量除以2获 得的商是否是整数(步骤S303)。

当运动矢量除以2获得的商是整数(步骤S303中为是)时，通过平 行移动现有像素生成插值像素。因此，不应该增加插值像素的增强程度。 因此，视频信号处理装置10将增强滤波器的系数调整为“α＝1”(步骤 S304)。

另一方面，当运动矢量除以2获得的商不是整数(步骤S303为否) 时，根据第二实施方式的视频信号处理装置10还确定两个运动矢量其中 之一是否与另一个运动矢量为逆矢量关系(步骤S305)。

当两个运动矢量其中之一与另一个运动矢量为逆矢量关系(步骤 S305为是)时，插值像素的增强程度应该增加。因此，视频信号处理装 置10将增强滤波器的系数调整为“α＞1”(步骤S306)。另一方面，当两 个运动矢量其中之一与另一个运动矢量不是逆矢量关系(步骤S305为否) 时，认为有意地在插值像素中生成模糊，并且不应该增加插值像素的增 强程度。因此，视频信号处理装置10将系数调整为“α＝1”(步骤S307)。

然后，视频信号处理装置10针对各插值像素计算增强滤波器的系数 “B”(步骤S308)，并且对各插值像素应用增强滤波器(步骤S309)。

如上所述，根据第二实施方式的帧插值单元11指示运动矢量是否经 过插值帧上的像素坐标，并且还生成指示两个运动矢量其中之一是否与 另一个运动矢量为逆矢量关系的像素插值信息。当像素插值信息指示两 个运动矢量其中之一与另一个运动矢量不是逆矢量关系时，增强滤波器 系数调整单元12确定不增加增强程度，并且根据确定的程度调整系数。

如上所述，视频信号处理装置10将指示两个运动矢量是否为逆矢量 关系的信息用作像素插值信息。因此，当通过在两个方向上搜索运动矢 量执行插值像素的生成时，视频信号处理装置10能够对插入了插值帧的 流执行恰当的增强处理。

尽管在上面解释了第一和第二实施方式，但是可以通过不同于上述 实施方式的各种不同实施方式执行本发明。

在第一和第二实施方式中，假定将固定值用于增强滤波器的系数 “B”，如图5B所示。然而，本发明不限于此。能够针对各插值像素计算 增强滤波器的系数“B”，并且可以将不同的值用于各插值像素。

参照图10简要解释本发明的第三实施方式。图10是根据第三实施 方式的视频信号处理装置的构成的框图。如图10所示，根据第三实施方 式的视频信号处理装置20还包括边缘检测单元24，该边缘检测单元24 位于增强滤波器应用单元23的前置级。图10所示的帧插值单元21、增 强滤波器系数调整单元22和增强滤波器应用单元23分别对应于图2所 示的帧插值单元11、增强滤波器系数调整单元12和增强滤波器应用单元 13。

边缘检测单元24针对各插值像素在从像素插值单元21b发送的插值 帧中检测形成插值帧的各插值像素的边缘量。为了检测类边缘(edge-like) 特征，例如，已知的是对外围3×3像素应用拉普拉斯算子。然后，边缘 检测单元24针对各插值像素根据检测到的类边缘特征计算增强滤波器的 系数“B”。当边缘检测单元24针对一帧计算增强滤波器的系数“B”时， 边缘检测单元24向增强滤波器应用单元23发送插值帧，并且向增强滤 波器应用单元23通知针对每帧计算出的增强滤波器的系数“B”。

增强滤波器应用单元23利用从增强滤波器系数调整单元22通知的 系数“α”针对各插值像素计算从边缘检测单元24通知的增强滤波器的 系数“B”。增强滤波器应用单元23针对一帧计算增强滤波器的系数“B”， 并且对形成插值帧的各插值像素应用计算出的增强滤波器的系数“B”。

上述视频信号处理装置例如可以实现为图11和图12所示的帧率转 换装置的一部分。也就是说，如图11所示，除了帧插值单元110、增强 滤波器系数调整单元120和增强滤波器应用单元130以外，帧率转换装 置100还包括原始图像帧输入接收单元101、插值帧插入单元102和输出 单元103。图11所示的帧插值单元110、增强滤波器系数调整单元120 和增强滤波器应用单元130分别对应于图2所示的帧插值单元11、增强 滤波器系数调整单元12和增强滤波器应用单元13。

原始图像帧输入接收单元101接收原始图像帧的视频流的输入，并 且将输入接收的原始图像帧发送给矢量搜索单元110a。原始图像帧输入 接收单元101还向插值帧插入单元102发送输入接收的原始图像帧。插 值帧插入单元102将通过增强滤波器应用单元130应用了增强滤波器的 插值帧插入在从原始图像帧输入接收单元101发送的原始图像帧之间， 并且将插值帧发送给输出单元103。输出单元103输出通过插值帧插入单 元102插入了插值帧的视频流。

例如当需要应用增强滤波器扩展图像时，能够如图12所示实现帧率 转换装置。也就是说，如图12所示，帧率转换装置200还能够包括插值 帧插入单元202，该插值帧插入单元202位于增强滤波器应用单元230之 后。图12所示的帧插值单元210、增强滤波器系数调整单元220和增强 滤波器应用单元230分别对应于图2所示的帧插值单元11、增强滤波器 系数调整单元12和增强滤波器应用单元13。

插值帧插入单元202将通过像素插值单元210b生成的插值帧插入在 从原始图像帧输入接收单元201发送的原始图像帧之间，并且将生成的 插值帧发送给增强滤波器应用单元230。增强滤波器应用单元230对各插 值像素应用调整了系数的增强滤波器。结果，增强滤波器应用单元230 对原始图像帧应用没有调整系数的增强滤波器(“α＝1”)。增强滤波器应 用单元230将应用了增强滤波器的视频流发送给输出单元203。输出单元 203输出插入了插值帧并且应用了增强滤波器的视频流。

如上所述，增强滤波器应用单元230还具有应用用于放大等的增强 滤波器的传统增强滤波器应用单元的功能。因此，能够减小成本。

在第一和第二实施方式中，通过确定增强应该增加还是不应该增加 来调整系数。然而，本发明不限于此。例如，当两个方向的运动矢量不 是逆矢量关系时，可以通过确定增强应该减小来将系数调整为“α＜1”。

除非另外指明，否则在本说明书中描述或者在附图(例如，图6、图7 和图9)中所示的处理步骤、具体名称和包括各种类型的数据和参数的信 息可以任意改变。

在附图中描述的各个装置的各个组成要素是功能性概念，并且附图 (例如，图2、图10、图11和图12)中描述在物理上相同的结构并不总 是必需的。也就是说，这些装置的分布和集成的特定模式不限于这里描 述的模式，并且根据各种类型的负载和使用状态，所有或一部分装置能 够在功能上或者在物理上分布或集成在任意单元中。此外，通过各个装 置执行的处理功能的全部或者任意部分可以由中央处理单元(CPU)和 由该CPU进行分析和执行的程序来实现或者可以由有线逻辑来实现为硬 件。

通过预先准备程序，诸如个人计算机和工作站的计算机能够执行在 以上实施方式中解释的各种过程。下面参照图13解释执行功能与上述实 施方式的功能相似的视频信号处理程序的计算机的一个示例。图13描述 了执行视频信号处理程序的计算机。

如图13所示，视频信号处理程序(计算机)30包括彼此通过总线 36连接的高速缓冲存储器31、RAM(随机存取存储器)32、HDD(硬 盘驱动器)33、ROM(只读存储器)34和CPU 35。ROM 34包括呈现了 与上述实施方式的功能相似的功能的视频信号处理程序。也就是说，ROM 34包括矢量搜索程序34a、像素插值程序34b、增强滤波器系数调整程序 34c和增强滤波器应用程序34d，这如图13所示。

CPU 35通过读取这些程序执行程序34a到34d。如图13所示，程序 34a到34d用作矢量搜索处理35a、像素插值处理35b、增强滤波器系数 调整处理35c和增强滤波器应用处理35d。处理35a到35d分别对应于矢 量搜索单元11a、像素插值单元11b、增强滤波器系数调整单元12和增强 滤波器应用单元13。

各程序34a到34d并不是必需要预先存储在ROM 34中。例如，这 些程序可以存储在诸如FD(软盘)、CD(压缩盘)-ROM、MO(磁光) 盘、DVD(数字多功能盘)、光磁盘和插入计算机30中的IC(集成电路) 卡的“便携式物理介质”、诸如设置在计算机30内部或外部的HDD的“固 定物理介质”或者经由公共线路、互联网、LAN(局域网)或WAN(广 域网)连接到计算机30的“另一计算机(或者服务器)”中，并且计算 机从这些介质读取并执行这些程序。

根据这些实施方式，能够对插入了插值帧的流执行恰当的增强处理。

这里叙述的所有示例和条件语言是用于教学目的，以帮助读者理解 本发明和发明人对促进现有技术贡献的概念，并且解释为不限于这些具 体叙述的示例和条件，说明书中的这些示例的组织也不涉及本发明的优 劣性的展示。尽管详细描述了本发明的实施方式，但是应该理解在不偏 离本发明的精神和范围的情况下可以进行各种改变、替代和改动。