活动图像回放设备、活动图像回放方法及其程序

摘要

活动图像回放设备包括：数据回放部分，用于回放通过关于每个像素的、相邻帧的像素值进行Δ－∑调制而生成的Δ－∑调制数据；视频数据回放部分，用于关于每个像素使用过滤器对由该数据回放部分回放的Δ－∑调制数据进行过滤处理，以便回放视频数据；以及控制部分，用于控制该过滤处理。

说明书

相关申请的交叉引用

本发明包含涉及于2007年7月9日在日本专利局提交的日本专利申请JP 2007-179185的主题，该专利申请的整个内容通过引用合并到这里。

技术领域

本发明涉及活动图像回放设备、活动图像回放方法及其程序。例如，本 发明可以应用到用于从记录介质(诸如硬盘、光盘等)回放活动图像(moving image)的回放设备。在本发明中，在记录介质上记录已经通过将关于每个像 素的活动图像Δ-∑调制(delta-sigma modulate)成为Δ-∑调制数据(delta-sigma modulated data)产生的活动图像数据。在回放时间，将该Δ-∑调制数据经历 关于每个像素的过滤处理，以便被转换成视频数据。因此，本发明允许用户 以比以前更高的分辨率回放用户想要的活动图像。

背景技术

到目前为止，在集成照相机的记录与回放设备中，从成像装置进行光栅 扫描产生的输出信号经历模数转换处理，然后经历白平衡调节、颜色转换处 理、曝光补偿等，并且记录在记录介质上。此外，已经通过成像装置的电荷 存储时间的设置来设置快门速度。也已经通过成像装置的驱动信号的设置来 设置帧速率。同时，已经通过稀疏要输出的相邻帧(thin consecutive frames)， 来在回放时间进行快进播放(fast-forward playback)，并且已经通过以根据回 放速度的时间间隔重复输出同一帧来以慢运动方式(in slow motion)回放活 动图像。

另一方面，近年来，对于静止图像的记录设备，诸如数字照相机等，市 场上提供省掉了白平衡调节、颜色转换处理、曝光补偿等，直接将RAW数 据(通过成像装置的输出信号的模数转换而获得)记录到记录介质上的一些 设备。在直接记录这种RAW数据的情况下，与在记录之前进行白平衡调节、 颜色转换处理、曝光补偿等的情况相比，在回放时间减少图像质量的退化并 对图像质量进行各种调节成为可能。

关于这样的成像设备，国际公告No.WO2006/25232说明书已经公开了这 样一种配置，其中借助成像装置的光电转换的结果被关于每个像素进行Δ-∑ 调制。

附带地，在活动图像的相关技术的回放中，存在这样的问题：那些技术 在输出具有用户从实用立场角度希望的高分辨率的活动图像方面还不够。

也就是说，在活动图像的相关技术的回放中，当进行慢运动方式的回放 时，根据回放速度重复同一帧，因此以平滑运动(smooth motion)回放活动 图像变得很困难。此外，在这种情况下，还出现模糊运动。相反，当进行快 进回放时，稀疏要回放的相邻帧，因此活动变成偶尔发生跳跃。因此，在这 种情况下，以平滑运动回放活动图像也变得很困难。从而，关于活动图像的 相关技术的回放存在这样的问题：输出具有用户关于可变速度的回放而希望 的高分辨率的活动图像很困难。

在这一点上，在慢运动回放中，作为平滑运动并用以进一步防止模糊运 动(motion blurring)的方法，考虑以高帧速率获得成像结果然后通过记录介 质以低帧速输出该活动图像的方法。然而，在这种情况下，当以正常回放速 度进行回放时，以与上述快进回放的情况相同的方式稀疏要回放的相邻帧。 从而，运动变成偶尔发生跳跃，因此，在这种情况下，以平滑运动回放活动 图像也变得很困难。此外，在这情况下，还出现不均匀紊乱(jerkiness disturbance)。在快进回放的情况下也出现同样的问题。在这一点上，在这种 情况下，考虑通过借助图像数据的内插计算处理组合多帧来创建一帧的方法。 然而，在这种方法中，存在这样的问题：附加地提供具有大存储容量的缓冲 器成为必需，并且配置变得复杂。

此外，在活动图像的相关技术的回放中，当内容包括快速运动图像(诸 如体育运动等)时，通过快速快门(fast-speed shutter)抓取图像并且在回放 时间以小模糊运动回放该活动图像成为可能。此外，当内容包括慢速活动图 像(诸如戏剧等)时，最好通过开放快门(open shutter)抓取图像。然而， 在活动图像的相关技术的回放中，不允许在回放时间中改变快门速度，因此， 关于快门速度的设置存在这样的问题：难以输出具有用户希望的高分辨率活 动图像。

发明内容

本发明已经在上述观点下做出。希望提出允许用户以比以前更高的分辨 率回放用户想要的活动图像的活动图像回放设备、活动图像回放方法及其程 序。

根据本发明的实施方式，提供活动图像回放设备，包括：数据回放部分， 用于回放通过关于每个像素的、相邻帧的像素值进行Δ-∑调制而生成的Δ-∑ 调制数据；视频数据回放部分，用于关于每个像素使用过滤器对由数据回放 部分回放的Δ-∑调制数据进行过滤处理，以便回放视频数据；以及控制部分， 用于控制该过滤处理。

此外，根据本发明的另一实施方式，提供回放活动图像的方法，包括步 骤：从记录介质回放数据，该数据是通过关于每个像素的、相邻帧的像素值 进行Δ-∑调制而生成的Δ-∑调制数据；对回放关于每个像素的数据的步骤回 放的Δ-∑调制数据进行过滤处理，以便回放视频数据；控制该过滤处理。

此外，根据本发明的另一实施方式，提供用于回放活动图像的视频数据 的方法的程序，该程序包括步骤：从记录介质回放数据，该数据是通过关于 每个像素的、相邻帧的像素值进行Δ-∑调制而生成的Δ-∑调制数据；对回放 关于每个像素的数据的步骤回放的Δ-∑调制数据进行过滤处理，以便回放视 频数据；控制该过滤处理。

借助于本发明的实施方式上述配置，通过在过滤处理的控制下改变要供 应给过滤处理的样本数量，进行与视频数据的快门速度的变化对应的处理成 为可能。此外，通过改变对于Δ-∑调制数据的过滤处理的周期(cycle)，进行与 视频数据的回放速度的变化对应的处理成为可能。从而，在过滤处理的控制 下以想要的快门速度和回放速度输出视频数据，进而以平滑运动、在可变速 度下回放视频数据成为可能。此外，在慢运动回放的时间等下设置各种快门 速度并且回放想要的活动图像成为可能。从而，以比以前更高的分辨率回放 用户想要的活动图像成为可能。

通过本发明，用户以比以前更高的分辨率回放用户想要的活动图像成为 可能。

附图说明

图1是图解将要应用到根据本发明的第一实施方式的记录与回放设备的 回放部分的配置的框图；

图2是图解根据本发明的第一实施方式的记录与回放设备的框图；

图3是图解将要应用到根据本发明的第四实施方式的记录与回放设备的 回放部分的配置的框图；以及

图4是图解图3的回放部分的积分器的处理过程的流程图。

具体实施方式

在下面，将参考附图给出本发明的实施方式的详细描述。

第一实施方式

1、实施方式的配置

图2是图解根据本发明的第一实施方式的记录与回放设备的框图。在记 录与回放设1中，记录部分2接收由于高帧速率而以高速度抓取的图像数据 D1的输出，对每个像素的图像数据D1进行Δ-∑调制，并生成包括一位或多 位、与图像数据D1具有相同帧速率的经Δ-∑调制的码串(在以下称为Δ-∑ 调制数据)D2。在这点上，在这种情况下，例如，国际公开No.WO2006/25232 说明书，可以关于每个像素直接处理高帧速率下的抓取结果，以作为Δ-∑调 制数据D2生成。

在监视时间，分发部分3直接向选择部分4输出Δ-∑调制数据D2，而在 记录时间，分发部分3向存储部分5输出Δ-∑调制数据D2。存储部分5是Δ-∑ 调制数据D2的记录和回放部分，在记录时间，将从分发部分3输入的Δ-∑ 调制数据D2记录并保持到记录介质(诸如光盘、硬盘等)上。此外，存储 部分5依次从记录介质回放Δ-∑调制数据D2，以在控制器7的控制下输出数 据。

在监视时间，选择部分4将从分发部分3输入的Δ-∑调制数据D2输出 到回放部分6。在回放时间，选择部分4也将存储部分5输出的Δ-∑调制数 据D2输出到回放部分6。

回放部分6是处理从选择部分4输入的Δ-∑调制数据D2以便回放视频 数据D3的视频数据回放部分。回放部分6对从选择部分4输入的Δ-∑调制 数据D2进行过滤处理，以便以预定帧速率输出视频数据D3。

也就是说，如图1所示，回放部分6关于每个像素使用抽选过滤器处理 Δ-∑调制数据D2，以输出视频数据D3。因此，关于各个像素，回放部分6 配备有图像处理部分11A、11B、……、11N，每个都具有抽选过滤器。这里， 图像处理部分11A、11B、……、11N除了每个具有要处理的不同像素外，具 有相互同样的配置。从而，在以下，将仅仅给出图像处理部分11A的详细描 述，而省略重复的描述。

这里，例如，图像处理部分11A从以光栅扫描的次序的顺序输入的Δ-∑ 调制数据D2中选择分配来进行处理的像素的Δ-∑调制数据D2，以便输入数 据到缓冲存储器12。缓冲存储器12依次接收Δ-∑调制数据D2的输入，保持 预定数量的样本。图像处理部分11A也通过积分器13的指令将Δ-∑调制数 据D2输出并保持到积分器13。

积分器13通过从控制部分14输出的积分开始信号ST，在与从控制器7 输出的积分期间(period)DW对应的范围中，从缓冲存储器12获得Δ-∑调 制数据D2，并积分该数据。此时，积分器13设置用于根据积分期间DW正 规化积分结果的加权因子，并通过使用该加权因子的经加权积分来执行积分 处理。从而，图像处理部分11A借助于缓冲存储器12和积分器13构成抽选 过滤器，并在基于积分开始信号ST的周期的过滤处理的周期上，基于与积分 期间DW对应的样本数量的Δ-∑调制数据D2的积分值，输出像素值D4。这 里，积分期间DW限定在以高帧速率输入的多帧图像数据D1组合成一帧图 像时多个帧的数量。

样本保持电路(SH)16样本保持(sample hold)从积分器13输出的像 素值D4，并输出该值。控制器14根据从控制器7输出的更新期间信息DT 改变积分开始信号ST的定时，并输出该积分开始信号ST。

输出部分18临时存储从每个图像处理部分11A、11B、……、11N输出的 像素值D4，并以光栅扫描的顺序输出该值，因此，回放部分6将输出部分 18的输出数据作为视频数据D3输出。从而，回放部分6在基于积分开始信 号ST的周期的帧周期上，在积分期间DW，以光栅扫描的顺序，基于相邻像 素值D4，输出视频数据D3。

这里，通过在积分开始信号ST的周期上组合具有高速帧速率的图像数据 D1的、对应于积分期间DW的多帧产生照这种方式输出的视频数据D3的一 帧。从而，视频数据D3变成等效于以基于在Δ-∑调制数据D2的帧周期上的 积分开始信号ST的周期的帧速率，以基于积分期间DW的快门速度抓取的 数据。因此，在回放部分6，如果使用抽选过滤器供应给过滤处理的样本数 量随积分期间DW的变化而变化，则执行与视频数据D3的快门速度的变化 对应的处理成为可能。而如果关于Δ-∑调制数据D2的过滤处理的周期随积 分开始信号ST的周期的变化而变化，则执行与视频数据D3的回放速度的变 化对应的处理，并进一步执行与视频数据D3的帧速率的变化对应的处理成 为可能。

因此，控制器7通过用户响应于操作员的操作控制每个部分的操作，以 改变积分期间DW和积分开始信号ST。也就是说，当用户指令监视图像数据 时，控制器7使得回放部分6通过分发部分3和选择部分4输入从记录部分 2输出的Δ-∑调制数据D2，并处理Δ-∑调制数据D2以输出视频数据D3。此 外，当用户指令记录图像数据D1时，控制器7使得存储部分5从分发部分3 输入Δ-∑调制数据D2以记录该数据到记录介质上。此外，当用户指令存储 部分5的回放时，控制器7使得存储部分5回放Δ-∑调制数据D2，并且通过 选择部分4将被回放的Δ-∑调制数据D2输入到回放部分6。

在这种控制中，控制器7响应用户指令，输出更新期间信息DT到回放 部分6的每个图像处理部分11A、11B、……、11N，从而设置视频数据D3的 帧速率。此外，控制器7指令与用户所指令给每个图像处理部分11A、11B、……、 11N的快门速度对应的积分期间DW，从而设置视频数据D3的快门速度。因 此，控制器7根据视频数据D3的帧速率改变关于Δ-∑调制数据D2的过滤处 理的周期，并且还改变根据快门速度供应给过滤处理的样本数量。

具体地说，例如，当以帧速率60[fps]输出视频数据D3时，控制器7输 出更新期间信息DT，以便在周期1/60[s]上积分，从而设置过滤处理的周期到 1/60[s]。此外，在这种情况下，当通过开放快门以1/60[s]的快门速度输出视 频数据D3时，控制器7将积分期间DW设置成积分与1/60[s]的快门速度 对应的期间的样本数量。另一方面，如果用户从开放快门增加或减少快门速 度，则控制器7设置积分期间来响应用户操作而增加或较少积分样本的数量。 也就是说，例如，当用户指令1/120[s]的快门速度时，控制器7将积分期间 DW设置成积分与1/120[s]的快门速度对应的期间的样本数量。此外，当用户 指令1/30[s]的快门速度(其大于开放快门的快门速度)时，控制器7将积分 期间DW设置成积分与1/30[s]的快门速度对应的期间的样本数量。

另一方面，如果以120[fps]的帧速率输出视频数据D3，则控制器7输出 更新期间信息DT以在周期1/120[s]上积分，从而将过滤处理的周期设置到 1/120[s]。此外，在这种情况下，控制器7根据用户指令的快门速度设置积分 期间DW。

此外，当用户指令慢运动回放或快进回放时，控制器7控制存储部分5 的操作，使得输入到回放部分6的Δ-∑调制数据D2的位速率变成与用户指 令的回放速度对应的位速率。也就是说，在这种情况下，例如，如果用户指 令以半速度(half speed)慢运动回放，则控制器7控制存储部分5的操作来 将Δ-∑调制数据D2以针对存储部分5的记录时间的位速率的一半的位速率 回放。此外，相反，如果用户指令以倍速快进回放，则控制器7控制存储部 分5的操作来将Δ-∑调制数据D2以针对存储部分5的记录时间的位速率的 两倍的位速率回放。

此外，在这种情况下，控制器7以视频数据D3的帧速率设置更新期间 信息DT，从而改变Δ-∑调制数据D2的帧速率，并改变Δ-∑调制数据D2的 取样处理周期以便以预定帧速率输出变速度回放视频数据D3。此外，控制 器7设置积分期间DW，使得积分范围像回放速度与此相应地改变那样改变 那么多。也就是说，在开放快门的时间，控制器7设置积分期间DW为与相 对于Δ-∑调制数据D2改变了的取样处理的周期那么多。因此，例如，当以 半速度进行慢运动回放时，控制器7将积分期间DW设置到标准回放速度的 期间的一半的期间。此外，控制器7根据用户指令改变积分期间DW。

2、实施方式的操作

利用上述配置，在记录与回放设备1(图2)中，将具有高速率的图像数 据D1依次输入到记录部分2，并且关于每个像素将该图像数据D1通过Δ-∑ 调制转换成Δ-∑调制数据D2。在监视时间，Δ-∑调制数据D2通过分发部分 3和选择部分4被输入到回放部分6，并且被转换成视频数据D3以便在这里 输出到外部设备。另一方面，通过用户的记录指令，Δ-∑调制数据D2被输 入到存储部分5，并且由存储部分5依次进行记录。此外，通过用户的回放 指令，回放记录在存储部分5中的Δ-∑调制数据D2，以便通过选择部分4输 入到回放部分6，并且由回放部分6回放视频数据D3。

因此，在记录与回放设备1，将基于具有高帧速率的图像数据D1的活动 图像记录到记录介质上，作为已经关于每个像素进行了Δ-∑调制的Δ-∑调制 数据D2，并且由每个部分进行处理。这里，与利用相关技术的高速照相机的 拍摄相比，作为已经关于每个像素进行了Δ-∑调制的Δ-∑调制数据D2可以 以很低的位速率保证高图像质量。因此，在这种实施方式中，具有高帧速率 的活动图像以Δ-∑调制数据记录在记录介质上。此外，通过执行每个部分中 的处理，可以减少记录介质的消耗量，还可以有效地避免每个部分中的处理 速度和传输率的增加。

此外，在回放部分6(图1)中，Δ-∑调制数据D2被分发给关于每个像素 的图像处理部分11A、11B、……、11N，并且输入到每个图像处理部分11A、 11B、……、11N的缓冲存储器中，以保持预定数量的样本。此外，保持在缓 冲存储器12中的Δ-∑调制数据D2由积分器13根据更新期间信息DT，在积 分开始信号ST的定时处积分。从而，Δ-∑调制数据D2在更新期间信息DT 指示的过滤周期上经历使用基于缓冲存储器12和积分器13的抽选过滤器的 过滤处理，并且被转换为指示每个像素的像素值的数据D4。通过样本保持电 路16样本保持像素值数据D4，然后以光栅扫描的顺序排序(sort)，并输出 到输出部分18，作为视频数据D3。

因此，在回放部分6中，具有高帧速率的Δ-∑调制数据D2的多个帧关 于每个像素、由过滤处理进行组合，以产生视频数据D3。从而，可以通过改 变这种过滤处理的周期来改变视频数据D3的帧速率。此外，通过改变关于 Δ-∑调制数据D2的过滤处理的周期，可以动态地改变回放速度。此外，通 过改变供应给过滤处理的样本数量，可以动态地改变快门速度。

从而，在这个实施方式中，已经允许仅仅在拍摄时间当时设置的帧速率 和快门速度，可以在回放时间设置成不同。因此，彻底地解决了相关技术关 于变速速度回放和快门速度的不便，并且允许用户以其所希望的高分辨率回 放活动图像。

也就是说，通过根据为视频数据D3请求的回放速度来改变关于Δ-∑调 制数据D2的过滤处理的周期，可以改变基于Δ-∑调制数据D2的视频数据 D3的帧速率。因此，在这个实施方式中，通过根据视频数据D3的回放速度 来改变Δ-∑调制数据D2的帧速率，来改变关于Δ-∑调制数据D2的过滤处理 的周期，从而使得不同地改变视频数据D3的回放速度成为可能。

此外，在这个时间，通过改变供应给过滤处理的样本数量，来改变快门 速度。将快门速度设置成好像由高速快门以高速度抓取的活动图像以慢运动 方式回放，从而使得防止模糊运动并且以具有平滑运动的慢运动方式回放活 动图像成为可能。此外，在正常回放速度下，将快门速度设置到开放快门， 因此，可以有效地通过平滑运动避免不均匀紊乱。此外，在快进回放等情况 下，可以进一步降低快门速度，从而以平滑运动回放活动图像。

此外，当以恒定回放速度进行回放时，可以不同地改变快门速度。例 如，当图像正在快速运动(诸如体育运动等)时，可以通过短快门速度执行 回放。当图像正在慢速运动(诸如戏剧表演等)时，可以通过长快门速度执 行回放。因此，可以使用最适合内容的观看方法。

此外，可以根据外部设备设置帧速率。因此，通过设置帧速率使得外部 设备的能力可以被完全施展(exercise)，可以高图像质量地观看各种内容。 也就是说，如果外部设备的帧速率与要从记录介质回放的视频数据的帧速率 不同，则已经需要执行用于转换帧速率到最新的处理。例如，这种帧速率转 换是将电影创建的24P视频数据转换到60P视频数据的处理，因此图像质量 退化是不可避免的。然而，通过这个实施方式，可以输出具有想要的帧速率 的视频数据，而不会有图像质量的退化。

3、实施方式的优点

利用上述配置，将已经通过将关于每个像素的活动图像Δ-∑调制成Δ-∑ 调制数据所生成的活动图像数据，记录到记录介质上。在回放时间时，Δ-∑ 调制代码串经历过滤处理以转换成视频数据。从而，可以以比以前更高的分 辨率回放用户想要的活动图像。

具体地说，通过将抽选过滤器应用到这种过滤器，可以以比以前更高的 分辨率回放用户想要的活动图像。

也就是说，通过改变关于Δ-∑调制数据的过滤处理的周期，来改变视频 数据的回放速度。从而，可以通过不同地改变回放速度来以平滑运动方式回 放活动图像。

此外，通过改变被供应给过滤处理的样本数量来改变视频数据的快门速 度，可以以快门速度的不同设置来回放活动图像。具体地说，可以以一个帧 周期或以上的快门速度来输出视频数据，而这是在相关技术的拍摄的时间通 过快门速度的设置难以实现的。因此，可以进一步提高视频内容表达能力 (power of expression)。

此外，通过改变过滤处理的周期来改变视频数据的帧速率，可以通过不 同地改变帧速率来输出视频数据。

进一步地，更具体地说，由依次接收Δ-∑调制数据的输入并且保持关于 预定数量的样本的数据的缓冲器，以及积分保持在该缓冲器中的Δ-∑调制数 据的积分器，构成该过滤器。因此，通过借助于这种积分器的积分的周期以 及将由该积分器进行积分的样本数量的控制，控制过滤处理。从而，用户可 以以其所希望的、比以前更高的分辨率回放活动图像。

第二实施方式

在该实施方式中，例如，以恒定帧速率回放通过应用非线性编辑系统而 在存储部分5上记录的Δ-∑调制数据D2，以产生视频数据D3，并且将视频 数据D3记录到记录介质。在该实施方式下，记录与回放设备除了与Δ-∑调 制数据D2和视频数据D3相关的图像处理部分11A、......、11N的控制不同 以外，具有与第一实施方式中的记录与回放设备相同的配置。因此，在以下， 将使用图1和图2的配置给出描述。

在该实施方式中，控制器7根据视频数据D3的回放速度来改变更新期 间信息DT，从而改变过滤处理的周期。因此，改变关于Δ-∑调制数据D2的 过滤处理的周期，并且不同地改变视频数据D3的回放速度。此外，为了与 过滤处理的周期的变化对应，由积分期间DW改变供应给过滤处理的样本数 量。因此，当以半速度执行慢运动回放时，分别将过滤处理的周期和样本数 量设置到在标准回放速度情况下的过滤处理的周期的一半和样本数量的一 半。

此外，积分期间DW响应于用户操作进行改变，以便不同地改变快门速 度。

以与这个实施方式同样的方式，通过根据视频数据的回放速度改变过滤 处理的周期来改变关于Δ-∑调制数据的过滤处理的周期，并且通过不同地改 变视频数据的回放速度，可以获得与第一实施方式相同的效果。

第三实施方式

在这个实施方式中，根据外部设备，进一步关于每个内容、关于每一帧 或关于每多个帧，动态地改变要回放的视频数据D3的帧速率、快门速度以 及回放速度。在这个实施方式中，记录与回放设备具有除了该配置中的这些 动态可变单元以外，具有与第一实施方式中的记录与回放设备相同的配置。 因此，在以下，将使用图1和图2的配置给出描述。

在该实施方式中，控制器7通过视频数据D3输出到的外部设备的连接 来检测该外部设备的可用帧速率。此外，控制器7设置过滤处理的周期和样 本数量使得以所检测到的帧速率输出视频数据D3。因此，控制器7根据外部 设备动态地设置视频数据D3的帧速率。

此外，属性检测部分(图中未示出)检测和记录图像数据D1的属性。 在这一点上，这里，所述属性是直接或间接地指示图像数据D1中的运动的 信息。间接地指示运动的属性信息包括例如节目类型(诸如戏剧、体育运动、 电影)、更详细的类型(诸如动作电影、言情电影、恐怖电影等)。另一方面， 直接地指示运动的属性信息包括例如关于每一帧平均，使用运动矢量检测电 路，针对每个预定块检测到的运动矢量而产生的运动信息。

当控制器7回放快速运动内容的Δ-∑调制数据D2并且基于间接属性信 息将该数据作为视频数据D3输出时，控制器7设置关于过滤处理的样本数 量以便增加快门速度。从而，控制器7关于每个内容动态地改变快门速度。

此外，对于快速运动场景，控制器7改变关于过滤处理的样本数量，以 便基于运动矢量检测到的运动信息增加关于每个帧或关于每多个帧的快门速 度。从而，控制器7动态地改变关于每个帧或关于每多个帧的快门速度，以 便以进一步高的分辨率输出视频数据D3。此外，当用户指令改变快门速度 时，控制器7基于按照这种方式改变的快门速度来改变快门速度。

此外，当外部设备是能够应付各种帧速率的设备时，如果该设备可以应 付帧速率的动态变化，则控制器7设置过滤的周期，使得快速运动内容的帧 速率按照间接运动信息增加，并且相应地改变要进行过滤处理的样本数量。 从而，控制器7动态地改变关于每个内容的帧速率。

此外，进一步，对于快速运动场景，控制器7设置关于每个帧和关于每 多个帧的过滤的周期，以便按照直接运动信息增加帧速率，并且相应地改变 要进行过滤处理的样本数量。从而，控制器7动态地改变关于每个帧和关于 每多个帧的视频数据D3的帧速率。

通过改变这些帧速率，当视频数据D3的输出通过家庭网络等输出到外 部设备时，控制器7以高分辨率传送视频数据D3，并尽可能多地减少关于该 网络中视频数据D3的传输的负担，从而根据连接到该网络的各个设备提高 该网络的实际效率。

此外，进一步，通过用户改变操作模式，控制器7根据运动信息来改变 回放速度，并且设置关于每个帧或每多个帧的过滤的周期，以便减少关于快 速运动场景的回放速度。此外，控制器7与此相应地改变要进行过滤处理的 样本数量。此外，控制器7改变与回放速度的变化对应的、将要由存储部分 5处理的Δ-∑调制数据的帧速率。因此，控制器7动态地改变回放速度，并 且例如，在决定性时刻(诸如体育运动节目中的球门场景)，控制器7自动 以慢运动方式回放场景。在这点上，在这种情况下，控制器7可以检测高潮 等，并且可以代替运动信息或除了运动信息之外，动态地改变过滤处理的周 期或将要供应给过滤处理的样本数量。

与该实施方式一样，通过动态改变过滤处理的周期以及供应给过滤处理 的样本数量，可以以更高的分辨率回放活动图像。

具体地说，通过根据基于Δ-∑调制数据的活动图像的属性，改变过滤处 理的周期和/或供应给过滤处理的样本数量，可以以更高的分辨率回放活动图 像。

此外，进一步，通过根据基于Δ-∑调制数据的活动图像的运动信息，改 变过滤处理的周期和/或供应给过滤处理的样本数量，可以根据活动图像场景 来动态地改变快门速度、回放速度以及帧速率，并以更高的分辨率回放活动 图像。

第四实施方式

图3是图解将应用到根据本发明的第四实施方式的记录与回放设备的回 放部分的配置。这个实施方式的记录与回放设备具有运动矢量检测电路，并 在记录的时间，通过该运动矢量检测电路，检测关于每个宏块的图像数据D1 的运动矢量MV。此外，记录与回放设备将所检测到的运动矢量MV与图像 数据D1的Δ-∑调制数据D2一起记录在存储部分5。记录与回放设备根据基 于运动矢量MV的运动信息，在视频数据D3的一帧的各个部分中，动态地 改变快门速度。这种实施方式的记录与回放设备，除了快门速度的控制外， 具有与第一至第三实施方式相同的配置。

这种记录与回放设备配备有图3中的回放部分26和控制器27，分别代 替回放部分6和控制器7。在这种实时方式中，记录与回放设备具有与第一 至第三实施方式的记录与回放设备相同的配置。

这里，在回放部分26，缓冲存储器31是具有能够存储多帧Δ-∑调制数 据D2的存储容量的存储器。例如，缓冲存储器31存储从存储部分5按照光 栅扫描的顺序依次输入的Δ-∑调制数据D2，并且保持预定数量的样本。此外， 缓冲存储器31在积分器32的控制下，输出所保持的Δ-∑调制数据D2。

积分器32基于指定要处理的区域大小的区域大小信息DS、积分开始信 号ST和积分时间DW，关于每个像素，从缓冲存储器31获得Δ-∑调制数据 D2，进行积分处理，然后输出该积分结果。

样本保持电路(SH)33样本保持从积分器32输出的积分结果，并输出 该值。控制部分34按照与第一实施方式的控制部分14那样的方式，根据从 控制器27输出的更新期间信息DT来改变积分开始信号ST的定时，并且输 出积分开始信号ST。

积分期间计算部分35用在包括将要由图像处理部分11A处理的像素的宏 块中检测到的运动矢量MV，补偿从控制器27输出的标准积分期间DWB， 以便计算积分期间DW，并且将该积分期间DW输出到积分器32。

这里，标准积分期间DWB是指示要供应给由控制器27以与从第一实施 方式的控制器7输出的积分期间DW相同的方式创建的积分的标准样本数量 的时间信息。积分期间计算部分35基于运动矢量MV来设置并输出积分期间 DW，使得当运动变大时要供应给该积分的样本数量变成比标准积分期间 DWB的样本数量更小，相反，当运动变小时要供应给该积分的样本数量变成 比标准积分期间DWB的样本数量更小。

控制器27以与第一实施方式的控制器7同样的方式，计算更新期间和积 分期间，并且分别输出作为更新期间信息DT和标准积分期间DWB。在这一 点上，在这种情况下，第二和第三实施方式中所描述的积分期间DW可以设 置成标准积分期间DWB。此外，控制器27回放在依次记录Δ-∑调制数据D2 的时间所检测到的运动矢量MV，并且将被回放的运动矢量MV输出到回放 部分26。

因此，在这种实施方式中，关于每个处理单元在区域中设置宏块，并且 按照由运动矢量获得的每个部分的属性，关于活动图像的每个部分改变快门 速度。例如，在静止图像部分，通过足够长的快门速度获得具有高灰度级和 高S/N比的图像，而在快速运动的活动图像部分中，获得没有模糊运动的图 像。从而，以更高的图像质量回放活动图像。

在这一点上，替代关于每个宏块的运动矢量的检测，可以关于每个像素 检测运动矢量，以执行上述处理。此外，控制器27可以确定每个部分中的运 动矢量，而且可以关于每个图像处理部分11A、11B、……、11N设置积分时 间期间DW。

图4是图解积分器32的操作的流程图。积分器32关于每帧视频数据进 行该处理过程。也就是说，当该处理过程开始时该处理从步骤SP1进入步骤 SP2，并且积分器32进行初始值设置处理。在该初始值设置处理中，积分器 32获得通过以运动矢量MV补偿从控制器27输出的标准积分期间DWB获得 的、关于每个宏块的积分期间DW的一帧。此外，积分器32从区域大小信息 DS中接收水平方向Sbx和垂直方向Sby上的宏块的像素数量的输入。此外， 积分器32初始化标识存储在缓冲存储器31中的Δ-∑调制数据D2的参数B。

接下来，该处理进入到步骤SP3，积分器32初始化标识要处理的垂直方 向上的像素的位置的变量y。此外，在下一步骤SP4中，积分器32初始化标 识要处理的水平方向上的像素的位置的变量x。接下来，在步骤SP5，积分 器32检测位置(x，y)的像素属于的宏块的水平方向数量bx和垂直方向数 量by。在这一点上，这里，[x]是代表不超过x的最大整数的函数。

接下来，该处理进入到步骤SP6，积分器32基于由数量bx和数量by标 识的宏块上的积分期间DW，从缓冲存储器31载入位置(x，y)的像素的Δ-∑ 调制数据D2，以执行积分处理。此后，在步骤SP7，积分器32正规化该积 分结果sum(和)。此外，在接下来的步骤SP8，积分器32递增指示水平方 向上要处理的像素的位置的变量x。在接下来的步骤SP9，积分器32确定该 处理是否已经完成要处理的图像的右端(right end of image)。

这里，如果回答是肯定的，则该处理进入到步骤SP5，并且积分器32处 理接下来的最右边像素。另一方面，如果在步骤SP9回答是否定的，则该处 理从步骤SP9进入到步骤SP10，并且积分器32递增(increment)指示垂直 方向上要处理的像素的位置的变量y。在接下来的步骤SP11，作出关于该处 理是否已经完成要处理的图像的下端(lower end of image)。

这里，如果回答是肯定的，则该处理进入到步骤SP4，并且积分器32处 理接下来的最右边像素。另一方面，如果在步骤SP11回答是否定的，则积分 器32输出一帧的积分结果，然后该处理进入到步骤SP13，并结束该处理过 程。

通过这个实施方式，检测基于Δ-∑调制数据的活动图像的每个部分的运 动信息，并基于该运动信息改变该图像的一帧的每个部分中的过滤处理的样 本数量。从而，可以以更高的图像质量回放活动图像。

第五实施方式

在这一点上，在上述第四实施方式等中，已经在记录时间检测运动矢量 的情况下给出了描述。然后，本发明不限于此，可以在回放时间从Δ-∑调制 数据或视频数据检测运动矢量。

此外，在上述第四实施方式中，已经在根据基于运动矢量的属性信息、 在一帧的每个部分中改变快门速度的情况下给出了描述。然后，本发明不限 于此，例如，可以基于指示图像的每个部分的属性的信息(诸如关于是否存 在很多或很少高频分量、是否存在高频分量的退化的信息等)改变快门速度。

在上述实施方式中，已经在由硬件产生视频数据的情况下给出了描述。 然后，本发明不限于此。例如，本发明可以应用于由计算机进行活动图像处 理，并且视频数据可以由软件处理产生。

本领域普通技术人员应该理解，依赖于设计要求和其他因素，只要它们 在附属权利要求或其等效物的范围内，可以出现各种修改、组合、部分组合 和变更。