图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置

摘要

本发明提供图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置。从2个图像数据中提取其一部分作为解析对象区域的数据(S702、S704)，具有根据解析对象区域的图像特征值的差来检测2个图像之间的图像差的图像差检测步骤(S707)，2个图像数据的解析对象区域具有彼此相同的大小。在没有检测出图像差的情况下，在区域提取步骤中，追加提取图像数据中此前未包含在解析对象区域中的部分的数据的一部分或全部(S704)，由此，可以扩大解析对象区域(S707)。能够高速进行图像和视频的场景转换。

说明书

技术领域

本发明涉及能够检测图像差或视频的场景转换的场景转换检测方法和装置。

背景技术

以往，在记录有图像或视频的装置中，为了检测任意2个图像的有意差或视频场景的变化点，必须通过手动输入操作选出图像和视频，利用肉眼确认彼此的差异，需要很多的时间和劳力。

为了消除这种问题，提出了用于发现视频的场面转换场景(以后称为“场景转换”)的方法(例如参照专利文献1、2和3)。在专利文献1中示出如下方法：在进行编码的编码器的前级的预视频信号处理装置中，计算在时间上前后两个视频的直方图的各等级的差的绝对值的合计，在计算出的合计超过规定阈值的情况下，判定为是场景转换。并且，在专利文献2中示出如下方法：读出存储在HDD等存储介质中的视频数据，来判定场景转换。并且，在专利文献3中示出如下方法：将检测场景转换的图像数据分割为块单位，以块单位来检测场景转换。

专利文献1：日本特开2004-282318号公报(第7页、图2)

专利文献2：日本特开2002-064823号公报(第5页、图1)

专利文献3：日本特开平5-284369号公报(第4页、图1)

但是，专利文献1所示的方法是通过设于编码器前级的预视频信号处理装置来检测场景转换的方法，所以，无法应用于从视频解码器到编码器的结构为一体的编码器芯片组，即无法应用于具有不向外部输出场景转换提取结果的单元的视频记录装置。并且，即使在编码器芯片组输出场景转换提取结果的情况下，每当所使用的编码器芯片组的种类发生变化时，场景转换提取结果发生变化，所以，存在每当编码器芯片组的种类发生变化时都需要进行视频记录装置的调整的问题。

并且，专利文献2所示的方法是根据压缩并记录在HDD上的视频流来检测场景转换的方法，所以，在记录处理完成后，需要离线进行花费很多时间的处理，并不实用。

并且，专利文献3所示的方法通过将场景转换的区域分割为多个块，从而能够降低处理单位的负荷，但是，为了检测场景转换，必须对全部块执行处理，无法缩短场景转换的处理时间。

发明内容

因此，本发明是为了解决上述现有技术的课题而完成的，其目的在于，提供能够迅速进行图像差或视频的场景转换检测的方法和装置。

本发明的图像差检测方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤：区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为解析对象区域的数据；以及图像差检测步骤，在该步骤中，根据所述2个图像数据的通过所述区域提取步骤提取出的解析对象区域的图像特征值的差，来检测所述2个图像之间的图像差，所述2个图像数据的解析对象区域彼此具有相同的大小。

根据本发明，能够迅速检测图像的差或视频的场景转换。

附图说明

图1是示出本发明的实施方式1的场景转换检测装置的结构的框图。

图2是示出实施方式1的场景转换提取装置的区域分割的一例的图。

图3是示出与图2所示的区域分割对应的处理步骤的流程图。

图4是示出实施方式1的动作的流程图。

图5(a)～(d)是示出在实施方式2中使用的将检测对象区域的数量作为变量的权重函数的例子的图。

图6(a)～(d)是示出在实施方式2中使用的针对每个检测对象区域设定的权重函数的例子的图。

图7是示出实施方式3的场景转换提取装置的结构的框图。

图8是实施方式3的所分割的区域和对应区域的直方图的说明图。

图9是示出实施方式3的动作的流程图。

图10是示出实施方式4的场景转换提取装置的结构的框图。

图11是示出实施方式4的动作的流程图。

图12是示出实施方式5的场景转换提取装置的结构的框图。

图13是示出实施方式5的动作的流程图。

图14是示出实施方式6的场景转换提取装置的结构的框图。

图15是示出实施方式6的动作的流程图。

图16是示出本发明的实施方式7的场景转换检测装置的结构的框图。

图17是示出实施方式7的场景转换提取装置的区域分割的一例的图。

图18是示出实施方式7的动作的流程图。

图19是示出实施方式7的解析对象区域的选择方法的图。

图20是示出实施方式7的解析对象区域的选择方法的图。

图21是示出在实施方式7中并行进行各图像的场景转换处理时的主任务的流程图。

图22是示出在实施方式7中并行进行各图像的场景转换处理时的针对图像A的处理FA的流程图。

图23是示出在实施方式7中并行进行各图像的场景转换处理时的针对图像B的处理FB的流程图。

图24是示出本发明的实施方式8的场景转换提取装置的结构的框图。

图25(a)和(b)是示出实施方式8的针对连续的视频数据在部分区域中进行场景转换检测时使用的数据的图。

图26是示出在实施方式8中用于决定追加图像区域的处理的流程图。

图27是示出本发明的实施方式9的场景转换提取装置的结构的框图。

图28是示出实施方式9的动作的流程图。

图29是示出实施方式9的场景转换提取装置的变形例的框图。

标号说明

1：场景转换检测装置；2：场景转换控制部；3：视频输入部；4：开关；5a、5b：帧存储器；6a、6b：区域提取部；7：区域控制部；8a、8b：直方图生成部；9：差分提取部；10：场景转换判定部；11：直方图缓存器；12：部分区域直方图生成部；13：累积差异值缓存器；14：编码流输入部；15：解码器；16：解码视频缓存器；17：阈值设定部；103：视频输入部；106a、106b：区域提取部；107a、107b：区域选择部；108a、108b：读出控制部；111a、111b：流缓存器；112a、112b：解码器；113：HDD；118：阈值设定部；119：图像选择部。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的场景转换检测装置1的结构的框图。本实施方式所示的场景转换检测装置1如图1所示，从未图示的硬盘、光盘、或视频信号线等视频数据的供给源，通过视频输入部3输入有视频数据P。

场景转换检测装置1具有：开关4；第1和第2帧存储器5a、5b；第1和第2区域提取部6a、6b；第1和第2直方图生成部8a、8b；差分提取部9；场景转换判定部10；场景转换控制部2；以及区域控制部7。

场景转换控制部2检测场景转换检测动作的开始、结束、以及场景转换判定部10的判定结果(场景转换提取结果)N_SE，虽然没有图示，但是在存储器中进行保存，或者控制将来自视频输入部3的视频数据P切换至帧存储器5a或帧存储器5b的开关4。

帧存储器5a、5b分别具有视频数据的至少一个画面、即1帧的数据区域，临时存储1帧的视频数据。

开关4以1帧为单位，将作为检测场景转换的对象的2个视频信号的输入分别切换至帧存储器5a或帧存储器5b。下面，用P_A表示通过开关4划分而保存在帧存储器5a侧的视频数据，另一方面，用P_B表示通过开关4划分而保存在帧存储器5b中的视频数据。

区域提取部6a、6b提取分别存储在帧存储器5a、5b中的1帧的视频数据的一部分，作为解析对象区域的视频数据Pea、Peb。下面，有时将某个“区域的视频数据的提取”简称为“区域的提取”。

区域控制部7根据场景转换控制部2的指示，设定视频数据的1帧的全部区域中被区域提取部6a、6b提取出的区域。

在本实施方式中，如后所述，针对由区域提取部6a、6b提取出的区域的图像数据，由直方图生成部8a、8b生成直方图，由差分提取部9提取两个直方图的差分，所以，由区域控制部7设定的区域是解析对象区域，也是场景转换检测对象区域。

直方图生成部8a、8b针对区域提取部6a、6b提取出的场景转换检测对象区域的部分视频数据生成直方图。

在直方图的生成时，只要生成视频数据的1个或2个以上的成分的直方图即可，例如，可以是亮度信号的直方图，也可以是色差信号的直方图，还可以是颜色信号(R、G、B信号)的直方图。

区域提取部6a、6b和直方图生成部8a、8b分别独立地设置在视频数据P_A侧和视频数据P_B侧，进行同样的处理。

差分提取部9利用下述式(1)计算直方图生成部8a生成的直方图H_A和直方图生成部8b生成的直方图H_B的差(差异值)d。

[数式1]

$d=\frac{1}{2S_e}\underset{k\in K}{\Sigma }(H_A-H_B)···\left(1\right)$

其中，H_A和H_B是视频数据P_A、P_B中的解析对象区域的数据Pea、Peb的直方图，Se表示视频数据Pea、Peb的面积(由像素数表示的面积)。这里，设视频数据Pea、Peb的面积彼此相同。

并且，

H_A＝{Hist_A(1)，Hist_A(2)，...Hist_A(k)，...Hist_A(K)}        ...(2)

并且，Hist_A(k)表示视频成分1～K中第k个要素(级别k)的度数(要素值)。这里，设k取1～K(＝255)的值。并且，

[数式2]

$\underset{k\in K}{\Sigma }(H_A-H_B)$

表示()内的每个要素成分的差分的绝对值之和，即

|Hist_Ai(1)-Hist_Bi(1)|+...+|Hist_Ai(k)-Hist_Bi(k)|+...+|Hist_Ai(K)-Hist_Bi(K)|.

场景转换判定部10进行差分提取部9计算出的差异值d和由阈值设定部17提供的场景转换判定用阈值(以下称为“场景转换阈值”)d_th的比较，如果差异值d超过场景转换阈值d_th，即如果满足以下的数式(3)所示的条件，则判定为产生了场景转换。

d≥d_th                    ...(3)

接着，说明场景转换检测装置1的动作。当在场景转换控制部2中设定场景转换检测动作开始的指示后，开始从视频输入部3提供视频数据。开关4按照来自场景转换控制部2的帧存储器输入控制信号C_FI，如果输入帧的作为场景转换对象的帧编号为奇数，则将输入视频数据P提供给帧存储器5a，如果为偶数，则将视频数据P提供给帧存储器5b。另外，在进行场景转换检测时，也可以代替求出前后相邻的帧(第奇数帧和第偶数帧)之间的差异，而求出彼此隔开几个帧的帧之间的差异。例如，也可以针对每规定数量的帧提取1帧，根据前后相邻提取出的帧之间的差异来检测场景转换。该情况下，将依次提取出的帧的视频数据交替提供给帧存储器5a、5b并存储。例如，将(动作开始后)第奇数个提取的一个帧提供给一个帧存储器例如5a，将第偶数个提取的另一帧提供给另一个帧存储器5b。并且，在2帧之间检测场景转换的情况下，作为场景转换检测对象的2帧可以在时间上不接近，也可以在时间上隔开。该情况下，也可以构成为将一个帧固定为基准帧，依次更换与其进行比较的另一个帧，由此，进行针对基准帧的场景转换检测。

帧存储器5a、5b输入有由开关4分配的1帧的视频数据，并保持到输入作为下一比较对象的视频数据为止。并且，场景转换控制部2将区域提取指示C_PE发送到区域控制部7。接收到区域提取指示C_PE的区域控制部7决定应该由区域提取部6a、6b提取的区域。

这里，如图2所示，将视频数据中的1帧的图像分割为8个带状的区域(区乃至薄片)，根据判定有无场景转换的试行次数n(根据是第几次的试行)，成比例地增加提取对象区域，从而成比例地增加场景转换检测对象区域。这点在后面进一步详细地说明。该情况下，区域控制部7从8个区域(区)中选择一个或2个以上的区域(区)，决定场景转换检测对象区域，对区域提取部6a和6b赋予场景转换检测对象区域的提取指示(区域控制信号)C_{PA_a}和C_{PA_b}。

从区域控制部7接收到指示的区域提取部6a、6b从保持在帧存储器5a、5b中的1帧的视频数据中，提取由区域控制部7设定的部分区域、例如图2的第奇数个帧的区域Z1和第偶数个帧的区域Z1的部分视频数据(场景转换检测对象区域的部分视频数据)。

区域提取部6a、6b分别对应地设置在视频数据P_A侧和P_B侧，输出部分区域的视频数据Pea、Peb。直方图生成部8a和8b针对所提取出的第奇数个帧的区域Z1和第偶数个帧的区域Z1的视频数据，分别生成直方图h_A和h_B。

在本实施方式中，视频数据P_A被分割为几个区域，所分割的区域随着试行次数n而增加。在图2和图3的例子中，在n＝1时，仅将区域Z1作为场景转换检测对象区域，在n＝2时，将区域Z1和区域Z2作为场景转换检测对象区域，在n＝3时，将区域Z1、区域Z2和区域Z3作为场景转换检测对象区域，以后同样，根据试行次数n来决定场景转换检测对象区域，最终，在n＝N(＝8)时，与视频数据的全部区域一致。

这里，将该试行次数n设为变量，上述数式(2)如下表现。

[数式3]

${\mathrm{Hist}}_A\left(k\right)=\underset{i=1}{\overset{N}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)···\left(4\right)$

即，图像全部区域P_A中的直方图(直方图的级别k的度数)Hist_A(k)能够表现为区域单位的直方图hist_Ai(k)的N区域的总和。并且，设区域Zn中的部分区域的直方图h_An为

h_An＝{hist_An(1)，...hist_An(k)，...hist_An(K)}        ...(5)

时，到区域Zn为止的累积直方图M_An能够以下述数式(6)表现。

[数式4]

$M_{\mathrm{An}}=\underset{i=1}{\overset{n}{\Sigma }}{h}_{\mathrm{Ai}}=\{\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(1\right),···,\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right),···,\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)\}···\left(6\right)$

并且，使用到区域Zn为止的累积直方图M_An，能够以下述数式(7)表现到区域Zn为止的差异值d_n。

[数式5]

$d_n=\frac{1}{2\underset{j=1}{\overset{n}{\Sigma }}{s}_j}\underset{k\in K}{\Sigma }(M_{\mathrm{An}}-M_{\mathrm{Bn}})$

$=\frac{1}{2\underset{j=1}{\overset{n}{\Sigma }}{s}_j}\left\{\right|\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(1\right)-\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Bi}}\left(1\right)|+···+|\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)-\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right)|+···+|\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)-\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Bi}}\left(K\right)\left|\right\}$

...(7)

在数式(7)中，s_j表示在第n次试行中，在作为场景转换检测对象的区域Z1～Zn中第j(j＝1～n)个提取出的区域所包含的像素数，

[数式6]

$S_a=\underset{j=1}{\overset{N}{\Sigma }}{s}_j$

并且，如果n＝N、即如果全部区域为对象，则

[数式7]

$d=d_n=\frac{1}{2S_a}\underset{k\in K}{\Sigma }(H_A-H_B)···\left(8\right)$

接着，使用图2和图3说明对2个图像的分割区域(部分区域)阶段性地进行场景转换检测的方法。开始场景转换检测后，首先，在一个分割区域、例如区域Z1中进行场景转换检测。即，针对第奇数个帧的图像P_A的区域Z1(图2(a))和第偶数个帧的图像P_B的区域Z1(图2(b))进行场景转换判定(S102)。

接着，在步骤S103中，进行场景转换的结果判定，如果存在场景转换，则转移到场景转换信息记录S108，结束场景转换检测处理(S110)。

如果没有场景转换，则追加区域Z2，在区域Z1和区域Z2的组合(图2(c)和(d))中进行场景转换的判定(S104)。

然后，在步骤S105中，进行场景转换的结果判定，如果存在场景转换，则转移到场景转换信息记录S108，结束场景转换检测处理(S110)。

另一方面，如果没有场景转换，则进一步追加区域(例如区域Z3)，在增加了追加区域的区域(区域Z1、Z2、Z3的组合)中进行场景转换判定。以后同样，反复进行如下处理：如果没有产生场景转换则追加区域，在增加了追加区域的区域组中进行场景转换判定。

然后，最终在全部区域(图2(e)和(f))中进行场景转换的判定(S106)。

在步骤S107中，如果存在场景转换，则转移到场景转换信息记录S108，结束场景转换提取处理，另一方面，在没有场景转换的情况下，将没有场景转换的情况作为最终的场景转换判定结果进行记录(S109)，结束场景转换提取处理(S110)。

这样，在成为画面的一部分的区域中进行场景转换判定，如果检测出场景转换，则结束场景转换处理，如果未能检测出场景转换，则进一步扩大区域继续进行场景转换提取处理。由此，不需要针对图像P_A和图像P_B的全部区域进行处理，所以，能够提早完成场景转换提取处理。

这种用于通过逐一增加分割区域来扩大解析对象区域(特性检测对象区域)的控制，通过区域控制部7进行。

下面，参照图4更详细地说明上述处理。

开始场景转换提取处理后(S201)，从场景转换控制部2接收到区域提取指示C_PE的区域控制部7判定是否存在下一个作为检测对象而追加的区域(S202)。

如果存在作为检测对象而追加的区域，则决定场景转换检测对象区域，指示区域提取部6a、6b进行图像P_A和图像P_B的对象区域的提取(S203)。

接收到提取区域的指示的区域提取部6a、6b从存在于帧存储器5a、5b中的图像P_A和图像P_B中，提取场景转换检测对象区域(S204a、S204b)。与提取出的对象区域对应的场景转换检测对象区域的部分视频数据被发送到直方图生成部8a、8b，针对各个区域进行直方图的生成(S205a、S205b)。进而，通过差分提取部9计算直方图的差分值即差异值(S207)，如果差异值大于场景转换阈值d_th，则判定为产生了场景转换(检测出场景转换)，如果差异值小于等于场景转换阈值d_th，则判定为没有产生场景转换(没有检测出场景转换)(S208)。

在产生了(检测出)场景转换的情况下，结束处理。

另一方面，在判定为没有产生场景转换的情况下(没有检测出场景转换)，再次在步骤S202中追加作为场景转换对象的区域，在增加了追加区域的区域中再次进行上述处理。以后继续进行处理，直到产生了场景转换、或无法通过追加分割区域(区)来扩大场景转换检测区域为止(步骤S202中的“没有”判定)。

通过如上所述那样构成，能够检测视频中的2个图像之间的场景转换。

并且，没有将要比较的2个图像的全部区域始终作为场景转换检测用的对象区域，所以，能够减少场景转换提取处理所需要的时间。并且，能够抑制进行处理的场景转换检测装置自身的负荷。

并且，在分割区域中，在早期作为场景转换提取区域的区域、例如区域Z1和区域Z2中，存在充分的用于判定为场景转换的差的情况下，不需要对全部区域进行解析，所以，能够高速完成场景转换提取。

并且，在本实施方式中，针对图像的全部区域固定场景转换检测的对象区域的最大值，但是该最大值也可以是可变的。即，能够构成为针对每次场景转换检测来改变场景转换检测的对象区域的最大值(最大限度)，由此，控制场景转换检测的灵敏度和速度。由此，例如在电影或音乐节目中，在图像的下部区域(接近下端的区域)中良好显示的字幕中不反映场景转换检测，能够提高场景转换的检测精度。

并且，在本场景转换装置组装在其他系统中的情况下等、系统整体的负荷高的情况下，通过减小检测区域的最大值、或使中途区域不包含在检测对象中，能够快速完成场景转换检测动作，其结果，能够对减轻系统的负荷作出贡献。

并且，在本场景转换装置中，为了检测图像的差，使用了直方图，但是，也可以通过直方图以外的方法、例如使用运动矢量的方法或对要比较的图像的特定位置的像素值进行直接比较，来检测场景转换。即，也可以根据直方图以外的特征值的差来检测场景转换。在根据直方图以外的特征值进行场景转换检测的情况下，例如，代替图1的直方图生成部8a、8b，设置求出视频特征值的单元，在差分提取部9中，求出视频特征值的差，在图4的步骤S205a、205b中，代替生成直方图，而求出视频特征值，在步骤S207中，代替直方图差异值，求出视频特征值的差即可。

并且，在本实施方式中，说明了一个视频数据内不同的帧数据之间的图像的差、即场景转换，但是，也能够应用于完全不同的视频数据的任意的图像的差。进而，不仅是视频，也能够应用于多个静态图像。

这些情况下，作为开关4，不进行基于奇数帧、偶数帧的分配，而是将作为比较对象的2个帧中的一个提供给帧存储器5a，将另一个提供给帧存储器5b。

实施方式2

本发明的实施方式2的结构与在实施方式1中说明的图1相同，但是，其特征在于，求出被赋予了根据场景转换检测对象区域所包含的分割区域(区)的数量n而变更的权重的差异值d_n。该情况下，例如以下述式(9)来表现求出差异值d_n的运算。

[数式8]

$d_n=\frac{f\left(s_n\right)}{2\underset{j=1}{\overset{n}{\Sigma }}{s}_j}\underset{k\in K}{\Sigma }(M_{\mathrm{An}}-M_{\mathrm{Bn}})···\left(9\right)$

在式(9)中，M_An和M_Bn是到试行次数n为止(到第n次试行为止)的图像P_A和P_B的累积直方图，f(s_n)是根据试行次数n和场景转换对象区域的像素数s而变化的权重函数。

图5(a)～(d)示出权重函数的例子。在图5(a)～(d)中，横轴示出试行次数n，纵轴示出权重f(s_n)。

图5(a)所示的权重函数针对区域的变化，权重没有变化，而且是1这样的常数值，所以，成为与实施方式1所示的结果相同的结果。

图5(b)所示的权重函数是权重与对象区域成比例的例子，存在对象区域变大时更容易检测场景转换的倾向。相反，在对象区域小的情况下，能够降低场景转换的检测灵敏度。这一特征起到抑制以下的错误判定的效果：在图像P_A和P_B的状态下，尽管就图像整体而言应该判定为不产生场景转换，但在图像的一部分、例如实施方式1中的区域Z1中进行场景转换判定的情况下，会误判定为存在场景转换。

图5(c)所示的权重函数是对象区域越少权重越大的例子，在对象区域少的阶段，能够更早地检测出场景转换。通过这样设定权重函数，在对象区域少的状态下，也能够进行场景转换检测，所以，能够更高速地完成场景转换检测。

在图5(d)所示的权重函数中，是针对特定区域提高检测灵敏度的例子，在该例子中构成为，在大致一半区域为对象区域时，灵敏度提高。与实施方式1相同，如果是区域的选择是从图像上侧开始阶段性地增加的情况，则能够针对中心附近提高灵敏度。

通过采取上述结构，在分割区域来阶段性地执行场景转换检测的情况下，能够抑制由于对象区域仅是画面的一部分而引起的误判定。即，能够改善场景转换检测精度。

并且，通过改变权重函数的特性，能够进行重视特定区域的判定。

并且，也可以在求出第n次试行的差异值(使用到区域Zn为止的直方图时的差异值)d_n时，如下述式(10)所示，对在各区域的直方图的各级别的度数(要素值)的差(hist_Ai(k)-hist_Bi(k))乘以各区域的权重函数f(i)后的值进行累计，求出其总和，由此求出差异值d_n，这样，能够进一步提高针对区域Zi(用标号i表示的位置的区域(区))的依赖度。

[数式9]

$d_n$

$=\frac{f\left(s_n\right)}{2\underset{j=1}{\overset{n}{\Sigma }}{s}_j}$

$\times \left\{\right|\underset{i=1}{\overset{n}{\Sigma }}f\left(i\right)({\mathrm{hist}}_{\mathrm{Ai}}\left(1\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(1\right))|+...+|\underset{i=1}{\overset{n}{\Sigma }}f\left(i\right)({\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right))|+...$

$+\left|\underset{i=1}{\overset{n}{\Sigma }}f\left(i\right)({\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(K\right))\right|\}$

...(10)

图6(a)～(d)示出权重函数f(i)的例子。

该情况下，如图2所示，i是区域编号，例如如图2所示，存在8个区域，在用标号Zi(i＝1、2、...8)表示的情况下，区域编号i根据其位置，例如从上往下依次为1、2、...。

并且，通过动态变更权重函数，从而能够动态地控制场景转换的检测精度。例如，根据图像的种类和内容来变更函数的特性，如果是关于运动的图像，则设为图5(b)所示的权重函数，变更为在图像整体中进行判定的方向，如果是关于戏剧的图像，则设为图5(d)所示的权重函数，变更为在图像的中心附近进行判定，由此，能够进行与图像性质一致的场景转换检测。在本实施方式中，示出权重函数根据图像区域或大小而变化的例子，但是，也可以使用与视频成分(直方图的级别)k对应的权重函数。

并且，在本实施方式中，示出了改变权重函数的特性的例子，但是，也可以根据场景转换的试行次数或场景转换检测的对象区域来改变阈值。

在该情况下，根据区域控制部7的输出，决定(设定乃至变更)阈值设定部17输出的阈值d_th，将这样决定的阈值d_th提供给场景转换判定部10，场景转换判定部10使用从阈值设定部17提供的阈值进行场景转换判定。

实施方式3

图7是示出本发明的实施方式3的场景转换检测装置1的结构的框图。本实施方式与实施方式1相比，在图7中附加了第1和第2直方图缓存器11a、11b这点成为结构上的差异。在直方图缓存器11a、11b中存储有开始视频数据P_A和P_B的场景转换检测后到进行了试行次数n的场景转换检测的区域Z1～Zn的直方图的累积值

[数式10]

$M_{\mathrm{An}}=\underset{i=1}{\overset{n}{\Sigma }}{h}_{\mathrm{Ai}}=\{\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(1\right),···,\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right),···,\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)\}···\left(11\right).$

在式(11)中，h_Ai是图8所示的区域Zi中的部分直方图。并且，在对图像P_A进行N分割(8分割)的情况下，整体的直方图H_A能够表现为

[数式11]

$H_A=M_{\mathrm{AN}}=\underset{i=1}{\overset{N}{\Sigma }}{h}_{\mathrm{Ai}}···\left(12\right).$

关于从区域提取部6a、6b向直方图生成部发送的图像区域，在实施方式1中，在试行次数为n的情况下，向直方图生成部8a、8b发送作为场景转换对象区域的区域整体

[数式12]

$\underset{i=1}{\overset{n}{\Sigma }}{P}_{\mathrm{Ai}}$

的图像数据，但是，在实施方式3中，仅向直方图生成部8a、8b发送新作为场景转换对象区域的区域(的图像数据)。直方图生成部8a仅针对由P_An所示的部分区域生成直方图h_An。在直方图缓存器11a、11b中存储有到前一个区域Z(n-1)为止的直方图的和(到上次试行(第(n-1)次试行)为止的累积直方图)

[数式13]

$M_{A(n-1)}=\underset{i=1}{\overset{n-1}{\Sigma }}{h}_{\mathrm{Ai}}···\left(13\right),$

所以，通过下述数式(14)，能够求出到区域Zn为止的累积直方图(到本次试行(第n次试行)为止的累积直方图)。

M_An＝M_A(n-1)+h_An    ...(14)

如上所述，能够以场景转换检测对象区域(Zn)为单位求出直方图h_An，根据已经存储在直方图缓存器11a、11b中的到第(n-1)次试行为止的累积直方图M_A(n-1)，求出到第n次试行为止的累积直方图M_An。

接着，参照图9的流程图进行说明。开始场景转换提取处理后(S301)，从场景转换控制部2接收到区域提取指示C_PE的区域控制部7判定是否存在作为下一检测对象而追加的区域(S302)。

接收到提取区域的指示的区域提取部6a、6b根据存在于帧存储器5a、5b中的图像P_A和P_B，决定新成为场景转换检测对象区域的区域(追加对象区域)P_An和P_Bn(S303)，提取该区域P_An和区域P_Bn(S304a、S304b)。提取出的对象部分区域的视频数据、即场景转换检测对象区域的部分视频数据被发送到直方图生成部8a、8b，针对部分区域P_An和P_Bn进行直方图h_An和h_Bn的生成(S305a、S305b)，并且，取记录在直方图缓存器11a、11b中的到第(n-1)次试行为止的累积直方图M_A(n-1)与M_B(n-1)的和，从而能够求出到第n次试行为止的M_An和M_Bn。并且，通过以下式(15)表示的计算，求出到区域Zn为止的差异值d_n(S307)。

[数式14]

$d_n=\frac{1}{12\underset{j=1}{\overset{n}{\Sigma }}{s}_j}\underset{k\in K}{\Sigma }((M_{A(n-1)}+h_{\mathrm{An}})-(M_{B(n-1)}+h_{\mathrm{Bn}}))···\left(15\right)$

在式(15)中，M_A(n-1)、MB_(n-1)是到第(n-1)次试行为止的累积直方图，在上次的累积直方图计算步骤S306a、S306b的处理中求出，并存储在直方图缓存器11a、11b中。

并且，在步骤S308中，如果满足

d_n≥d_th               ...(3)

则判断为产生了场景转换，而结束(S309)，如果判断为没有产生场景转换，则返回步骤S302。

继续进行上述动作，直到判定为产生场景转换、或在步骤S302中判断为没有追加区域为止。

通过如上所述那样构成，能够检测2个图像的场景转换。

并且，没有将2个图像的全部区域始终作为场景转换检测用的对象区域，所以，能够减少场景转换提取处理所需要的时间。并且，能够抑制进行处理的场景转换检测装置自身的负荷。

并且，在分割后的区域中，在早期作为场景转换提取区域的区域、例如区域Z1或区域Z2中，存在用于判定为场景转换的充分的差的情况下，能够中断(结束)场景转换检测处理，不用将全部区域作为场景转换对象区域来进行处理即可，其结果，能够高速完成场景转换检测处理。

并且，相反，在作为针对特定区域进行场景转换检测处理的结果为，即使针对剩余区域进行了场景转换检测也只是不能被判定为场景转换的差异值的情况下，能够中断(结束)场景转换检测处理，与上述同样，能够高速完成场景转换检测处理。

并且，对区域进行分割，以分割后的区域为单位求出部分性的直方图，所以，可以减少用于生成直方图的图像的搜索区域(解析对象区域)。

并且，在求包含新成为对象的区域在内的区域的直方图的情况下，针对新成为区域的区域以外的部分，再次利用已经求出的直方图，对其加上新成为对象的区域的直方图，所以，不执行用于针对已经求出直方图的区域再次求出直方图的运算处理即可，能够实现处理时间的节约、处理所需要的存储容量的节约、以及未图示的CPU资源的节约。

并且，在本实施方式中，在此前求出的直方图(到上次试行为止的累积直方图)中加上新区域的直方图(本次试行新加入的区域的直方图)后，判定有无场景转换，但是，如果通过到上次试行为止的累积直方图的值，就能够判定即使新区域的直方图取任何值也不会导致场景转换，则也可以仅进行直方图的相加处理，而不进行场景转换的判定处理。由此，能够高速进行处理。

在实施方式3中，与实施方式1所述的情况相同，也可以根据直方图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征值进行场景转换检测的情况下，例如，可以代替图7的直方图生成部8a、8b，而设置求出视频特征值的单元，代替直方图缓存器11a、11b，而设置保持累积视频特征值的缓存器，差分提取部9求出累积视频特征值的差，在图9的步骤S305a、305b中代替生成直方图，而求出视频特征值，在步骤S306a、S306b中，代替累积直方图，而求出累积视频特征值，在步骤S307中，代替累积直方图差异值，而求出累积视频特征值的差。

实施方式4

图10示出实施方式4的结构。本发明的实施方式4相对于实施方式3，其特征在于，没有图7的直方图生成部8a、8b和直方图缓存器11a、11b，而附加了部分区域直方图生成部12a、12b和累积差异值缓存器13。与实施方式3同样，与新提取出的区域P_An和区域P_Bn对应的场景转换检测对象区域的部分视频数据被取入部分区域直方图生成部12a、12b，生成各个区域中的部分区域直方图h_An和h_Bn。并且，差分提取部9根据部分区域直方图h_An和h_Bn求出区域Zn的部分区域差异值e_n。在累积差异值缓存器13中保持到第(n-1)次试行为止的累积差异值e(n-1)，在差分提取部9中，根据新的部分区域差异值e_n求出累积差异值e(n)。计算出的累积差异值e(n)被保存在累积差异值缓存器13中，用于下一区域Z(n+1)中的场景转换判定用。利用在差分提取部9中计算出的累积差异值e(n)，通过场景转换判定部10来判定有无场景转换。

接着，通过图11所示的流程图说明本实施方式的动作。开始场景转换提取处理后(S401)，从场景转换控制部2接收到区域提取指示C_PE的区域控制部7判定是否存在作为下一检测对象而追加的区域(S402)。接收到提取区域的指示的区域提取部6a、6b根据存在于帧存储器5a、5b中的图像P_A和图像P_B，决定新成为场景转换检测对象区域的区域P_An和P_Bn(S403)，提取该区域P_An和P_Bn(S404a、S404b)。与提取出的场景转换对象部分区域对应的场景转换检测对象区域的部分视频数据被发送到部分区域直方图生成部12a、12b，针对部分区域P_An和P_Bn进行直方图h_An和h_Bn的生成(S405a、S405b)。接着，使用针对提取出的部分区域P_An和P_Bn的直方图h_An和h_Bn，如下所述求出部分区域差异值e_n(S406)。

[数式15]

$e_n=\frac{1}{2s_n}\underset{k\in K}{\Sigma }(h_{\mathrm{An}}-h_{\mathrm{Bn}})$

$=\frac{1}{2s_n}\left\{\right|{\mathrm{hist}}_{\mathrm{An}}\left(1\right)-{\mathrm{hist}}_{\mathrm{Bn}}\left(1\right)|+···+|{\mathrm{hist}}_{\mathrm{An}}\left(k\right)-{\mathrm{hist}}_{\mathrm{Bn}}\left(k\right)|+···+|{\mathrm{hist}}_{\mathrm{An}}\left(K\right)-{\mathrm{hist}}_{\mathrm{Bn}}\left(K\right)\left|\right\}$

...(16)

根据这里求出的部分区域差异值e_n和保持在累积差异值缓存器13中的到第(n-1)次试行为止的累积差异值e(n-1)，通过

[数式16]

$e\left(n\right)=\frac{1}{n}\left\{(e(n-1)+e_n)\right\}···\left(17\right)$

求出累积差异值e(n)。

另外，这里假设分割后的各区域的大小相等、即s＝s_i，此时，得出

[数式17]

$e\left(n\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}{e}_i$

$=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}\frac{1}{2s_i}\underset{k\in K}{\Sigma }(h_{\mathrm{Ai}}-h_{\mathrm{Bi}})$

$=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}\frac{1}{2s_i}\left\{\right|{\mathrm{hist}}_{\mathrm{Ai}}\left(1\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(1\right)|+···+|{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right)|+···+|{\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(K\right)\left|\right\}$

$=\frac{1}{2\mathrm{ns}}\underset{i=1}{\overset{n}{\Sigma }}\left\{\right|{\mathrm{hist}}_{\mathrm{Ai}}\left(1\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(1\right)|+···+|{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right)|+···+|{\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(K\right)\left|\right\}$

...(18)

其中，标号s_i表示用标号i表示的位置的分割区域(区)的面积(像素数)。在按照位置顺序提取(追加)区域的情况下，第j个提取出的区和用标号i表示的位置的区相同，i＝j。

另一方面，针对区域Z1～Zn求出的差异值d_n也同样，分割后的区域的大小彼此相等，即为s＝s_i时，数式(7)表示为

[数式18]

$d_n=\frac{1}{2\underset{j=1}{\overset{n}{\Sigma }}{s}_j}\underset{k\in K}{\Sigma }(M_{\mathrm{An}}-M_{\mathrm{Bn}})$

$=\frac{1}{2\mathrm{ns}}\left\{\right|\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(1\right)-\underset{i=1}{\overset{n}{\Sigma }}\mathrm{his}{t}_{\mathrm{Bi}}\left(1\right)|+···+|\underset{i=1}{\overset{n}{\Sigma }}\mathrm{his}{t}_{\mathrm{Ai}}\left(k\right)-\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right)|+···+|\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(K\right)-\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Bi}}\left(K\right)\left|\right\}$

...(19)

这里，关于式(18)和式(19)，着眼于直方图的要素(级别)k时，式(18)能够表示为

[数式19]

$\underset{i=1}{\overset{n}{\Sigma }}\left\{\right|{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)-{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right)\left|\right\}···\left(20\right)$

式(19)能够表示为

[数式20]

$|\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)-\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Bi}}\left(k\right)|···\left(21\right)$

即，可知式(18)和式(20)是针对每个区域求出差异值，而与此相对，式(19)和式(21)是求出区域整体平均的差异值。

即，示出使用部分区域差异值e_n以及它的和即累积差异值e(n)时，能够检测区域单位的视频的差。

根据上述结构，以分割后的区域单位来计算差异值，所以，即使在逐渐扩大区域来判定场景转换的情况下，关于已经求出差异值的区域，也不需要再次求出差异值，所以，能够高速判定场景转换。

并且，在通过对区域进行分割来判定场景转换的情况下，所保持的值是差异值这样的标量值，所以，与记录直方图这种矢量值的情况相比，存储容量很少即可。并且，由于使用存储容量少，因此还能够提高运算速度。

在实施方式4中，与实施方式1所述的情况相同，也可以根据直方图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征值进行场景转换检测的情况下，例如，可以代替图10的部分区域直方图生成部12a、12b，而设置求出部分区域视频特征值的单元，在差分提取部9中，求出视频特征值的累积差异值，在累积差异值缓存器13中，保持视频特征值的累积差异值，在图11的步骤S405a、S405b中，代替生成直方图，而求出视频特征值，在步骤S406中，代替求出分割区域的直方图的差异值，而求出分割区域的视频特征值的差异值，在步骤S407中，代替累积直方图差异值，而求出累积视频特征值的差。

实施方式5

本发明的实施方式5的基本结构与在实施方式1中说明的图1相同，但是，其特征在于，视频信号的输入是已编码的视频流；对编码流的图像区域进行分割而进行解码；以及针对分割后的图像区域中与完成解码的一个或多个分割区域对应的解码视频数据执行直方图生成。

图12示出实施方式5的结构。图12的整体结构与图1相同，但是，不设置图1的帧存储器5a、5b，取而代之，设有解码器15a、15b和解码视频缓存器16a、16b。

在图12中，场景转换控制部2通过开关4，以帧为单位将从编码流输入部14输入的编码流分配给区域提取部6a或区域提取部6b。区域控制部7根据来自场景转换控制部2的区域提取指示C_PE，对区域提取部6a进行场景转换检测对象区域的提取指示。区域提取部6a从编码流中提取场景转换检测对象区域的部分视频数据即编码数据。提取出的编码数据P_comAn和P_comBn被发送到解码器15a、15b，以部分区域为单位进行解码。已被解码的图像数据P_decAn和P_decBn被发送到解码数据缓存器16a、16b，已被解码的图像数据被配置在编码前的视频的位置。例如，如果原始视频是MPEG-2这种以薄片(slice)为单位进行编码的视频压缩方式，则如图2所示，以薄片为单位进行解码。在解码视频缓存器16a、16b中配置有根据场景转换的试行次数而以薄片为单位进行解码的图像数据。直方图生成部8a、8b从解码视频数据缓存器16a、16b中读出已经完成解码的一个或多个部分区域的图像数据即解码图像数据P_decA和P_decB，生成直方图。所生成的直方图H_An和H_Bn被发送到差分提取部9，在判定部10中，对在差分提取部9中计算出的差异值d和由阈值设定部17设定的场景转换阈值d_th进行比较，由此来检测场景转换。

接着，通过图13所示的流程图说明本实施方式的动作。开始场景转换提取处理后(S501)，从场景转换控制部2接收到区域提取指示C_PE的区域控制部7判定是否存在作为下一检测对象而追加的区域(S502)。接收到提取区域的指示的区域提取部6a、6b根据以帧为单位的编码流，决定新成为场景转换检测对象区域的区域P_An和区域P_Bn(S503)，读出与该区域对应的编码数据P_comAn和P_comBn(S504a、S504b)。解码器15a、15b进行编码数据P_comAn和P_comBn的解码(S505a、S505b)，生成已被解码的图像，存储在解码视频缓存器16a、16b中(S506a、S506b)。

直方图生成部8a、8b根据保持在解码视频缓存器16a、16b中的已被解码的图像数据P_decA和P_decB，分别生成直方图(S507a、S507b)，在差分提取部9中计算直方图的差异值(S508)，进而，在场景转换判定部10中对阈值d_th和差异值进行比较，由此判定场景转换(S509)。在判定为场景转换的情况下，场景转换检测结束(S510)，另一方面，在没有检测出场景转换的情况下，设定追加区域(S502)，扩大场景转换检测的对象区域，继续执行场景转换。

在步骤S502中，在场景转换检测的对象区域中不存在追加区域的情况下，处理结束(S510)。

通过采取上述结构，仅针对作为场景转换对象的区域执行需要处理时间的解码处理，所以，能够减轻处理负荷。

并且，如实施方式2那样，根据场景转换对象区域动态地变更进行场景转换判定的阈值，由此，不需要针对图像区域整体进行场景转换判定，所以，能够大幅削减在针对编码流进行场景转换判定时成为问题的解码处理。

在实施方式5中，与实施方式1所述的情况相同，也可以根据直方图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征值进行场景转换检测的情况下，例如，可以代替图12的直方图生成部8a、8b，而设置求出视频特征值的单元，在差分提取部9中，求出视频特征值的差异值，在图13的步骤S507a、S507b中，代替生成直方图，而求出视频特征值，在步骤S508中，代替求出直方图的差异值，而求出视频特征值的差异值。

实施方式6

本发明的实施方式6相对于实施方式5，其特征在于，以分割后的区域单位实施直方图生成，并在直方图缓存器中保持以分割后的区域为单位的直方图。由此，对于生成过一次直方图的分割区域可以不必反复进行直方图生成。

在图14中，场景转换控制部2通过开关4，以帧为单位将从编码流输入部14输入的编码流分配给区域提取部6a或区域提取部6b。区域控制部7根据来自场景转换控制部2的区域提取指示C_PE，对区域提取部6a进行场景转换检测对象区域的提取指示。区域提取部6a从编码流中提取场景转换检测对象区域的部分视频数据即编码数据。提取出的编码数据P_comAn和P_comBn被发送到解码器15a、15b，以部分区域为单位进行解码。已被解码的图像数据P_decAn和P_decBn被发送到解码数据缓存器16a、16b，已被解码的图像数据配置在编码前的视频的位置。例如，如果原始视频是MPEG-2这种以薄片为单位进行编码的视频压缩方式，则如图2所示，以薄片为单位进行解码。在解码视频缓存器16a、16b中保持有作为本次解码对象的薄片单位的已被解码的图像数据。直方图生成部8a、8b从解码视频数据缓存器16a、16b中读出与分割区域对应的已被解码的图像数据即解码图像数据P_decAn和P_decBn，以读出的部分区域为单位生成直方图。将所生成的直方图H_An和H_Bn与以前生成的直方图H_A(n-1)和H_B(n-1)相加，生成与已经成为对象的区域对应的直方图H_A和H_B。差分提取部9根据直方图H_A和H_B计算差异值，在场景转换判定部10中，与场景转换阈值d_th进行比较，由此来检测场景转换。

接着，通过图15所示的流程图说明本实施方式的动作。开始场景转换提取处理后(S601)，从场景转换控制部2接收到区域提取指示C_PE的区域控制部7判定是否存在作为下一检测对象而追加的区域(S602)。接收到提取区域的指示的区域提取部6a、6b根据帧单位的编码流，决定新成为场景转换检测对象区域的区域P_An和区域P_Bn(S603)，读出与该区域对应的编码数据P_comAn和P_comBn(S604a、S604b)。解码器15a、15b进行编码数据P_comAn和P_comBn的解码(S605a、S605b)，在解码视频缓存器16a、16b中生成已被解码的图像数据P_decAn和P_decBn(S606a、S606b)。直方图生成部8a、8b根据保持在解码视频缓存器16a、16b中的已被解码的部分区域的图像数据P_decAn和P_decBn，分别生成与部分区域对应的直方图(S606a、S606b)，并且，根据到上次试行为止由直方图生成部8a、8b求出并保持在直方图缓存器11a、11b中的到上次试行为止的累积直方图H_A(n-1)和H_B(n-1)，来求出到在本次试行中作为对象的区域为止的累积直方图H_A和H_B(S608a、S608b)。差分提取部9计算直方图H_A和H_B的差异值(S609)，进而，在场景转换判定部10中对阈值d_th和差异值进行比较，由此判定场景转换(S610)。在判定为场景转换的情况下，场景转换检测结束(S611)，另一方面，在没有检测出场景转换的情况下，设定追加区域(S602)，扩大场景转换检测的对象区域，继续执行场景转换。在步骤S602中，在场景转换检测的对象区域中不存在追加区域的情况下，处理结束(S611)。

通过采取上述结构，不针对未作为场景转换对象的区域进行需要处理时间的解码处理，所以，能够减轻处理负荷。

并且，以分割后的区域单位来实施解码，所以，MPEG流的解码所需要的缓存器和保持完成解码的已解码数据的缓存器很少即可。特别地，已解码的视频数据的数据大小大，所以，由于不需要已解码数据的缓存器，因此在系统整体的成本降低方面具有效果。并且，通过削减数据量，还具有如下效果：针对对存储器的存取数量和存储器采取用的带宽的要求降低。

在实施方式6中，与实施方式1所述的情况相同，也可以根据直方图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征值进行场景转换检测的情况下，例如，代替图14的直方图生成部8a、8b，设置求出视频特征值的单元，代替直方图缓存器11a、11b，设置保持累积视频特征值的缓存器，在差分提取部9中，求出视频特征值的差异值，在图15的步骤S607a、S607b中，代替生成直方图，而求出视频特征值，在步骤S608a、S608b中，代替计算累积直方图，而求出累积视频特征值，在步骤S609中，代替求出累积直方图差异值，而求出累积视频特征值的差即可。

作为实施方式1的变形，说明了实施方式2，但是，在实施方式2中说明的根据作为解析对象的区域的面积或位置来改变场景转换检测步骤中的场景转换的判定阈值这样的特征，也能够应用于实施方式3～6中。

实施方式2～6与实施方式1所述的情况相同，能够用于场景转换以外的2个图像的差的检测。

实施方式7

图16是示出本发明的实施方式7的场景转换检测装置1的结构的框图。另外，在本实施方式中，虽然是场景转换检测装置这样的名称，但是，内容是对检测期望的2个静态图像的图像差的静态图像的图像差检测进行说明。其理由是，在检测视频的场景转换的情况下，也是从视频中选择任意2个帧图像来检测彼此之间的图像差，在进行图像比较这点上，与静态图像彼此之间的比较没有差异，只不过由于连续进行检测处理、或一次一次单独进行检测处理的差异，而存在是视频的场景转换检测还是静态图像的图像差检测的差异。由此，以后，比较对象是视频也好，是静态图像也好，都将视频/图像的变化点检测称为场景转换或场景转换检测。并且在本实施方式7中，对作为视频的场景转换检测的基本的、检测任意2个静态图像的图像差的场景转换检测装置进行说明。

本实施方式所示的场景转换检测装置1如图16所示，通过图像选择部119，从未图示的硬盘和光盘等输入有任意的图像数据P_A或P_B。

场景转换检测装置1具有：第1和第2区域选择部107a、107b；第1和第2帧存储器5a、5b；第1和第2读出控制部108a、108b；第1和第2直方图生成部8a、8b；差分提取部9；阈值设定部118；场景转换判定部10；场景转换控制部2；以及区域控制部7。

场景转换控制部2检测场景转换检测动作的开始、结束、以及场景转换判定部10的判定结果(场景转换提取结果和场景转换判定可否结果(以是否能够进行场景转换判定为判定结果))N_SE，在未图示的内部存储器中进行保存。

区域选择部107a、107b经由图像选择部119，提取成为表示图像A或图像B的图像数据P_A、P_B中的一部分的部分区域数据Psa或Psb，写入帧存储器5a、5b。

读出控制部108a、108b提取分别写入帧存储器5a、5b中的视频数据的一部分或全部，作为解析对象区域的视频数据Pea、Peb。

这样，通过读出控制部108a、108b来选择由区域选择部107a、107b写入帧存储器5a、5b中的数据的一部分或全部，并作为解析对象区域的视频数据来提取。

下面，有时将某个“区域的图像数据的提取”简称为“区域的提取”。

区域控制部7根据场景转换控制部2的指示，设定图像数据的1帧的全部区域中被区域选择部107a、107b提取出的区域。

帧存储器5a、5b分别具有静态图像的至少一个画面、即1帧的数据区域，临时存储从最小的1个像素到最大的1帧的任意大小的图像数据。

在本实施方式中，如后所述，将由区域选择部107a、107b提取出的部分区域的图像数据写入帧存储器5a、5b中，针对所写入的图像数据中由读出控制部108a、108b读出的数据，由直方图生成部8a、8b生成直方图，由差分提取部9提取两个直方图的差分。由区域控制部7设定的区域是解析对象区域，也是场景转换检测对象区域。下面，有时将该“解析对象区域”、“场景转换检测对象区域”简称为“对象区域”或“比较区域”。并且，如上所述，通过读出控制部108a、108b来选择由区域选择部107a、107b写入帧存储器5a、5b中的数据的一部分或全部，并作为解析对象区域的视频数据来提取，利用区域选择部107a、107b和读出控制部108a、108b来构成区域提取单元106a、106b。

直方图生成部8a、8b针对通过区域选择部107a、107b和读出控制部108a、108b提取出的场景转换检测对象区域的图像数据，生成直方图。

在直方图的生成时，只要生成图像数据的1个或2个以上的成分的直方图即可，例如，可以是亮度信号的直方图，也可以是色差信号的直方图，还可以是颜色信号(R、G、B信号)的直方图。

区域选择部107a、107b、读出控制部108a、108b和直方图生成部8a、8b分别独立地设置在图像A侧和图像B侧，进行同样的处理。但是，写入帧存储器5a和5b中的区域不一定彼此相同。

差分提取部9利用上述实施方式1的说明中所述的式(1)，计算直方图生成部8a生成的直方图H_A和直方图生成部8b生成的直方图H_B的差(差异值)d。

在本实施方式中，图像的全部区域(各帧的整体)被分割为几个区(分割区域)，解析对象区域的面积、以及解析对象区域的图像数据Pea的量随着所分割的区中作为解析对象的区数n增加而增加。在图示的例子中，n＝1，则仅将区Z1作为场景转换检测对象区域，n＝2，则将区Z1和区Z2作为场景转换检测对象区域，n＝3，将区Z1、区Z2和区Z3作为场景转换检测对象区域，以后同样，根据试行次数n决定场景转换检测对象区域，最终，在n＝N(＝8)时，与图像数据的全部区域一致。这里，设该试行次数n为变量，如以下的式(22)那样来表现上述式(2)。

[数式21]

${\mathrm{Hist}}_A\left(k\right)=\underset{i=1}{\overset{n}{\Sigma }}{\mathrm{hist}}_{\mathrm{Ai}}\left(k\right)···\left(22\right)$

即，图像P_A的解析对象区域的直方图(直方图的级别k的度数)Hist_A(k)能够表现为区单位的直方图hist_Ai(k)的n区的总和。

场景转换判定部10进行差分提取部9计算出的差异值d和由阈值设定部118提供的场景转换判定用阈值(以下称为“场景转换阈值”)d_th的比较，如果差异值d超过场景转换阈值d_th，即如果满足以下的式(23)所示的条件，则判定为在对象图像之间产生了场景转换。

d≥d_th    ...(23)

并且，阈值设定部118具有如下阈值：除了设定有无产生场景转换的阈值d_th以外，还具有用于根据对象区域的大小来判定是否能够进行场景转换判定(场景转换判定)的阈值。例如，虽然对象区域是全部图像区域的一部分，但是，在对象区域的图像比较中计算出的差异值d充分大，即使剩余的非对象区域是完全相同的图像，也是判定为产生了场景转换的充分大的值(场景转换判定上限值)d_max，并且，相反，虽然对象区域是全部图像区域的一部分，但是，在对象区域的图像比较中计算出的差异值d充分小，即使剩余的非对象区域是完全不同的图像，也是判定为没有产生场景转换的充分小的值(场景转换判定下限值)d_min。

场景转换判定部使用判定上限值d_max和判定下限值d_min，由此，即使场景转换判定对象区域不是图像整体而是一部分，也能够检测图像A和图像B的全部区域的场景转换的产生。另外，上述判定上限值d_max和判定下限值d_min有时需要根据对象区域的大小来变更，所以，阈值设定部118根据从区域控制部7发送的区域信息I_PE，来变更判定上限值d_max和判定下限值d_min的设定。

接着，说明场景转换检测装置1的动作。当在场景转换控制部2中设定场景转换检测动作开始的指示后，区域控制部7根据包含提取区域信息在内的区域控制信号C_{PA_a}和C_{PA_b}，指示区域选择部107a、107b和读出控制部108a、108b提取区域，其中，该提取区域信息通过另外说明的区域决定方法来决定。区域选择部107a、107b从检测图像差的对象即图像A和图像B中，将由区域控制部7指示的区域的图像数据Psa和Psb分别读入帧存储器5a、5b，针对由区域控制部7控制的读出控制部108a、108b所选择的读入帧存储器的图像的全部数据或一部分数据的区域，直方图生成部8a和8b生成直方图。使用所生成的到第n个区为止的直方图H_An和H_Bn，差分提取部9计算图像A和图像B各自被提取出的区域中的图像的差异值d。并且，场景转换判定部10对由阈值设定部118设定的场景转换阈值d_th和差异值d进行比较，如果满足式(22)所示的条件，则能够判定为产生了场景转换。

这里，作为区域的分割方法，如图17所示，将图像数据中的1帧的图像的全部区域分割为8个带状的区(薄片)Z1～Z8，将到某个区为止的图像数据读入帧存储器5a、5b。在图17中示出，图像A读入到区Z6为止，图像B读入到区Z4为止。此时，读出控制部108a、10b针对图像A和图像B双方，读出写入帧存储器5a、5b中的区域即区Z1～区Z4作为解析对象区域，直方图生成部8a、8b针对由读出控制部108a、108b读出的区Z1～Z4的数据生成直方图。

差分提取部9针对部分区域的直方图(区Z1～区Zn(n为1～8中的任一个)的直方图)H_An和H_Bn求出差异值d，场景转换判定部10将其与场景转换判定上限值d_max和场景转换判定下限值d_min进行比较，如果差异值d超过场景转换判定上限值d_max，则判定为产生了场景转换，另一方面，如果低于场景转换判定下限值d_min，则判定为没有产生场景转换，结束图像A和图像B的场景转换检测。

并且，如果差异值d处于场景转换判定下限值d_min和场景转换判定上限值d_max之间，则无法判定有无产生场景转换，所以，场景转换控制部2对区域控制部7发送指示区域扩大的控制信号，该情况下，从区域控制部7向区域选择部107b发送对图像B追加区来扩大对象区域的控制信号C_{PA_b}。区域选择部107b从图像B中将区Z5读出到帧存储器5b。读出控制部108b读出所追加的区Z5的数据，直方图生成部8b针对加入了所追加的区Z5后的区Z1～区Z5的区域生成直方图H_Bn。另一方面，读出控制部108a也读出区Z5的数据，直方图生成部8a也根据图像B的区域大小，针对区Z1～区Z5的区域生成直方图H_An。

差分提取部9根据分别扩大后的区Z1～区Z5的区域的直方图H_An和H_Bn，求出差异值d。这里，阈值设定部118从区域控制部7得到区域信息I_PE，根据该区域信息I_PE，重新设定场景转换判定上限值d_max和场景转换判定下限值d_min。场景转换判定部10将由阈值设定部118设定的场景转换判定上限值d_max和场景转换判定下限值d_min与差异值d进行比较，与上述同样，如果差异值d超过场景转换判定上限值d_max(如果满足下述式(24B))，则判定为产生了场景转换，另一方面，如果低于场景转换判定下限值d_min(如果满足下述式(24A))，则判定为没有产生场景转换。

d＜d_min    ...(24A)

d_max＜d    ...(24B)

接着，针对如图19所示读入帧存储器5a、5b中的图像A和图像B的区域不同的情况，参照图18说明处理步骤。在本说明中，关于图像A，将区Z1～区Z6读入帧存储器5a，另一方面，关于图像B，将区Z1～区Z4读入帧存储器。在图18中，场景转换处理开始后(S701)，首先，读出控制部108a、10b针对图像A和图像B，进行读入帧存储器5a、5b中的区域的大小的比较，在图19中的图像A和图像B中，将共通的区域即虚线所示的区域(区Z1～区Z4的区域)设定为作为场景转换判定对象的区域(S702)。关于该区域，从图像A和图像B中提取数据(S704)，在帧存储器5a、5b中展开(S705)，直方图生成部8a、8b生成双方的直方图(S706)，进行差异值d的计算(S707)。在步骤S708中，与上述同样，如果差异值d超过场景转换判定上限值d_max，则判定为产生了场景转换，另一方面，如果低于场景转换判定下限值d_min，则判定为没有产生场景转换。在通过该处理无法判断出是产生了场景转换还是没有产生场景转换的情况下，即，

d_min＜d＜d_max

则返回步骤S702，进行图像大小的设定。

在步骤S702中，针对上次的区域无法进行场景转换判定，所以，决定追加图像B的区Z5，从图像B中提取追加区Z5(S704)，将其写入帧存储器(S705)。然后，针对区Z1～区Z5的部分区域求出图像A和图像B的直方图(S706)，计算差异值d(S707)，再次与场景转换判定条件(式(24A)和式(24B))进行核对，如果不满足该条件，则在确认到解析对象区域还没有达到1帧整体(S710：“否”)的情况下，返回步骤S702。在步骤S708中，在满足上述场景转换判定条件的情况下，即能够进行场景转换判定的情况下，结束处理(S709)。并且，在步骤S710中解析对象区域达到1帧整体的情况下，也结束处理(S709)。

接着，参照图20说明读入帧存储器5a、5b中的图像A和图像B的区域相同的情况。该情况下，在步骤S701～S705的处理后，针对区Z1～区Z6的部分区域分别生成直方图(S706)，进行差异值的提取(S707)。在该状态下进行场景转换判定(S708)，设无法进行场景转换判定。接着，在图像A和图像B的区域大小的设定处理S702中，图像A和图像B为相同大小，所以，图像A和图像B都将区Z7加入解析对象中，从图像A和图像B中分别提取区Z7(S704)，将其读入帧存储器5。因此，直方图生成部8a、8b计算针对区Z1～区Z7的部分区域的直方图，进而，求出各个直方图的差异值(S707)，进行基于场景转换和场景转换判定条件的验证。这里，如果满足场景转换判定条件，则结束场景转换处理(S709)，如果不满足该条件，则在确认到解析对象区域还没有达到1帧整体(S710：“否”)的情况下，返回步骤S702，进一步扩大解析对象区域，从而继续进行场景转换检测用的处理。在有效图像消失为止(在步骤S710中判断为解析对象区域达到1帧整体之前)执行这种解析对象区域的扩大，在求出针对1帧图像的全部区域(全部区)的直方图和差异值的阶段，如果不满足场景转换判定条件，则判定为在本次作为检测对象的图像之间没有产生明显的有意差。

接着，图21～图23示出针对图像A和图像B的各个图像并行执行场景转换检测用的针对图像A的处理和针对图像B的处理的步骤的例子。

在图21所示的主任务中，在场景转换检测开始(S801)后，进行图22所示的针对图像A的处理FA的开始(S802)和图23所示的针对图像B的处理FB的开始(S803)的指示，在步骤S804中进入处理FA或处理FB的结束等待状态。

图22所示的处理FA和图23所示的处理FB只不过将分别针对图像A、图像B的处理显示为不同的任务，处理内容相同，所以，下面仅对处理FA进行说明。

如图22所示，在起动的处理FA(S810)中，首先，等待基于区域控制部7的区域控制信号C_{PA_a}的设定或处理FA的结束指示M811(S811)。从区域控制部7接收到区域控制信号C_{PA_a}的区域选择部107a从图像A中提取某个区(S812)，将其写入帧存储器5a(S813)。接着，读出控制部108a从帧存储器5a中读出数据，直方图生成部8a生成直方图(S814)，求出与在处理FB中同样计算出的直方图之间的差异值(S815)。

接着，如式(24A)和式(24B)所示，进行差异值d与场景转换判定上限值d_max和场景转换判定下限值d_min的比较，如果差异值d超过场景转换判定上限值d_max，则判定为产生了场景转换，另一方面，如果低于场景转换判定下限值d_min，则判定为没有产生场景转换(S816)。

如果判断为不能进行场景转换判定，则在确认到解析对象区域还没有达到1帧整体(S819：“否”)的情况下，转移到等待来自区域控制部7的区域控制信号C_{PA_a}或处理FA结束指示的状态(S811)。如果能够进行场景转换判定、并判断为产生了场景转换或没有产生场景转换，则进行处理FA的结束通知(M817)(S817)，处理结束(S818)。并且，在步骤S819中解析对象区域达到1帧整体的情况下，也结束处理(S817)。

在主任务中，等待处理FA或处理FB的结束通知，接收到步骤S817的处理FA的结束通知后，对处理FB指示结束(S805)。在处理FB中，在区域控制等待(S821)中，等待来自区域控制部7的区域控制C_{PA_b}或来自主任务的结束指示，在发行了来自主任务结束指示后(S805)，处理FB从区域控制等待(S821)释放，并且处理FB结束(S828)。

相反，处理FB先完成场景转换判定的情况也同样。

在本实施方式中，对检测任意2个静态图像之间的图像差的装置和方法进行了说明，但是，也能够应用于视频所包含的场景的变化点的检测。其理由是，如上所述，视频是连续连接合成静态图而得到的，并且，通过进行视频中任意2个静态图像的图像差的比较，能够检测场景转换。

通过如上所述那样构成，能够检测2个图像的差。

并且，在检测2个图像的差时，不对图像整体的数据进行处理，利用部分区域就能够检测图像整体的差。

并且，不需要始终将要比较的2个图像的全部区域(全部区)读出到帧存储器5a、5b等中，所以，能够削减针对存储有图像数据的位于图像选择部119的输入侧的硬盘、光盘等的存取次数、存取时间、转送时间。

并且，不需要始终将要比较的2个图像的全部区域(全部区)作为场景转换检测用的对象区域，所以，能够减少场景转换提取处理所需要的时间。并且，能够抑制进行处理的场景转换检测装置自身的负荷。

并且，在分割区中，在早期作为场景转换提取区域的区、例如区Z1或区Z2中存在判定为场景转换的足够的差的情况下，不需要对全部区进行解析，所以，能够高速完成场景转换提取。

并且，即使在利用某个部分区域无法进行场景转换判定的情况下，通过逐次扩大对象区域，也能够进行场景转换判定，能够利用最小的部分区域进行场景转换判定。

并且，作为场景转换解析对象的部分区域被逐次扩大，所以，在比较2个图像之间的图像差时，仅读出最小的图像区域即可，其结果，能够实现处理时间的高速化。

并且，在本实施方式中，将场景转换检测的对象区域的最大值固定为图像的全部区域，但是也可以是可变的。即，也可以构成为针对每次场景转换检测来改变场景转换检测的对象区域的最大值(最大限度)。由此，能够控制场景转换检测的灵敏度和速度。例如通过使画面的下部区域(接近下端的区域)不包含在解析对象区域中，能够使得场景转换检测不对例如在电影或音乐节目中在图像的下部区域经常显示的字幕进行反应，能够提高场景转换的检测精度。

并且，在本场景转换装置组装在其他系统的情况等、系统整体的负荷高的情况下，通过减小检测区域的最大值、或使中途区域不包含在检测对象中，能够快速完成场景转换检测动作，其结果，能够对减轻系统的负荷作出贡献。

在实施方式7的图像差检测装置中，为了检测图像的差，使用了直方图，但是，也可以通过直方图以外的方法、例如使用运动矢量的方法或直接比较要比较的图像的特定位置的像素值的方法，来检测图像差。即，也可以根据直方图以外的图像特征值的差来检测图像差。在根据直方图以外的图像特征值进行图像差检测的情况下，例如，代替图16的直方图生成部8a、8b，设置求出图像特征值的单元，在差分提取部9中，求出图像特征值的差，在图18的步骤S706、图22的步骤S814以及图23的步骤S824中，代替生成直方图，而求出图像特征值即可。

实施方式8

图24是示出本发明的实施方式8的场景转换检测装置1的结构的框图。在实施方式7中，将静态图像作为对象，但是，在本实施方式8中，将视频作为解析对象。在图24中，与图16相同的标号表示相同或同样的部件。

图24所示的场景转换检测装置1在图16的装置的基础上，附加有：记录有视频的硬盘驱动器(HDD)113；从视频的任意帧中提取作为场景转换判定对象的1帧的视频输入部103；以及开关4，其根据所输入的视频数据P是第奇数帧还是第偶数帧，将来自视频输入部103的视频数据P切换至帧存储器5a或帧存储器5b。

开关4以1帧为单位，将作为检测场景转换的对象的2个视频信号的输入分别切换至帧存储器5a或帧存储器5b。场景转换控制部2进行如下控制：根据将来自视频输入部103的视频数据P切换至帧存储器5a或帧存储器5b的图像选择控制信号C_FI，使开关4倒向区域选择部107a侧(使开关4成为将视频输入部103的输出P提供给区域选择部107a的状态)，或者使开关4倒向区域选择部107b侧(使开关4成为将视频输入部103的输出P提供给区域选择部107b的状态)。

接着，说明图24所示的场景转换检测装置1的动作。当在场景转换控制部2中设定场景转换检测动作开始的指示后，开始从视频输入部103提供视频数据。开关4根据来自场景转换控制部2的帧存储器输入控制信号C_FI，如果输入帧的作为场景转换对象的帧编号为奇数，则将输入视频数据P提供给区域选择部107a，如果为偶数，则将视频数据P提供给区域选择部107b。另外，在进行场景转换检测时，代替求出前后帧(第奇数帧和第偶数帧)之间的差异，也可以求出彼此隔开几个帧的帧之间的差异。例如，也可以每规定数量的帧中提取1帧，根据前后提取出的帧之间的差异来检测场景转换。该情况下，将依次提取出的帧的视频数据交替提供给帧存储器5a、5b并存储。例如，将(动作开始后)第奇数个提取的一个帧提供给一个帧存储器例如5a，将第偶数个提取的另一帧提供给另一个帧存储器5b。并且，在2个帧之间检测场景转换的情况下，作为场景转换检测对象的2个帧可以在时间上不接近，也可以在时间上分离。该情况下也可以构成为，将一个帧固定为基准帧，依次更换与其进行比较的另一个帧，由此，进行针对基准帧的场景转换检测。

场景转换控制部2向区域控制部7发行用于指示提取下一个为了进行场景转换检测而成为比较对象的区域的命令(区域提取指示C_PE)。区域控制部7将指示提取作为场景转换解析对象的区域的区域控制信号C_{PA_a}或C_{PA_b}发送到区域选择部107a或107b和读出控制部108a或108b。区域选择部107a、107b和读出控制部108a、108b从经由开关4从视频输入部103输入的图像数据P_A、P_B中，提取作为该场景转换提取对象的区域，将其写入帧存储器5a、5b中。以后的处理与实施方式7相同。

接着，参照图25(a)和(b)说明针对视频数据在部分区域中进行场景转换提取的结构。这里，为了简化说明，设为在奇数帧和偶数帧交替且连续的帧编号之间进行比较。并且，各帧的分割后的区分别为帧整体的10％，因此，追加一个区导致的增量比例为10％。在图25(a)中，关于记录在帧存储器5a、5b中的各帧的解析对象区域，施加向左下方的斜线示出“在与前侧的帧进行比较中使用的区域”，施加向右下方的斜线示出“为了与后侧的帧进行比较而扩大的区域”，另一方面，关于未作为解析对象的区域，不施加斜线。图25(b)关于第1～第6帧，示出在与前后的帧进行比较时作为解析对象的区域占帧整体的比例。

在连续视频的比较中，首先进行第1帧和第2帧的比较。在第1帧和第2帧的比较中，将第1帧和第2帧的各分割区域(区)同时读入帧存储器5a、5b中，每次读入时生成直方图，导出差异值，进行场景转换判定。第1帧和第2帧的解析对象区域如10％、20％、30％、...70％、80％那样每次增加10％，如图25(a)和(b)所示，在使用80％的区域的比较中，完成了场景转换判定。

接着，进行第2帧和第3帧的比较。在第2帧和第3帧的比较中，第2帧的图像数据已经读入80％，所以，仅第3帧以10％的增量读入帧存储器5a中，针对第2帧和第3帧的均被读入帧存储器5a、5b中的区域，计算直方图和差异值，进行场景转换判定即可。在第2帧和第3帧之间的场景转换检测中，如图25(a)和(b)所示，利用30％的区域完成了场景转换判定。

接着，进行第3帧和第4帧的比较。第3帧已经有30％读入帧存储器5a中，由此，以10％的间隔将第4帧读入帧存储器5b中直到30％为止，与上述同样进行直方图和差异值的计算、场景转换判定即可。但是，在利用30％的区域未完成场景转换判定的情况下，需要针对过去侧(先行侧)即第3帧也进行扩大区域。这里，为了与后侧(后续侧)的第4帧进行比较，如图25(a)和(b)所示，将第3帧的区域扩大到60％。

这里要注意的是，针对视频这种具有时间上的排列的数据，在像上述方法那样根据需要(也可以是时间经过后)扩大解析对象区域的情况下，需要将各帧的数据保持到使用该帧的场景转换检测处理结束为止的存储区域。在本实施方式中，作为存储介质，从HDD 113中读出数据，如第3帧和第4帧的比较的例子所示那样，在与后侧的帧进行比较中，能够扩大先行的第3帧的解析对象区域。关于视频的各帧的保持方法，不仅可以是本实施例所示的HDD这种持久性存储介质，还可以是能够保持几帧～几十帧的易失性存储器。

下面，同样进行第4帧和第5帧的比较和第5帧和第6帧的比较。在第5帧和第6帧的比较中，如图所示，将区域扩大到70％。

接着，参照图26，说明针对视频流内先行的图像A和后续的图像B分割图像区域来进行场景转换检测的场景转换判定顺序。

场景转换解析处理开始后(S901)，针对图像A和图像B，比较存在于帧存储器5a、5b中的作为场景转换解析对象的区域的大小(S902)。设为先行的图像A在与之前更先行的图像进行场景转换检测处理后，在帧存储器5a中已经存在有一些部分区域数据，另一方面，关于图像B，如果是首次执行场景转换处理，则完全不存在作为解析对象的区域的数据。由此，图像A的区域比图像B大，所以转移到步骤S903。在步骤S903中，针对作为解析对象的区域少的图像B，进行预先设定的区域的追加，将追加区域写入帧存储器5b(S904)。该区域的追加例如与图17、图19和图20所示的情况相同，以区为单位进行。

在步骤S905中，针对存在于帧存储器5b中的图像B的数据生成直方图，但是，如果不存在图像A的直方图，则一并生成图像A的直方图。接着，求出图像A和图像B的直方图的差异值d(S906)，针对该差异值d，判定是否能够判定图像A和图像B整体的场景转换(式(24A)、式(24B))(S907)，如果能够进行场景转换判定，即在进行了场景转换判定的情况下，结束处理(S909)，如果无法进行场景转换判定，则在确认到解析对象区域还没有达到1帧整体(S910：“否”)的情况下，返回步骤S902。

在本处理中，如果即使扩大后续的图像B的部分区域(处理对象区域)并反复进行场景转换判定也无法进行场景转换判定，则图像B的解析对象区域的大小逐渐变大，最终，图像A和图像B的解析对象的区域的大小变为相同。然后，扩大图像A和图像B双方的区域(S920)，分别将扩大后的区域的数据写入帧存储器5a、5b(S921)，分别利用直方图生成部8a、8b生成直方图(S922)。然后，在差分提取部9中，计算双方的直方图的差异值(S906)，在场景转换判定部10中，再次进行场景转换判定(S907)。

通过如上所述那样构成，能够进行视频中的场景转换检测。

并且，通过针对部分区域进行场景转换判定，由此，能够进行图像整体的场景转换判定。

并且，在部分区域中进行场景转换判定，所以，与在图像整体中进行比较的情况相比，能够高速地进行场景转换检测。

逐渐扩大对象区域来进行场景转换判定，所以，能够利用基于2个图像之间的差的最小的区域大小和处理时间，进行场景转换检测。

实施方式9

图27是示出本发明的实施方式9的场景转换检测装置1的结构的框图。本实施方式9对压缩编码后的视频数据进行处理。因此，附加有以帧为单位对压缩编码后的视频流进行解压缩的解码器112a、112b。在图27中，与图24相同的标号表示相同或同样的部件。

在图27所示的场景转换检测装置1中，经压缩编码的视频流被保存在硬盘驱动器(HDD)113中。开关4根据视频流的帧是第奇数帧还是第偶数帧，将经压缩编码的1帧单位的视频数据P送入流缓存器111a、111b。流缓存器111a、111b临时保存视频数据P。区域选择部107a、107b从临时保存在流缓存器111a、111b中的1帧单位的视频编码数据中，将与由从区域控制部7发送来的区域控制信号C_{PA_a}和C_{PA_b}指定的1帧或1帧的部分区域对应的数据送入解码器112a、112b。

保存在流缓存器111a、111b中的视频流数据的1帧单位和/或分割区域单位的数据地址信息(记录位置)由区域控制部7管理。在从区域控制部7向区域选择部107a、107b发送的区域控制信号C_{PA_a}和C_{PA_b}中，作为表示要提取的部分区域的记录位置的信息，包含有流缓存器111a、111b中的地址信息。

解码器112a、112b对从区域选择部107a、107b送入的部分或与部分区域对应的经压缩编码的数据进行解压缩(以下为解码)，将其写入帧存储器5a、5b。解码器112a、112b不仅以1帧为单位进行解压缩(以下为解码)，而且还能够仅对1帧数据内的部分数据或与部分区域对应的数据进行解码。

接着，说明图27所示的场景转换检测装置1的动作。当在场景转换控制部2中设定场景转换检测动作开始的指示后，开始从视频输入部103提供经压缩编码的视频流E。根据来自场景转换控制部2的帧存储器输入控制信号C_FI，如果输入帧的作为场景转换对象的帧编号为奇数，则开关4将其作为输入视频流EA提供给流缓存器111a，如果为偶数，则开关4将其作为视频流EB提供给流缓存器111b。

场景转换控制部2向区域控制部7发行用于指示提取下一个为了进行场景转换检测而成为比较对象(解析对象)的区域的命令(区域提取指示C_PE)。区域控制部7将指示对作为场景转换解析对象的区域进行提取的区域控制信号C_{PA_a}或C_{PA_b}发送到区域选择部107a或107b。区域选择部107a、107b从记录在流缓存器111a、111b中的1帧单位的压缩编码数据中，提取相当于作为该场景转换提取对象的区域的压缩编码数据eA、eB，将其发送到解码器112a、112b。解码器112a、112b对相当于从区域选择部107a、107b发送的部分区域或最大1帧的压缩编码数据进行解码，将其写入帧存储器5a、5b。以后的处理与实施方式7相同。

接着，参照图28说明针对压缩编码视频，在部分区域中进行场景转换提取的结构。

场景转换解析处理开始后(S1101)，从记录在HDD 113中的压缩编码视频流中，将相当于1帧的视频数据读入流缓存器111a、111b中(S1102)。接着，区域控制部7根据场景转换的进度状况，决定作为场景转换解析对象的部分区域(S1103)。能够利用在实施方式8中参照图26说明的方法来进行部分区域的决定。

接着，从流缓存器111a、111b中提取与在步骤S1103中决定的部分区域对应的压缩编码视频数据(S1104)。解码器112a、112b对提取出的所述数据进行解码(S1105)，在帧存储器中展开(S1106)。分别利用直方图生成部8a、8b生成直方图(S1107)，在差分提取部9中，求出图像A和图像B双方的直方图的差异值(S1108)。接着，在场景转换判定部10中，根据式(24A)和式(24B)对差异值d进行场景转换判定(S1109)，如果能够进行场景转换判定(即在进行了场景转换判定的情况下)，则结束处理(S1111)，如果无法进行场景转换判定，则在确认到解析对象区域还没有达到1帧整体(S1110：“否”)的情况下，返回步骤S1103，再次决定解析对象区域。此时，如后所述，针对图像A和图像B中解析对象区域小的图像扩大区域，再次执行步骤S1104～步骤S1109的处理，或者，扩大图像A和图像B双方的区域，同样进行步骤S1104～步骤S1109的处理。反复进行上述处理，在步骤S1109中满足式(24A)和式(24B)的条件、或解析对象区域达到1帧整体的情况下(S1110：“是”)，结束处理。

另外，在本实施方式中，采取如下结构：在流缓存器111a、111b中临时保存视频，通过对存在于流缓存器111a、111b内的数据的地址进行管理的区域控制部7，区域选择部107a、107b提取1帧或1帧内的部分区域的数据，区域控制部7构成对保存在流缓存器111a、111b中的视频数据的1帧或其部分区域的记录位置进行管理的单元，但是，如图29所示，也可以由永久性记录视频的HDD 113、和对记录在HDD 113中的视频的1帧或其部分区域的地址位置进行管理的HDD管理部114构成。该情况下，采取如下结构：在区域控制部7中，决定作为解析对象的视频的1帧或1帧内的部分区域，将该信息即视频数据区域信息IAR发送到HDD管理部114，HDD管理部114根据记录在HDD 113中的视频，判定与指定帧的指定区域对应的数据位置，通过区域选择部107a、107b进行提取。

该情况下，HDD管理部114构成对保存在作为视频记录单元的HDD113中的视频数据的1帧单位或其部分区域的记录位置进行管理的单元。

另外，作为永久性记录介质，示出HDD的例子，但是不限于HDD，也可以是光、磁等盘介质、带介质、闪存等其他记录介质。

并且，图像数据的保存期间也可以不是永久性的，只要能够在使用该帧的图像的场景转换检测结束为止的期间内保持各帧的图像即可。

通过如上所述那样构成，能够进行视频中的场景转换检测。

并且，对于视频经压缩编码后的流，通过针对部分区域进行场景转换判定，也能够进行图像整体的场景转换判定。

并且，在部分区域中进行场景转换判定，所以，与在图像整体中进行比较的情况相比，能够高速地进行场景转换检测。

并且，仅对部分区域的数据执行处理负荷高的解码处理即可，所以，处理负荷减轻，其结果，处理高速完成。

并且，逐渐扩大对象区域来进行场景转换判定，所以，能够利用基于2个图像之间的差的最小的区域大小和处理时间，进行场景转换检测。

并且，通过使用HDD等非易失性记录介质，不需要使用场景转换提取用的流缓存器。

在实施方式8和实施方式9的场景转换装置中，为了检测视频的差，使用了直方图，但是，也可以通过直方图以外的方法、例如使用运动矢量的方法或直接比较要比较的图像的特定位置的像素值，来检测场景转换。即，也可以根据直方图以外的视频特征值的差来检测场景转换。在根据直方图以外的视频特征值进行场景转换检测的情况下，例如，代替图24、图27和图29的直方图生成部8a、8b，设置求出视频特征值的单元，在差分提取部9中，求出视频特征值的差，在图26的步骤S905、S922、图28的步骤S1107中，代替生成直方图，而求出视频特征值，在步骤S906、S1108中，提取视频特征值的差分即可。