运动图像编辑设备和方法

摘要

本发明提供一种运动图像编辑设备和方法。该运动图像编辑设备在用户新创建运动图像时，自动选择适合的帧频以提高通过组合帧频不同的多个运动图像所生成的新运动图像的图像质量，从而防止用户进行过多的选择工作。本发明的图像编辑设备基于帧频来将要组合的多个运动图像分类成组，比较各个组中包括的运动图像的量，并且选择运动图像的量最大的组。此外，该图像编辑设备比较所选择的组中包括的针对各个帧频的运动图像的量，以选择运动图像的量最大的帧频。该图像编辑设备将要组合的运动图像转换成所选择的帧频，然后组合转换后的多个运动图像。

说明书

本申请是申请日为2011年2月21日、申请号为 201110041694.X、发明名称为“运动图像编辑设备和方法”的申 请的分案申请。

技术领域

本发明涉及一种用于编辑多个运动图像的图像编辑设备、 以及用于控制该图像编辑设备的方法及程序。

背景技术

对于视频信号存在多个不同类型的系统。例如，这些系统 包括由国家电视系统委员会(NTSC,national television system  committee)和逐行倒相(PAL,phase alternation by line)所分别制 定的模拟电视(TV)广播用的标准格式、以及电影动画用的格式。

在这些格式中，帧频彼此不同，因而将一种类型的视频信 号转换成输出装置可利用的、帧频不同的其它类型的视频信号 (参考日本特开2000-324453号公报)。

另一方面，近年来，与仅可以处理特定格式的视频信号的 传统的电视机不同，诸如个人计算机(PC)等的输出装置可以处 理多个格式的运动图像。此外，PC可以经由因特网从万维网 (WEB)服务器下载各种类型的格式的运动图像数据。

当能够处理多个格式的运动图像的装置组合各自采用不同 格式的多个运动图像以新创建一个运动图像时，用户不得不从 多个帧频中选择要采用哪个帧频，由此对用户施加了较多的工 作。此外，对于不熟悉操作该装置的用户而言，用户难以判断 哪个帧频适合，因此可能错误地进行了选择。结果，有时不能 获得平滑的运动图像。

发明内容

根据本发明的方面，一种运动图像编辑设备，包括：分类 单元，用于根据运动图像的帧频将要组合的多个运动图像分类 成组，其中，分类到同一组的运动图像的帧频为同一值的整数 倍；第一选择单元，用于基于属于各个组的运动图像的量，从 分类得到的组中选择一个组；第二选择单元，用于基于针对属 于所选择的组的运动图像的各个帧频的运动图像的量，从属于 所选择的组的运动图像的帧频中选择一个帧频；转换单元，用 于将要组合的多个运动图像转换成所述第二选择单元所选择的 帧频；以及组合单元，用于组合转换后的多个运动图像。

根据本发明的另一方面，一种运动图像编辑方法，包括以 下步骤：根据运动图像的帧频将要组合的多个运动图像分类成 组，其中，分类到同一组的各个运动图像的帧频为同一值的整 数倍；基于属于各个组的运动图像的量，从分类得到的组中选 择一个组；基于针对属于所选择的组的运动图像的各个帧频的 运动图像的量，从属于所选择的组的运动图像的帧频中选择一 个帧频；将要组合的多个运动图像转换成所选择的帧频；以及 组合转换后的多个运动图像。

根据本发明的方面，当通过组合不同格式的多个运动图像 来创建运动图像时，可以在不对用户施加过多工作的情况下设 置适合的帧频。

通过以下参考附图对典型实施例的详细说明，本发明的其 它特征和方面将变得明显。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明 的典型实施例、特征和方面，并和说明书一起用来解释本发明 的原理。

图1是示出根据本发明的典型实施例的图像编辑设备的结 构的框图。

图2是示出根据本发明的典型实施例的图像编辑设备所进 行的操作的流程图。

图3A和3B示出根据本发明的典型实施例的运动图像选择 画面。

图4是示出根据本发明的典型实施例的图像编辑设备的操 作的流程图。

图5示出根据本发明的典型实施例的要编辑的运动图像数 据。

图6是示出根据本发明的典型实施例的图像编辑设备所进 行的操作的流程图。

图7是示出根据本发明的典型实施例的图像编辑设备所进 行的操作的流程图。

图8是示出根据本发明的典型实施例的图像编辑设备所进 行的操作的流程图。

图9示出根据本发明的典型实施例的要编辑的运动图像数 据。

具体实施方式

以下将参考附图来详细说明本发明的各种典型实施例、特 征和方面。

然而，本典型实施例所述的结构元件仅是例子，并且并不 意图限制本发明的范围。

在本典型实施例中，将说明图像编辑设备通过组合帧频不 同的多个运动图像数据来创建一个运动图像数据的情况。根据 本典型实施例的图像编辑设备要混合并组合以下的NTSC系统、 PAL系统、电影系统和其它系统中的运动图像数据：在NTSC系 统中，帧频为每秒30帧(fps)(29.97fps)的整数倍；在PAL系统中， 帧频为25fps的整数倍；在电影系统中，帧频为24fps。

更具体地，根据本典型实施例，属于同一系统的运动图像 数据的帧频为同一值的整数倍，并且属于不同系统的运动图像 数据的帧频为不同值的整数倍。例如，除了帧频为30fps的运动 图像数据以外，在NTSC系统中还包括帧频为作为“30”的2倍的 60fps的运动图像数据。另一方面，帧频为作为“25”的2倍的50fps 的运动图像数据不属于NTSC系统而属于PAL系统。

首先，参考图1所示的框图，将说明本典型实施例的图像编 辑设备的结构。

在图1中，图像编辑设备100可以由诸如个人计算机(PC)等 的信息处理设备来实现。控制单元101是例如用以整体控制图像 编辑设备100的中央处理单元(CPU)。只读存储器(ROM)102存 储无需改变的程序和参数。随机存取存储器(RAM)103暂时存 储从外部装置供给的程序和数据。

外部存储装置104包括对图像编辑设备100固定设置的硬盘 和存储卡、或者从图像编辑设备100可拆卸的存储卡。根据本典 型实施例的外部存储装置104记录诸如操作系统(OS)、各种类型 的程序以及图像数据等的数字数据。特别地，根据本典型实施 例的外部存储装置104将以下将作为控制单元101执行的计算机 可读程序代码来说明的运动图像编辑程序记录在控制单元101 中。

与输入装置的接口105接收用户进行的操作，并且将图像编 辑设备100与用于输入数据的、诸如指示装置(鼠标)和键盘等的 输入装置109相连接。显示器110显示图像编辑设备100所保持的 数据和供给至图像编辑设备100的数据。显示器接口106将图像 编辑设备100与显示器110相连接。

网络接口107将图像编辑设备100与诸如因特网等的网络线 路111相连接。系统总线113可通信地相互连接各单元101、102、 103、104、105、106和107。在本典型实施例中，说明了将运动 图像编辑程序记录在外部存储装置104中的例子，然而，可以将 本发明应用于将运动图像编辑程序记录在ROM102中或保持在 网络上的情况。

在本典型实施例中，将说明由PC来实现图像编辑设备的例 子。此外，本发明同样可应用于诸如数字照相机等的摄像设备。

接着，将参考图2所示的流程图来说明本典型实施例的图像 编辑设备100进行的操作。当图像编辑设备100的控制单元101 从外部存储装置104读取OS或运动图像编辑程序以启动该OS或 运动图像编辑程序时，可以实现以下操作。

在步骤S201中，控制单元101在显示器110上显示初始状态 的运动图像选择画面。在步骤S202中，响应于用户对输入装置 109进行的操作，控制单元101从外部存储装置104中存储的运动 图像数据中选择要编辑的运动图像数据，并且在步骤S203中， 设置运动图像数据的顺序。

例如，在图3A所示的运动图像选择画面300中，显示与要 编辑的运动图像数据相对应的缩略图图像，其中，将这些缩略 图图像中的第一个缩略图图像排列在左侧。当用户操作输入装 置109以移动缩略图图像301时，响应于该操作，缩略图图像301 的位置改变，并且显示为如图3B所示。根据缩略图图像排列的 顺序，RAM103存储要编辑的运动图像数据的顺序。

接着，响应于用户对输入装置109进行的操作，控制单元101 开始要编辑的运动图像数据的编辑处理，并且在步骤S204中判 断是否自动选择帧频。响应于用户对输入装置109进行的操作， 控制单元101预先将与是否自动选择帧频有关的信息存储在外 部存储装置104中。如果不自动选择帧频，则外部存储装置104 存储与运动图像编辑软件相关联的预定帧频。

当判断为自动选择帧频时(步骤S204中为“是”)，在步骤 S205中，控制单元101进行以下将说明的帧频的选择处理。在 步骤S206中，控制单元101将要编辑的运动图像数据的帧频转 换成在步骤S205中选择的帧频。

另一方面，当判断为不自动选择帧频时(步骤S204中为 “否”)，在步骤S207中，控制单元101从外部存储装置104读取预 定帧频。在步骤S208中，将要编辑的运动图像数据的帧频转换 成在步骤S207中读取的预定帧频。在步骤S206和S208中，不对 具有与转换后的帧频相同的帧频的运动图像数据进行帧频的转 换处理。

在步骤S209中，控制单元101在转换帧频之后，通过组合 要编辑的运动图像数据来新创建运动图像数据。在步骤S210 中，外部存储装置104存储该新创建的运动图像数据。

接着，将参考图4所示的流程图来说明在步骤S205中本典 型实施例的图像编辑设备100进行帧频的选择处理的操作。

首先，在步骤S401中，控制单元101从外部存储装置104读 取要编辑的运动图像数据。在步骤S402中，基于各运动图像数 据的帧频，控制单元101识别各运动图像数据的系统，以将要编 辑的运动图像数据分类成系统组。在步骤S403中，控制单元101 比较这些系统组中包括的运动图像数据的量，并且选择运动图 像数据的量最大的系统组。

运动图像数据的量表示运动图像数据的个数、运动图像数 据的再现时间或帧数。当运动图像数据的量最大的系统组存在 多个时，控制单元101根据预定规则选择这些系统组中的任一个 系统组。例如，当PAL系统组和NTSC系统组各自所包括的运动 图像数据的量相同时，选择PAL系统组。

在步骤S404中，控制单元101从要编辑的运动图像数据中 提取在步骤S403中选择的系统组中包括的运动图像数据。在步 骤S405中，控制单元101识别提取出的运动图像数据的帧频， 并且针对各个帧频比较运动图像数据的量，以选择运动图像数 据的量最大的帧频。

图5示出根据本典型实施例的要编辑的运动图像数据的示 例。

在图5中，选择了11个运动图像数据进行编辑，并且设置了 这11个运动图像数据的顺序。第1个、第3个、第4个、第9个和 第10个运动图像数据属于帧频为25fps的PAL系统。第2个、第5 个、第6个和第7个运动图像数据属于帧频为30fps的NTSC系统， 并且第8个和第11个运动图像数据属于帧频为60fps的NTSC系 统。

如果将运动图像数据的量定义为运动图像数据的个数，则 在这11个运动图像数据中包括了6个NTSC系统中的运动图像数 据和5个PAL系统中的运动图像数据。因而，在步骤S403中，控 制单元101选择NTSC系统。此外，由于NTSC系统包括4个帧频 为30fps的运动图像数据和2个帧频为60fps的运动图像数据，因 此，在步骤S405中，控制单元101选择30fps。

在步骤S208中，控制单元101进行用于按每5帧对帧频为 25fps的运动图像数据插入1帧的处理、以及用于将帧频为60fps 的运动图像数据间隔剔除为一半的处理，以将这些运动图像数 据转换成帧频为30fps的运动图像数据。

在本典型实施例中，说明了NTSC系统和PAL系统这两类系 统组中包括的运动图像数据。此外，本典型实施例同样可应用 于其它类型的系统组中包括的运动图像数据。

此外，在步骤S405中，控制单元101基于运动图像数据的 量选择帧频，然而，控制单元101可以基于其它标准来选择帧频。 例如，无论运动图像数据的量如何，都可以选择最大的帧频。

如图5所示，当在步骤S403中获取的系统组中包括的运动 图像数据的帧频为30fps和60fps时，控制单元101选择60fps。此 外，在步骤S405中，当运动图像数据的量最大的帧频存在多个 时，控制单元101可以选择较大的帧频。

此外，在步骤S402中，控制单元101基于运动图像数据的 帧频来识别运动图像数据的系统。然而，识别方法不限于此， 并且控制单元101可以基于表示诸如分配给运动图像数据的文 件的类型等的各种类型的信息的元数据来识别系统。

在如上所述的本典型实施例中，首先基于要编辑的运动图 像数据的各系统组中包括的运动图像数据的量来选择系统组。 此外，基于针对各帧频的系统组中包括的运动图像数据的量来 选择帧频。

利用该配置，即使组合帧频不同的多个运动图像数据，也 可以减少不连续部分以创建平滑的运动图像数据。

例如，关于图5所示的要编辑的运动图像数据，如果在不考 虑各系统组中包括的运动图像数据的个数的情况下、仅通过针 对各个帧频比较运动图像数据的个数来选择运动图像数据的量 最大的帧频，则选择25fps。

当将NTSC系统中的帧频为30fps或60fps的运动图像数据转 换成PAL系统中的帧频为25fps的运动图像数据时，通常进行用 于对帧进行间隔剔除的处理。例如，当帧频为30fps时，按每6 帧间隔剔除1帧。当帧频为60fps时，将帧间隔剔除为一半，并 且进一步按每6帧间隔剔除1帧。

如上所述，当将帧频从NTSC系统转换成PAL系统时，由于 生成了运动图像数据的帧不是按均匀间隔布置的部分，因此运 动图像数据无法平滑地连续。因此，不能获得平滑的视频。此 外，当将帧频从PAL系统转换成NTSC系统时，由于同样生成了 运动图像数据的帧不是按等间隔布置的部分，因此运动图像数 据无法平滑地连续。因此，如上所述，同样不能获得平滑的视 频。

在第二典型实施例中，将说明基于关于与运动图像数据相 关联的属性的信息来选择帧频的情况。在以下说明中，将不重 复说明与第一典型实施例中的结构相同的结构，并且将详细说 明本典型实施例特有的结构。在本典型实施例中，作为属性信 息，将说明表示运动图像数据的重要性的等级信息(rating  information)作为例子，然而，本典型实施例可以同样应用于运 动图像数据的图像大小及其记录率。

参考图6所示的流程图，将说明在步骤S205中根据本典型 实施例的图像编辑设备100对帧频进行选择处理的操作。

在步骤S601中，控制单元101从外部存储装置104读取要编 辑的运动图像数据，并且在步骤S602中，进行以下将说明的用 于针对包括运动图像数据的各系统组计算第一基准量的处理。 在步骤S603中，控制单元101针对各个系统组比较第一基准量， 并且选择第一基准量最大的系统组，然后生成所选择的系统组 中包括的运动图像数据的列表，将该列表存储在RAM103中。

当多个系统组具有最大的第一基准量时，控制单元101根据 预定规则识别这些系统组中的任一个系统组。例如，控制单元 101按NTSC系统、PAL系统、电影系统和其它系统的顺序选择 系统组。

接着，在步骤S604中，控制单元101对与该列表相关联的 运动图像数据进行以下将说明的用于计算运动图像数据的第二 基准量的处理。在步骤S605中，控制单元101针对各个帧频比 较第二基准量，并且选择第二基准量最大的帧频。当多个帧频 具有最大的第二基准量时，选择较大的帧频。

接着，参考图7所示的流程图，将说明在步骤S602中根据 本典型实施例的图像编辑设备100进行用于计算第一基准量的 处理的操作。

在步骤S701中，控制单元101从外部存储装置104读取要编 辑的运动图像数据中的一个运动图像数据，并对其进行分析， 并且基于该运动图像数据的帧频判断其系统的类型。在步骤 S702中，控制单元101读取与该运动图像数据相关联的等级信 息，并且将该等级信息保持为变量“n”。在步骤S703中，控制单 元101将变量“n”代入等式“m=n/3”中以计算加权系数“m”。

将本典型实施例中的等级信息定义为整数1、2、3、4和5， 并且当等级信息没有与该运动图像数据相关联时，控制单元101 保持“3”作为变量“n”的初始值。此外，用于计算加权系数“m” 的等式不限于以上所述的等式。在步骤S704中，控制单元101 将与该运动图像数据相关联的系统和加权系数“m”保持在RAM 103中。

在步骤S705中，控制单元101判断是否已经对所有的运动 图像数据进行了处理，并且对其余的运动图像数据重复进行上 述处理。当已经对所有的运动图像数据进行了处理时(步骤S705 中为“是”)，在步骤S706中，控制单元101针对各个系统组计算 加权系数“m”的总和作为第一基准量。

接着，参考图8所示的流程图，将说明在步骤S604中根据 本典型实施例的图像编辑设备100进行用于针对各帧频计算运 动图像数据的加权系数的处理的操作。

首先，在步骤S801中，控制单元101从外部存储装置104读 取列表上的运动图像数据中的一个运动图像数据并分析该运动 图像数据，从外部存储装置104读取与该运动图像数据相关联的 等级信息，并且保持该等级信息作为变量“n”。在步骤S802中， 控制单元101将变量“n”代入等式“m=n/3”中以计算加权系数 “m”。用于计算加权系数“m”的等式不限于此。

在步骤S803中，控制单元101将与该运动图像数据相关联 的帧频和加权系数“m”保持在RAM103中。在步骤S804中，控 制单元101判断是否对列表上的所有运动图像数据进行了处理， 并且对列表上的其余运动图像数据重复进行上述处理。当控制 单元101已经对列表上的所有运动图像数据进行了处理时(步骤 S804中为“是”)，在步骤S805中，控制单元101针对各帧频计算 加权系数的总和作为第二基准量。

图9示出根据本典型实施例的要编辑的运动图像数据的一 个例子。在图9中，选择了14个运动图像数据进行编辑，并且设 置了这14个运动图像数据的顺序。第1个、第4个、第9个、第10 个和第12个运动图像数据属于帧频为25fps的整数倍的PAL系 统。第2个、第6个、第13个和第14个运动图像数据属于帧频为 30fps的整数倍的NTSC系统。第3个、第5个和第7个运动图像数 据属于帧频为24fps的电影系统。第8个和第11个运动图像数据 属于其它系统。

因而，在这14个运动图像数据中，4个运动图像数据属于 NTSC系统，5个运动图像数据属于PAL系统，3个运动图像数据 属于电影系统，并且2个运动图像数据属于其它系统。此外，根 据本典型实施例的运动图像数据包括与运动图像数据相关联的 并且在星号的右侧示出的等级信息。例如，第1个运动图像具有 “2”，第2个运动图像具有“3”，并且第3个运动图像具有“5”。

因此，PAL系统的第一基准量为13/3，NTSC系统的第一基 准量为16/3，电影系统的第一基准量为13/3，并且其它系统的 第一基准量为5/3。因而，NTSC系统的第一基准量最大。NTSC 系统的第二基准量对于30fps为8/3，并且对于120fps为8/3。由 于这两个帧频的第二基准量相同，因此控制单元101选择作为较 大的值的120fps。

根据本典型实施例，将加权系数应用于第一基准量和第二 基准量这两者，然而，可以将加权系数应用于第一基准量和第 二基准量中的一个。

如上所述，根据本典型实施例，还基于与运动图像数据相 关联的属性信息来选择帧频。因此，例如，由于帧频适合于对 于用户而言重要的运动图像数据，因此可以平滑地再现与该重 要的运动图像数据相对应的部分。

还可以通过读出并执行存储装置上所记录的程序以进行上 述实施例的功能的系统或设备的计算机(或者CPU或MPU等的 装置)以及通过以下方法来实现本发明的方面，其中，由系统或 设备的计算机通过例如读出并执行存储装置上所记录的程序以 进行上述实施例的功能，来进行该方法的步骤。为了该目的， 例如，经由网络或者从用作存储装置的各种类型的记录介质(例 如，计算机可读介质)向计算机提供该程序。在这种情况下，系 统或设备、以及存储有程序的存储介质包括于本发明的范围内。

尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改、等同结构和功能。