运动图像生成装置、运动图像生成方法及程序制品

摘要

本发明提供一种运动图像生成装置、运动图像生成方法及程序制品。图像传感器块(102)依次生成使曝光时间长短交替地变化后的帧数据。CPU(109)判定帧数据间的特定的图像区域的变化是否超过阈值。在特定的图像区域的变化超过阈值的情况下，图像处理引擎(103)例如在曝光时间长的帧彼此之间生成插入帧。而且，图像处理引擎(103)对曝光时间长的帧和曝光时间短的帧进行合成来生成高动态范围合成帧。例如，在特定的图像区域的变化超过阈值的情况下，对曝光时间长的插入帧与曝光时间短的帧进行合成来生成高动态范围合成帧。

说明书

技术领域

本发明涉及运动图像生成装置、运动图像生成方法及程序制品。

背景技术

一直以来，作为数码相机等的摄像元件而采用的是CCD(Charge  Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)。 这种摄像元件的动态范围(Dynamic Range)与肉眼或银盐胶片相比的话， 较窄。因此，若利用以往的数码相机等对明暗差别明显的被摄体进行拍摄， 则会产生背景发白、或被摄体被完全抹黑的问题。

为了解决这种问题，正在开发一种获得高动态范围(High Dynamic  Range)的图像的技术。该技术是通过对在长的曝光时间内拍摄到的明亮 的图像和在短的曝光时间内拍摄到的昏暗的图像进行合成而得到高动态 范围的图像的技术。

最近，该技术也被逐渐应用于运动图像的生成。例如，在日本专利公 开2007-274285号公报中公开了以下发明：利用使抵达摄像元件的光的强 度周期性地变化的减光装置来取得高动态范围运动图像。

然而，在上述技术的情况下，不止需要减光装置这样的特别的机构， 而且还会产生以下问题：拍摄中视角发生变化或者被摄体活动，产生合成 抖动，难以得到高品质的高动态范围运动图像。

因此，谋求一种无需设置特别的机构、且即使存在拍摄视角的变化或 被摄体的活动也可以生成高品质的高动态范围运动图像的技术。

发明内容

本发明是鉴于上述问题而进行的，其目的在于可以生成高品质的高动 态范围运动图像。

为了实现上述目的，本发明的摄像装置的特征在于具备：

生成单元，通过摄像依次交替地生成第1帧数据、和曝光时间短于该 第1帧数据的第2帧数据；

判定单元，判定在由所述生成单元生成的第1及第2帧数据之间相邻 的帧数据的图像的变化程度是否超过规定的阈值；

插入单元，在所述判定单元所进行的判定的结果是被判断为所述变化 程度超过规定的阈值时，在包含成为判定对象的帧数据在内的相邻的第1 帧数据彼此之间，生成并插入第3帧数据；

合成单元，对相邻的所述第1帧数据与所述第2帧数据、或者所述第 3帧数据与在拍摄定时相邻的第2帧数据依次合成，生成高动态范围的帧 数据；和

运动图像生成单元，生成由所述合成单元合成后的帧数据构成的运动 图像。

再有，为了实现上述目的，本发明的运动图像生成方法的特征在于包 括：

生成步骤，通过摄像依次交替地生成第1帧数据和曝光时间短于该第 1帧数据的第2帧数据；

判定步骤，判定在由所述生成步骤生成的第1及第2帧数据之间相邻 的帧数据的图像的变化程度是否超过规定的阈值；

插入步骤，在所述判定步骤中的判定的结果是被判断为所述变化程度 超过规定的阈值时，在包含成为判定对象的帧数据在内的相邻的第1帧数 据彼此之间，生成并插入第3帧数据；

合成步骤，对相邻的所述第1帧数据与所述第2帧数据、或者所述第 3帧数据与在拍摄定时相邻的第2帧数据依次合成，生成高动态范围的帧 数据；以及

运动图像生成步骤，生成由在所述合成步骤中合成后的帧数据构成的 运动图像。

还有，为了实现上述目的，本发明的程序制品是一种具有摄像部的电 子设备能执行的程序制品，其特征在于，使该电子设备作为以下单元起作 用：

生成单元，通过所述摄像部进行的摄像而依次交替地生成第1帧数 据、和曝光时间短于该第1帧数据的第2帧数据；

判定单元，判定在由所述生成单元生成的第1及第2帧数据之间相邻 的帧数据的图像的变化程度是否超过规定的阈值；

插入单元，在所述判定单元所进行的判定的结果是被判断为所述变化 程度超过规定的阈值时，在包含成为判定对象的帧数据在内的相邻的第1 帧数据彼此之间，生成并插入第3帧数据；

合成单元，对相邻的所述第1帧数据与所述第2帧数据、或者所述第 3帧数据与在拍摄定时相邻的第2帧数据依次合成，生成高动态范围的帧 数据；和

运动图像生成单元，生成由所述合成单元合成后的帧数据构成的运动 图像。

附图说明

图1是表示本发明实施方式涉及的数码相机的构成的框图。

图2是用于说明生成曝光时间不同的帧的形态的示意图。

图3是用于说明生成插入帧的形态的示意图。

图4是用于说明生成高动态范围合成帧的形态的示意图。

图5是用于说明本发明实施方式涉及的运动图像生成处理的流程图。

具体实施方式

以下参照附图对本发明涉及的实施方式进行说明。在本实施方式中， 例示通过能够拍摄运动图像的数码相机(以下称为数码相机100)实现了 本发明的情况。如图1所示，本实施方式涉及的数码相机100构成为具备 透镜块101、图像传感器块102、图像处理引擎103、液晶显示部104、总 线105、外部存储器106、SDRAM107、闪存108、CPU109、声音块110、 微型计算机111、操作IF部112、电源控制块113、及电池114。

透镜块101由变焦透镜或聚焦透镜等光学系统、及用于驱动该光学系 统的驱动机构(电动机或促动器等)构成。透镜块101利用由驱动机构控 制的光学系统，使入射光聚光，并且进行焦距或光圈、视角或焦点、曝光 等相关的光学要素的调整。

图像传感器块102由CCD(Charge Coupled Device)或CMOS (Complementary Metal Oxide Semiconductor)等的摄像元件、及用于使 该摄像元件动作的驱动器电路(垂直/水平控制电路等)构成。关于图像 传感器块102，摄像元件的受光面被配置在透镜块101的光轴上，经由透 镜块101可使被摄体的像(即、光学像)成像。而且，通过驱动器电路的 控制，将与光学像相应的摄像信号向图像处理引擎103供给。

该图像传感器块102通过控制电荷传输定时，从而能够使利用摄像元 件来蓄积电荷的时间(曝光时间)适当地变化。例如，在运动图像摄像模 式下，依次生成使曝光时间长短交替地变化之后的帧数据。

具体是，如图2所示，在奇数帧中，作为第1帧而生成曝光时间长(long  exposure)的帧(A1、A3、A5、A7、……)，在偶数帧中，作为第2帧 而生成曝光时间短(short exposure)的帧(B2、B4、B6、……)。而且， 图像传感器块102将由此依次生成的摄像信号(帧数据)向图像处理引擎 103供给。

在图1中，图像处理引擎103由图像处理电路等构成，对从图像传感 器块102供给来的摄像信号(帧数据)进行图像处理。

例如，图像处理引擎103对所输入的摄像信号实施消隐脉冲箝位等的 处理，将该摄像信号变换为亮度(Y)信号及色差(UV)信号，并且进 行自动白平衡、轮廓强调、及像素插补等用于提高画质的图像处理。而且， 图像处理引擎103将变换后的YUV数据依次向SDRAM107供给并进行 保存。再有，如果是显示直通图像(取景器图像)的模式，则在每次蓄积 了1帧份的数据时变换为视频信号并向液晶显示部104供给。

还有，在运动图像摄像模式下，图像处理引擎103在帧数据间的图像 的变化程度超过规定的阈值的情况下，生成插入帧(interpolate frame)。

例如，在拍摄视角的变化或被摄体的活动较大的情况下，如图3所示， 图像处理引擎103生成插入帧(A2、A4、A6、B3、B5、B7、……)。 具体地说明，在被摄体的活动较大(较快)的情况下，帧A1与帧B2是 不同的图像。因此，图像处理引擎103在曝光时间长的帧A1与帧A3之 间插入并生成曝光时间长的帧A2。

而且，图像处理引擎103对曝光时间长的帧与曝光时间短的帧进行合 成，来生成图4所示的高动态范围合成帧(C2、C3、C4、C5、C6、C7、……)。 具体地说明，在被摄体的活动较大(较快)的情况下，对曝光时间长的插 入帧A2与曝光时间短的帧B2进行合成，生成高动态范围合成帧C2。另 一方面，在没有被摄体的活动(较小)的情况下，无需使用插入帧，对曝 光时间长的帧A1与曝光时间短的帧B2直接进行合成，生成高动态范围 合成帧C2。

再有，图像处理引擎103针对所生成的高动态范围合成帧进行对比度 强调处理(contrast emphasis process)或色度强调处理(saturation emphasis  process)。

返回到图1，液晶显示部104由LCD(Liquid Crystal Display)面板 及其驱动电路构成。液晶显示部104根据从图像处理引擎103供给的视频 信号来显示所拍摄到的图像或规定的菜单图像等。

总线105是对图像处理引擎103、外部存储器106、SDRAM107、闪 存108、及CPU109进行相互连接的数据路径。各种数据经由该总线105 而被收发。

外部存储器106由能够取下的存储卡等构成，能够记录所拍摄到的图 像数据。例如，在外部存储器106中记录了由CPU109实施了压缩之后的 图像数据(规定格式的静止图像文件或运动图像文件等)。

SDRAM(Synchronous Dynamic Random Access Memory)107暂时存 储所拍摄到的图像数据。例如，依次存储由图像处理引擎103生成的帧数 据。

闪存108存储数码相机100动作所需要的程序或数据。

CPU(Central Processing Unit)109对数码相机100的整体进行控制。 例如，在运动图像摄像模式下，CPU109读取闪存108所存储的程序，执 行后述的运动图像生成处理。也就是说，CPU109如以下所示，控制图像 处理引擎103等来生成高动态范围运动图像。

首先，CPU109判定由图像处理引擎103生成的帧数据间的图像的变 化程度是否超过规定的阈值。作为一例，CPU109判定上述的图2中的曝 光时间长的帧A1与帧A3之间的特定的图像区域的变化是否超过阈值。

具体是，对视角内的被摄体彼此之间进行比较，判定是否存在超过阈 值的活动。作为一例，在被摄体为人物的情况下，通过面部识别等来确定 人物的图像，判别彼此的帧中的该人物的活动的大小，判定该活动是否超 过阈值。此时，在可以同时识别多个人物的情况下，按照各人物的每一个 来确定活动，判定其中一个活动是否超过阈值。这种判定人物等的活动的 手法只是一例而已，也可以利用其他手法来判定活动。

再有，也可以不这样对特定的图像区域的变化进行判别，而是对图像 整体的变化进行判定。例如，对视角内的图像区域整体彼此之间进行比较， 判定是否有超过阈值的活动。

此时，若判定为有超过阈值的活动，则CPU109控制图像处理引擎 103而生成插入帧。也就是说，如上述的图3所示，控制图像处理引擎103， 例如在曝光时间长的帧A1与帧A3之间，作为第3帧而插入并生成曝光 时间长的帧A2。

而且，CPU109控制图像处理引擎103而生成高动态范围合成帧。也 就是说，如上述的图4所示，控制图像处理引擎103，例如在被摄体的活 动较大的情况下，对曝光时间长的插入帧A2与曝光时间短的帧B2进行 合成，生成高动态范围合成帧C2。另外，在没有被摄体的活动的情况下， 不使用插入帧，而是直接合成曝光时间长的帧A1与曝光时间短的帧B2， 生成高动态范围合成帧C2。

CPU109根据这样生成的高动态范围合成帧来生成运动图像文件。也 就是说，针对所生成的高动态范围合成帧进行了对比度强调处理或色度强 调处理之后，对帧间进行压缩，生成规定格式的运动图像文件并保存在外 部存储器106内。

声音块110由声音处理电路等构成，对声音数据进行处理。例如，在 对外部存储器106所存储的运动图像文件进行再生之际，声音块110对压 缩声音数据进行解压缩，并经由未图示的扬声器等将该声音输出。

微型计算机111由单芯片微型计算机等构成，将与来自操作IF部112 的输入相应的指示等向CPU109传达。再有，微型计算机111控制电源控 制块113，将所需要的电力向各部供给。

操作IF(InterFace)部112适当地排列有各种的开关或按键，以接受 用户的操作。例如，操作IF部112包含有电源开关、模式选择按键、快 门按键、及变焦按键等。而且，若由用户对这些开关或按键的任一个(也 有多个的情况)进行了操作(按下等)，则将与该操作内容相应的操作信 号向微型计算机111供给。例如，若通过模式选择按键而选择了运动图像 拍摄模式，则将该操作信号向微型计算机111供给。另外，快门按键具有 能够进行半按与全按的所谓的半快门功能。

电源控制块113由微型计算机111来控制，将来自电池114的电力向 各部供给。

电池114由能够充电的二次电池(锂离子电池或镍氢电池等)构成， 经由电源控制块113而向各部供给电力。

以下对这种构成的数码相机100的动作进行说明。在此，参照图5， 对在运动图像拍摄模式下由数码相机100执行的运动图像生成处理进行 说明。图5是表示运动图像生成处理的流程的流程图。该运动图像生成处 理例如是以用户对操作IF部112进行操作而选择了运动图像拍摄模式为 契机才开始的。

若选择了运动图像拍摄模式，则数码相机100依次生成使曝光时间长 短交替地变化之后的帧数据(步骤S201)。即，图像传感器块102如上 述的图2所示，在奇数帧中生成曝光时间长的帧(A1、A3、A5、A7、……)， 在偶数帧中生成曝光时间短的帧(B2、B4、B6、……)。

数码相机100判定所生成的帧数据间的图像的变化程度是否超过规 定的阈值(步骤S202)。即，CPU109例如判定帧数据间的特定的图像区 域的变化是否超过阈值。作为一例，CPU109判定上述图2中的、曝光时 间长的帧A1与帧A3中的特定的图像区域的变化是否超过阈值。另外， 如上所述，也可以判定帧A1与帧A3中的图像整体的变化是否超过阈值。

数码相机100在判定为变化程度未超过阈值时(步骤S202；否)， 使处理进入后述的步骤S204。

另一方面，在判定为变化程度超过阈值的情况下(步骤S202；是)， 数码相机100生成插入帧(步骤S203)。即，图像处理引擎103如上述 的图3所示，生成插入帧(A2、A4、A6、B3、B5、B7、……)。作为 一例，在被摄体的活动较大的情况下，帧A1与帧B2为不同的图像。因 此，图像处理引擎103在曝光时间长的帧A1与帧A3之间，插入并生成 曝光时间长的帧A2。

数码相机100生成高动态范围合成帧(步骤S204)。即，图像处理 引擎103对曝光时间长的帧与曝光时间短的帧进行合成而生成高动态范 围合成帧。作为一例，在被摄体的活动较大的情况下，图像处理引擎103 如上述的图4所示，对曝光时间长的插入帧A2与曝光时间短的帧B2进 行合成，生成高动态范围合成帧C2。另一方面，在没有被摄体的活动的 情况下，不使用插入帧，而是图像处理引擎103对曝光时间长的帧A1与 曝光时间短的帧B2直接合成，来生成高动态范围合成帧C2。

数码相机100根据高动态范围合成帧来生成运动图像文件(步骤 S205)。即，CPU109根据由此生成的高动态范围合成帧来生成规定格式 的运动图像文件。也就是说，在针对所生成的高动态范围合成帧进行了对 比度强调处理或色度强调处理之后，对帧间进行压缩，生成运动图像文件 并保存到外部存储器106中。

通过这种运动图像生成处理，可以判定帧数据间的图像的变化程度， 对恰当的曝光时间长的帧与曝光时间长的帧进行合成，生成高动态范围运 动图像。因此，无需设置特别的机构，并且即使有拍摄视角的变化或被摄 体的活动也可以生成高品质的高动态范围运动图像。

如上所述，根据本实施方式，可以生成高品质的高动态范围运动图像。

另外，在以上述实施方式所例示的数码相机100等摄像装置(运动图 像生成装置)来实现本发明的情况下，除了可以作为预先具备了本发明涉 及的构成或功能的摄像装置来提供以外，也可以通过应用实现与CPU109 等同样的功能的程序，从而使已有的摄像装置作为本发明涉及的摄像装置 起作用。

此外，在上述实施方式中，作为摄像装置的例子虽然示出了具有运动 图像摄像功能的数码相机，但是摄像装置的形态是任意的，不必说也能够 利用单体的数码摄像机或数码静态照相机来实现，也可以在具备与此同样 的摄像功能的各种电子设备(例如，移动电话等)中应用本发明。

即使在这种情况下，通过应用程序，从而可以使已有的装置作为本发 明涉及的摄像装置起作用。

这种程序的应用方法是任意的，例如除了可以保存在CD-ROM或存 储卡等存储介质中加以应用以外，例如还可以经由因特网等通信介质进行 应用。