从拍摄图像中抽取被摄体区域的拍摄装置

摘要

一种从拍摄图像中抽取被摄体区域的拍摄装置，包括：第1拍摄单元，拍摄背景中存在被摄体的被摄体存在图像；第1非平坦度计算单元，计算由第1拍摄单元所拍摄的所述被摄体存在图像的周边部分的非平坦度；第1判定单元，判定由第1非平坦度计算单元所计算的所述被摄体存在图像的周边部分的非平坦度是否在第1阈值以下；背景生成单元，由第1判定单元判定为非平坦度在所述第1阈值以下的情况下，从所述被摄体存在图像的周边部分，生成所述被摄体存在图像中包括被摄体的被摄体区域的抽取用的抽取用背景图像；和被摄体抽取单元，基于所述抽取用背景图像和所述被摄体存在图像的对应各像素的差分信息，从所述被摄体存在图像中抽取所述被摄体区域。

说明书

相关申请的交叉引用

本申请基于2009年3月6日提交的日本特愿2009-053343号，并声明其优先权，其所有内容包括在此作为引用。

技术领域

本发明涉及一种从拍摄图像中抽取被摄体区域的拍摄装置、图像处理方法和程序。

背景技术

一直以来，已知一种应用，即：使用拍摄装置，拍摄背景中被摄体存在的图像和被摄体不存在的背景图像，由背景图像和被摄体存在的图像生成差分信息，只将被摄体抽出(例如，参照专利文献1)。

专利文献1：特开平10-21408号公报

然而，如上面的专利文献1中，在分两次拍摄背景中被摄体存在的图像和被摄体不存在的背景图像的情况下，具有两次拍摄之间容易产生视角移动，在抽取被摄体的处理中，背景自身的像素值产生差分，将背景部分错误识别为被摄体，从而无法正确进行被摄体的抽取的问题。这样的情况下，需要再次拍摄，被摄体的剪切图像的生成操作变得繁杂。

发明内容

所以，本发明的课题在于，提供能够通过一次拍摄简便地进行被摄体区域的抽取的拍摄装置、图像处理方法和程序。

根据本发明的第一方面，提供一种图像拍摄装置，包括：第1拍摄单元，拍摄背景中存在被摄体的被摄体存在图像；第1非平坦度计算单元，计算由所述第1拍摄单元所拍摄的所述被摄体存在图像的周边部分的非平坦度；第1判定单元，判定由所述第1非平坦度计算单元所计算的所述被摄体存在图像的周边部分的非平坦度是否在第1阈值以下；背景生成单元，由所述第1判定单元判定为非平坦度在所述第1阈值以下的情况下，从所述被摄体存在图像的周边部分，生成所述被摄体存在图像中包括被摄体的被摄体区域的抽取用的抽取用背景图像；和被摄体抽取单元，基于所述抽取用背景图像和所述被摄体存在图像的对应各像素的差分信息，从所述被摄体存在图像中抽取所述被摄体区域。

根据本发明的第二方面，提供一种图像处理方法，包括以下步骤：拍摄背景中存在被摄体的被摄体存在图像；计算所述被摄体存在图像的周边部分的非平坦度；判定所述被摄体存在图像的周边部分的非平坦度是否在阈值以下；在判定为所述非平坦度在所述阈值以下的情况下，从所述被摄体存在图像的周边部分，生成所述被摄体存在图像中包括被摄体的被摄体区域的抽取用的抽取用背景图像；和基于所述抽取用背景图像和所述被摄体存在图像的对应各像素的差分信息，从所述被摄体存在图像中抽取所述被摄体区域。

根据本发明的第三方面，提供一种计算机可读介质，记录了使计算机执行包括以下步骤的图像处理的软件程序：拍摄背景中存在被摄体的被摄体存在图像；计算所述被摄体存在图像的周边部分的非平坦度；判定所述被摄体存在图像的周边部分的非平坦度是否在阈值以下；在判定为所述非平坦度在所述阈值以下的情况下，从所述被摄体存在图像的周边部分，生成所述被摄体存在图像中包括被摄体的被摄体区域的抽取用的抽取用背景图像；和基于所述抽取用背景图像和所述被摄体存在图像的对应各像素的差分信息，从所述被摄体存在图像中抽取所述被摄体区域。

参照附图，将对实施本发明各种特征的总体结构进行说明。附图和相关说明提供于阐述本发明的实施方式，不用于限定本发明的范围。

附图说明

图1是表示应用本发明的一实施方式的拍摄装置的概略构造的模块图。

图2是表示由图1的拍摄装置执行的被摄体剪切处理所涉及的工作的一例的流程图。

图3是表示图2的被摄体剪切处理的后续的流程图。

图4是表示图2的被摄体剪切处理的背景生成处理所涉及的工作的一例的流程图。

图5是表示图2的被摄体剪切处理中的区域检测处理所涉及的工作的一例的流程图。

图6是示意地表示用于说明图2的被摄体剪切处理的图像的一例的图。

图7是示意地表示用于说明图2的被摄体剪切处理的图像的一例。

图8是示意地表示用于说明图2的被摄体剪切处理的图像的一例。

具体实施方式

以下对根据本发明的一实施方式，参照附图进行详细说明。发明的范围不被限定于阐述附图和以下说明的例子中。

图1是表示应用本发明的一实施方式的拍摄装置100的概略构造的模块图。

本实施方式的拍摄装置100，在判定为背景中存在被摄体S的被摄体存在图像P1a的周边部分的非平坦度在指定值以下的情况下，从该被摄体存在图像P1a的周边部分，生成被摄体区域的抽取用的抽取用背景图像，基于抽取用背景图像和被摄体存在图像P1a的对应各像素的差分信息，从被摄体存在图像P1a中抽取被摄体区域。

具体而言，如图1所示，拍摄装置100具有：透镜部1、电子拍摄部2、拍摄控制部3、图像数据生成部4、图像存储器5、非平坦度计算部6、块匹配部7、图像处理部8、记录介质9、显示控制部10、显示部11、操作输入部12和CPU13。

另外，拍摄控制部3、非平坦度计算部6、块匹配部7、图像处理部8、和CPU13，设计为例如定制化的LSI1A。

透镜部1由多个透镜构成，具有变焦透镜和聚焦透镜等。

另外，虽然省略了图示，但透镜部1也可以具有在拍摄被摄体S时使变焦透镜沿光轴方向移动的变焦驱动部、和使聚焦透镜沿光轴方向移动的对焦驱动部等。

电子拍摄部2由例如CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal-oxide Semiconductor，互补型金属氧化物半导体)等的图像传感器构成，将通过透镜部1的各种透镜的光学像转变为用于显示二维图像的图像信号。

虽然省略了图示，但拍摄控制部3具有定时发生器、驱动器等。由此，拍摄控制部3通过定时发生器、驱动器对电子拍摄部2进行扫描驱动，按每指定周期通过电子拍摄部2将光学像转变为用于显示二维图像的图像信号，从该电子拍摄部2的拍摄区域1个画面1个画面的读出图像帧，输出至图像数据生成部4。

另外，拍摄控制部3进行AF(自动对焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等被摄体S的拍摄条件的调整控制。

另外，拍摄时进行实时取景图像显示的情况下，拍摄处理部3通过电子拍摄部2使被摄体S以指定的拍摄帧频被连续拍摄，依次生成实时取景图像显示用的图像帧。具体而言，拍摄控制部3，将通过透镜部1的背景中被摄体S不存在的背景图像P2(参照图6(b))的光学像，通过电子拍摄部2以指定的帧频被连续拍摄，依次生成该背景图像P2的实时取景图像显示用的图像帧。

此处，拍摄透镜部1、电子拍摄部2和拍摄控制部3构成拍摄被摄体S不存在的背景图像P2从而依次生成图像帧的背景拍摄单元。

另外，作为拍摄模式，设定为被摄体剪切模式(后述)的情况下，基于由用户对快门按钮12a的拍摄指示操作，拍摄控制部3将通过透镜部1的背景中存在被摄体S的被摄体存在图像P1a(参照图6(c))的光学像，以指定的拍摄条件，由电子拍摄部2变换为用于显示二维图像的图像信号，从该电子拍摄部2的拍摄区域读出被摄体存在图像P1a所涉及的图像帧。

此处，拍摄透镜部1、电子拍摄部2和拍摄控制部3构成了拍摄背景中存在被摄体S的被摄体存在图像P1a的第1拍摄单元。

另外，在实时取景图像(背景图像P2)的非平坦度的判定处理(后述)中，在判定为特征点或块内的像素值的偏差量比指定值多之后，在被摄体存在图像P1b(参照图8(a))被拍摄的情况下，拍摄控制部3维持固定了该被摄体存在图像P1b的拍摄时的拍摄条件的状态。由此，基于由用户对快门按钮12a的拍摄指示操作，拍摄控制部3将通过透镜部1的、与被摄体存在图像P1b的背景相同的背景中被摄体S不存在的被摄体不存在图像P3(参照图8(b))的光学像，以被摄体存在图像P1b拍摄后所固定的拍摄条件，由电子拍摄部2变换为用于显示二维图像的图像信号，从该电子拍摄部2的拍摄区域读出被摄体不存在图像P3所涉及的图像帧。

此处，拍摄透镜部1、电子拍摄部2和拍摄控制部3构成了在判定处理中判定为非平坦度比指定值大的情况下，被摄体存在图像P1b拍摄后，拍摄与该被摄体存在图像P1b的背景相同的背景中所述被摄体S不存在的被摄体不存在图像P3的第2拍摄单元。

图像数据生成部4对于从电子拍摄部2转送来的图像帧的模拟值的信号，按RGB的各色分量适当地进行了增益调整之后，经采样保持电路(图示省略)作采样保持之后，经A/D转换器(图示省略)转换为数字数据，经颜色处理电路(图示省略)进行包括像素插值处理和伽马(γ)补正处理的颜色处理之后，生成数字值的亮度信号Y和色差信号Cb、Cr(YUV数据)。

从颜色处理电路输出的亮度信号Y和色差信号Cb、Cr，通过未图示的DMA控制器，向作为缓冲存储器使用的图像存储器5作DMA传送。

此外，也可以将将A/D转换后的数字数据显影的去马赛克(de-mosaic)部(图示省略)安装至定制化LSI1A上。

图像存储器5例如由DRAM等构成，临时存储由非平坦度计算部6、块匹配部7、图像处理部8和CPU13等处理的数据。

非平坦度计算部6具有特征量计算部6a。

特征量计算部6a，进行从背景图像P2和被摄体存在图像P1a等中抽取特征点的特征抽取处理。

具体而言，特征量计算部6a，基于作为实时取景图像显示用的图像帧而生成的背景图像P2的YUV数据，将以高频分量多的特征高的块区域(例如，16×16像素的正方形)作为特征点而抽取。

另外，非平坦度计算部6，具有在背景生成处理中，基于被摄体存在图像P1a的YUV数据，将该被摄体存在图像P1a的周边部分(参照图7(a))分割为多个图像块B的分割部6b。特征量计算部6a，抽取由此分割部6b分割而成的各图像块B的特征点。此处，分割部6b，构成将被摄体存在图像P1a的周边部分分割为多个图像块(图像区域)B的分割单元。

另外，特征量计算部6a，在被摄体存在图像P1b和被摄体不存在图像P3的对位处理中，以被摄体不存在图像P3为基准，进行从该被摄体不存在图像P3中抽取特征点的处理。具体而言，特征量计算部6a，基于被摄体不存在图像P3的YUV数据，从多个候补块选择追踪方便的指定数目(或指定数目以上)的特征高的块区域(特征点)，以该块的内容为模板(template)(例如，16×16像素的正方形)而抽取。

另外，非平坦度计算部6，具有计算块内的像素值的偏差量的偏差量算出部6c。

偏差量算出部6c，根据下面的公式(1)计算标准偏差，作为作为实时取景图像显示用的图像帧而生成的背景图像P2的各块区域内的偏差量。

另外，偏差量算出部6c，根据下面的公式(1)计算标准偏差，作为在背景生成处理中作为被摄体存在图像P1a的周边部分的多个图像块B的各自的偏差量：

(公式1)

$\bar{b}=\frac{1}{N}\underset{n=1}{\overset{N}{\Sigma }}{b}_n$

${\sigma }_b=\sqrt{\frac{1}{1-N}\underset{n=1}{\overset{N}{\Sigma }}{(b_n-\bar{b})}^2}---\left(1\right)$

此外，上面公式(1)中，b作为各块领域的像素值，举例为亮度值。

这样，特征量计算部6a和偏差量算出部6c，构成了计算被摄体存在图像P1a的周边部分的非平坦度的第1非平坦度计算单元，和计算背景图像P2的非平坦度的第2非平坦度计算单元。

换言之，特征量计算部6a，作为非平坦度，抽出被摄体存在图像P1a的周边部分的特征点，和背景图像P2的特征点等。另外，偏差量算出部6c，作为非平坦度，计算被摄体存在图像P1a的周边部分的多个图像块(图像领域)内的像素值的偏差量，和背景图像P2的多个块区域(图像领域)内的偏差量。

块匹配部7，进行用于将被摄体不存在图像P3(基准图像)和被摄体存在图像P1b(对象图像)对位的块匹配处理。具体而言，块匹配部7，搜索特征抽取处理中抽取的模板与被摄体存在图像P1b中的何处对应，换言之，被摄体存在图像P1b中模板的像素值所最佳匹配的位置(对应区域)。由此，算出像素值的差异度的评价值(例如，平方差值和(Sum of SquaredDifferences，SSD)、绝对差值和(Sum of Absolute Differences，SAD)等)为最佳的被摄体不存在图像P3和被摄体存在图像P1b之间最合适的偏移量，作为该模板的运动矢量。

图像处理部8，具有进行非平坦度计算处理中计算出的非平坦度的判定的非平坦度判定部8a。

非平坦度判定部8a，判定作为实时取景图像显示用的图像帧而生成的背景图像P2的特征点，即，由特征量计算部6a所抽取的特征高的块区域是否为指定值以下(背景图像P2的特征量多不多)。另外，非平坦度判定部8a，判定由偏差量算出部6c所算出的背景图像P2的块内的像素值的偏差量是否在指定值以下。

此处，非平坦度判定部8a，构成判定背景图像P2的特征点是否在指定值以下，和背景图像P2的块内的像素值的偏差量是否在指定值以下的第2判定单元。

另外，非平坦度判定部8a，判定背景生成处理中，由特征量计算部6a对被摄体存在图像P1a的周边部分的多个图像块B所抽取的特征点是否为指定值以下(被摄体存在图像P1a的周边部分的特征量多不多)。另外，非平坦度判定部8a，判定由偏差量算出部6c所算出的各图像块B的偏差量是否在指定值以下。

进一步地，非平坦度判定部8a，将判定为特征点在指定值以下，且块内的像素值的偏差量在指定值以下的图像块B进行计数，判定图像块B是否为多个。

此处，非平坦度判定部8a，构成判定被摄体存在图像P1a的周边部分的特征点是否在指定值以下，和周边部分的多个图像块B的块内的像素值的偏差量是否在指定值以下的第1判定单元。

另外，图像处理部，具有利用色度键(chroma-key)技术生成用于抽取被摄体区域的抽取用背景图像的背景生成部8b。

背景生成部8b，在由非平坦度判定部8a判定为被摄体存在图像P1a的周边部分的特征点在指定值以下，且块内的像素值的偏差量在指定值以下的图像块B，即，特征量少的图像块B为多个的情况下，生成与该图像块B的颜色相同的颜色作为背景色的抽取用背景图像。例如，如图6(b)所示，以特征量少的素色背景为背景而拍摄被摄体S的情况下，被摄体存在图像P1a的周边部分的特征量变少，生成与该被摄体存在图像P1a的周边部分相同颜色的抽取用背景图像。

此外，所谓色度键，是指使用特定颜色的背景，从一个图像数据中剪切被摄体S的方法。色度键中，通常背景采用与被摄体S为补色关系的蓝色或绿色的屏幕(screen)，通过生成与被摄体存在图像P1a的周边部分为相同颜色的抽取用背景图像，可以基于抽取用背景图像和被摄体存在图像P1a的颜色信息，分离背景部分和被摄体部分。

此处，背景生成部8b，构成在被摄体存在图像P1a的周边部分的非平坦度被判定为在指定值以下的情况下，从该被摄体存在图像P1a的周边部分生成包括被摄体存在图像P1a中的被摄体S的被摄体区域的抽取用的抽取用背景图像的背景图像生成单元。

另外，图像处理部8，具有将被摄体存在图像P1b和被摄体不存在图像P3进行对位的对位部8c。

对位部8c，基于从被摄体不存在图像P3中抽取的特征点，进行被摄体存在图像P1b和被摄体不存在图像P3的对位。也就是说，对位部8c，基于从被摄体不存在图像P3中抽取的特征点，计算出被摄体存在图像P1b的相对于被摄体不存在图像P3的各像素的坐标变换式(投影变换矩阵)，根据该坐标变换式，对被摄体存在图像P1b进行坐标变换，进行与被摄体不存在图像P3的对位。

具体而言，对位部8c，将由块匹配部7计算出的多个模板的运动矢量，经多数决定而计算，将统计上判断为指定百分比(例如，50％)以上的运动矢量，作为整体的运动矢量，使用该运动矢量所涉及的特征点的对应，计算出被摄体存在图像P1b的投影变换矩阵。由此，对位部8c，根据投影变换矩阵将被摄体存在图像P1b坐标变换，进行与被摄体不存在图像P3的对位。

此处，对位部8c，构成进行被摄体存在图像P1b和被摄体不存在图像P3的对位的对位单元。

另外，图像处理部，具有生成用于从被摄体存在图像P1a(P1b)抽取被摄体区域的掩模(mask)图像的掩模生成部8d。

掩模生成部8d，根据下面的公式(2)计算出背景图像P2(抽取用背景图像、或是被摄体不存在图像P3等)与被摄体存在图像P1a(P1b)的对应的各像素的差异度D，生成差异度图表(map)。

(公式2)

D＝(Yc-Y)²+G×((Uc-U)²+(Vc-V)²)                            (2)

此外，上面的公式中，背景图像的YUV数据由“Y”、“U”、“V”表示，被摄体存在图像的YUV数据由“Yc”、“Uc”、“Vc”所表示。另外，G表示色差信号U、V的增益。

由此，掩模生成部8d，将生成的差异度图表以指定的阈值进行二值化(0，255)，生成掩模图像。

另外，掩模生成部8d，进行用于去除微小噪声的收缩处理，将比指定值小的像素集合去除之后，进行用于修正收缩成分的扩张处理；之后，由将构成相同连接成分的像素集合附加相同号码的标签处理，通过将有效区域的构成像素数的指定比率以下的区域替换为有效区域，从而进行填充处理。进一步地，掩模生成部8d，对区域信息使用平均滤波器(averagingfilter)，对区域的缘部附加合成灰度。

此处，掩模生成部8d，构成基于抽取用背景图像和被摄体存在图像P1a(P1b)所对应的各像素的差异度(差分信息)D，生成用于从被摄体存在图像P1a抽取被摄体区域的掩模图像的掩模生成单元。

另外，图像处理部8，具有将被摄体S的图像与指定的单一颜色背景图像P5合成，生成被摄体剪切图像P4的图像数据的剪切图像生成部8e。

剪切图像生成部8e，利用色度键技术，使用由掩模生成部8d所生成的掩模图像，从被摄体存在图像P1a(P1b)中剪切被摄体区域，与单一颜色背景图像P5合成，生成被摄体剪切图像P4的图像数据。此外，掩模图像的边缘部分上，由于被附加了合成灰度，所以可以将剪切的被摄体区域和单一颜色背景图像P5的边界部分合成为不清晰的自然感觉。

此处，剪切图像生成部8e，构成基于抽取用背景图像和被摄体存在图像P1a(P1b)的对应的各像素的差分信息，从被摄体存在图像P1a中抽取被摄体区域的被摄体抽取单元。

记录介质9，例如由非易失性存储器(闪速存储器)等构成，存储由图像处理部8的JPEG压缩部(图示省略)所编码的拍摄图像的记录用的图像数据。

另外，记录介质9，在将由图像处理部8的掩模生成部8d所生成的掩模图像，和被摄体剪切图像P4的图像数据分别压缩的基础上建立关联，并将该被摄体剪切图像P4的图像数据的扩展名作为“.jpg”从而保存。

显示控制部10，进行读出图像存储器5中临时存储的显示用图像数据并显示于显示部11的控制。

具体而言，显示控制部10，具有VRAM、VRAM控制器、数字视频编码器等。由此，数字视频编码器在CPU13的控制下，将从图像存储器5中读出的VRAM(图示省略)中存储的亮度信号Y和色差信号Cb、Cr，通过VRAM控制器，定期从VRAM中读出，基于这些数据，生成视频信号，向显示部11输出。

显示部11，为例如液晶显示装置，基于来自显示控制部10的视频信号，将由电子拍摄部2所拍摄的图像等在显示画面11a上显示。具体而言，显示部11，在拍摄模式下，基于拍摄透镜部1、电子拍摄部2和拍摄控制部3对被摄体S的拍摄而生成的多个图像帧，显示实时取景图像，或显示作为本拍摄图像所拍摄的存储取景(レツクビユ一)图像。

操作输入部12，是用于进行该拍摄装置100的指定操作的部件。具体而言，操作输入部12，具有被摄体S的拍摄指示所涉及的快门按钮12a、菜单画面中拍摄模式或功能等选择指示所涉及的模式按钮12b、变焦量的调整指示所涉及的变焦按钮(图示省略)等，根据这些按钮的操作，向CPU13输出指定的操作信号。

CPU13控制拍摄装置100的各部分。具体而言，CPU13，根据拍摄装置100用的各种处理程序(图示省略)进行各种控制工作。

接下来，参照图2～图8，对由拍摄装置100执行的图像处理方法所涉及的被摄体剪切处理进行说明。

图2和图3，是表示被摄体剪切处理所涉及的工作的一例的流程图。

被摄体剪切处理，是基于由用户对操作输入部12的模式按钮12b的指定操作，从菜单画面中显示的多个拍摄模式中选择指示了被摄体剪切模式时所实行的处理。

如图2所示，首先，CPU13将图像存储器的标记表(图示省略)中写入背景拍摄标记＝0之后(步骤S1)，使得显示控制部10，基于由拍摄透镜部1、电子拍摄部2和拍摄控制部3对被摄体S的拍摄所依次生成的图像帧，将实时取景图像在显示部11的显示画面11a上显示，同时与该实时取景图像重叠，将背景指示消息(例如，“请向着背景”等)在显示部11的显示画面11a上显示(步骤S2，参照图6(a))。

然后，CPU13，使得显示控制部10，基于由拍摄透镜部1、电子拍摄部2和拍摄控制部3对被摄体S的拍摄所依次生成的图像帧，进行对实时取景图像的更新的控制(步骤S3)；基于实时取景图像显示用的图像帧(背景图像P2)的YUV数据，使得特征量计算部6a将特征高的块区域(特征点)抽出，同时使得偏差量算出部6c根据公式(1)，计算作为各块区域内的偏差量的标准偏差(步骤S4)。

(公式3)

$\bar{b}=\frac{1}{N}\underset{n=1}{\overset{N}{\Sigma }}{b}_n$

${\sigma }_b=\sqrt{\frac{1}{1-N}\underset{n=1}{\overset{N}{\Sigma }}{(b_n-\bar{b})}^2}---\left(1\right)$

接下来，CPU13通过判定由特征量计算部6a所抽取的特征高的块区域是否在指定值以下，和由偏差量算出部6c所计算出的背景图像P2的块内的像素值的偏差量是否在指定值以下，使得非平坦度判定部8a判定有无特征点和该块内的像素值的偏差量(步骤S5)。

此处，如果判定为没有特征点和该块内的像素值的偏差量(步骤S5：是)，也就是说，以特征量少的素色背景为背景拍摄被摄体S的情况下(参照图6(b))，CPU13使得显示控制部10将拍摄指示消息(例如，“请拍摄被摄体S”等)与实时取景图像重叠，在显示部11的显示画面11a上显示(步骤S6)。

之后，CPU13，使得显示控制部10，基于由拍摄透镜部1、电子拍摄部2和拍摄控制部3对被摄体S的拍摄所依次生成的图像帧，进行对实时取景图像的更新的控制(步骤S7)，同时判定有无由用户对操作输入部12的快门按钮12a作拍摄指示操作(步骤S8)。

之后，用户使被摄体S在视角内移动，或是等到被摄体S移动之后(参照图6(c))，在步骤S8中，判定快门按钮12a被拍摄指示操作时(步骤S8：是)，CPU13使得被摄体存在图像P1a的光学像以指定的拍摄条件由拍摄部2所拍摄，基于从电子拍摄部2传送的被摄体存在图像P1a的图像帧，使得图像数据生成部4生成被摄体存在图像P1a的YUV数据，将该YUV数据在图像存储器5中临时存储(步骤S9)。

由此，生成了以特征量少的背景为背景的被摄体S被拍摄的被摄体存在图像P1a。

另一方面，在步骤S6中，如果判定为有特征点和该块内的像素值的偏差量(步骤S5：否)，也就是说，例如，以特征量多的背景为背景拍摄被摄体S的情况下(参照图8(a))，CPU13判定有无由用户对操作输入部12的快门按钮12a作拍摄指示操作(步骤S10)。

此处，如果判定为没有对快门按钮12a作拍摄指示操作(步骤S10：否)，CPU13将处理向步骤S3转移。另一方面，如果判定为对快门按钮12a作拍摄指示操作(步骤S10：是)，CPU13将图像存储器的标记表(图示省略)中写入背景拍摄标记＝1之后(步骤S11)，将处理向步骤S9转移，进行被摄体S的拍摄。

由此，生成了以特征量多的背景为背景的被摄体S被拍摄的被摄体存在图像P1b。

接下来，如图3所示，CPU13判定是否为背景拍摄标记＝0(步骤S12)。

此处，如果判定为背景拍摄标记＝0(步骤S12：是)，CPU13进行使得非平坦度计算部6和图像处理部生成用于从被摄体存在图像P1a中抽取被摄体区域的抽取用背景图像的背景生成处理(步骤S13)。

此处，对背景生成处理参照图4进行详细说明。

图4是表示背景生成处理所涉及的工作的一例的流程图。

如图4所示，非平坦度计算部6的分割部6b，基于被摄体存在图像P1a的YUV数据，将该被摄体存在图像P1a的周边部分分割为多个图像块B(参照图7(a))，抽取各图像块B的特征点(步骤S31)。

紧接着，图像处理部的偏差量计算部6c，对作为被摄体存在图像P1a的周边部分的多个图像块B的各自的像素值的偏差量的标准偏差，根据公式(1)计算出来(步骤S32)。

(公式4)

$\bar{b}=\frac{1}{N}\underset{n=1}{\overset{N}{\Sigma }}{b}_n$

${\sigma }_b=\sqrt{\frac{1}{1-N}\underset{n=1}{\overset{N}{\Sigma }}{(b_n-\bar{b})}^2}---\left(1\right)$

接下来，非平坦度判定部8a，判定对被摄体存在图像P1a的周边部分的多个图像块B所抽取的特征点是否为指定值以下，同时判定各图像块B的偏差量是否在指定值以下，对该判定的结果，将判定为特征点在指定值以下，且块内的像素值的偏差量在指定值以下的图像块B进行计数，判定图像块B是否为多个。进一步地，对无偏差的图像块B内，相同颜色的图像块B进行计数。然后，判定无偏差、相同颜色的图像块B的数目是否在指定值(例如图像整体的块数的一半)以上(步骤S33)。

此处，当判定为无偏差、相同颜色的图像块B在指定值以上时(步骤S33：是)，背景生成部8b，生成与该图像块B的颜色相同的背景色的抽取用背景图像的YUV数据(步骤S34)，背景生成成功(步骤S35)。

另一方面，在步骤S33中，当判定无偏差、相同颜色的图像块B未达到指定值时(步骤S33：否)，例如，无偏差的稳定图像块B虽然有，但不是相同颜色的块等的情况下，由于背景无法特别指定，不生成抽取用背景图像，背景生成失败(步骤S36)。

由此，背景生成处理结束。

如图3所示，接下来，CPU13，使得背景生成部8b判定背景生成是否成功(步骤S14)。

此处，当判定为背景生成成功时(步骤S14：是)，CPU13，使得图像处理部进行检测被摄体存在图像P1a中包括被摄体S的被摄体区域的区域检测处理(步骤S15)。

此处，对区域检测处理，参照图5进行详细说明。

图5是表示区域检测处理所涉及的工作的一例的流程图。

如图5所示，图像处理部的掩模生成部8d，根据公式(2)，计算出抽取用背景图像(背景图像)的YUV数据和被摄体存在图像P1a的YUV数据之间所对应的各像素的差异度D，生成差异度图表(步骤S41)。

(公式5)

D＝(Yc-Y)²+G×((Uc-U)²+(Vc-V)²)                (2)

接下来，掩模生成部8d，将生成的差异度图表以指定的阈值进行二值化，生成掩模图像数据(步骤S42)。然后，掩模生成部8d，通过判定例如背景(二值化：0)区域是否非常小等，判断二值化是否成功(步骤S43)。

此处，当判断为二值化成功时(步骤S43：是)，掩模生成部8d，为了修正被摄体区域的周围部分的过量裁切(残り過ぎ)和去除微小噪声，对掩模图像数据进行收缩处理，将比指定值小的像素集合去除之后(步骤S44)，进行用于修正收缩成分的扩张处理(步骤S45)。

接着，被摄体S有与背景色相似颜色的情况下，由于掩模图像的被摄体区域内缺损，掩模生成部8d，由将构成相同连接成分的像素集合附加相同号码的标签处理，通过将掩模图像数据的有效区域的构成像素数的指定比率以下的区域替换为有效区域，进行填充处理(步骤S46)。

之后，掩模生成部8d，对掩模图像数据使用平均滤波器，对区域的边缘附加合成灰度(步骤S47)，区域检测成功(步骤S48)。

另一方面，步骤S43中，当判断为二值化不成功时(步骤S43：否)，例如，背景(二值化：0)区域非常小的情况等，掩模生成部8d视为二值化失败，区域检测失败(步骤S49)。

由此，区域检测处理结束。

如图3所示，步骤S14中，判定为背景生成不成功时(步骤S14：否)，CPU13将被摄体S的剪切失败所涉及的指定消息(例如，“被摄体S的剪切已失败”等)在显示部11的显示画面11a上显示(步骤S16)，被摄体剪切处理结束。

另外，步骤S12中，判定背景拍摄标记＝0不成立时(步骤S12：否)，也就是说，背景拍摄标记＝1的情况下，CPU13，使得显示控制部10，将被摄体存在图像P1b的半透明的显示状态的图像和被摄体不存在图像P3的拍摄指示消息(例如，“请拍摄背景”等)，与实时取景图像重叠，在显示部11的显示画面11a上显示(步骤S17，参照图8(b))。

之后，CPU13，使得显示控制部10，基于由拍摄透镜部1、电子拍摄部2和拍摄控制部3对被摄体S的拍摄所依次生成的图像帧，进行对实时取景图像的更新的控制(步骤S18)；同时判定由用户对操作输入部12的快门按钮12a有无拍摄指示操作(步骤S19)。

之后，用户使被摄体S移动至视角外，或是等到被摄体S移动之后(参照图8(b))，在步骤S19中，判定快门按钮12a被拍摄指示操作时(步骤S19：是)，CPU13使得被摄体不存在图像P3的光学像以指定的拍摄条件由拍摄部2所拍摄，基于从电子拍摄部2传送的被摄体不存在图像P3的图像帧，使得图像数据生成部4生成被摄体不存在图像P3的YUV数据，将该YUV数据在图像存储器5中临时存储(步骤S20)。

由此，生成了被摄体S不存在的特征量多的背景被拍摄的被摄体不存在图像P3。

接下来，CPU13使得非平坦度计算部6、块匹配部7和图像处理部8，以被摄体不存在图像P3的YUV数据为基准，进行被摄体存在图像P1b的YUV数据和被摄体不存在图像P3的YUV数据的对位处理(步骤S21)。

具体而言，特征量计算部6，基于被摄体不存在图像P3的YUV数据，选择指定数目(或指定数目以上)的特征高的块区域(特征点)，将该选择块的内容作为模板抽取。然后，块匹配部7，在被摄体存在图像P1b中搜索与特征抽取处理中抽取的模板的像素值最为匹配的位置，像素值的差异度的评价值为最佳的被摄体不存在图像P3和被摄体存在图像P1b之间最合适的偏移量，作为该模板的运动矢量被算出。

然后，图像处理部8的对位部8c，基于由块匹配部7算出的多个模板的运动矢量，统计计算出整体的运动矢量，使用该整体的运动矢量所涉及的特征点对应，计算出被摄体存在图像P1b的投影变换矩阵后，通过基于该投影变换矩阵对被摄体存在图像P1b作投影变换，进行被摄体存在图像P1b的YUV数据和被摄体不存在图像P3的YUV数据的对位处理。

接下来，CPU13，使得图像处理部8判定对位是否成功(步骤S22)。也就是说，图像处理部8判定，在步骤S21中，由多个模板的运动矢量是否统计计算出整体的运动矢量，是否使用该整体的运动矢量所涉及的特征点对应，计算出被摄体存在图像P1b的投影变换矩阵。

此处，判定为对位成功时(步骤S22：是)，CPU13将处理转移至步骤S15，使得图像处理部8的掩模生成部8d进行区域检测处理(参照图5)(步骤S15)。

此处的区域检测处理，对作为背景图像使用被摄体不存在图像P3的以外的点与上述内容大致相同，省略其详细说明。也就是说，掩模生成部8d，根据公式(2)，计算出作为背景图像的被摄体不存在图像P3的YUV数据和被摄体存在图像P1b的YUV数据之间对应各像素的差异度D，生成差异度图表(步骤S41)。

(公式6)

D＝(Yc-Y)²+G ×((Uc-U)²+(Vc-V)²)                    (2)

之后，如上所述，掩模生成部8d，进行将差异度图表作二值化，生成掩模图像数据的处理(步骤S42)；判断二值化是否成功的处理(步骤S43)；对掩模图像数据的收缩处理(步骤S44)；用于修正收缩成分的扩张处理(步骤S45)；通过标签，将掩模图像数据的指定比率以下的区域替换为有效区域的处理(步骤S46)；对掩模图像数据使用平均滤波器，对被摄体区域的边缘部分附加合成灰度的处理(步骤S47)等。

另一方面，步骤S21中，判定为对位不成功时(步骤S21：否)，CPU13将处理转移至步骤S16，将被摄体S的剪切失败所涉及的指定消息在显示部11的显示画面11a上显示之后(步骤S16)，结束被摄体剪切处理。

然后，区域检测处理(步骤S15)结束之后，CPU13使得掩模生成部8d判定被摄体区域的检测是否成功(步骤S23)。

此处，被摄体区域的检测被判定为成功时(步骤S23：是)，CPU13，使得剪切图像生成部8e，利用色度键技术，使用区域检测处理中生成的掩模图像，从被摄体存在图像P1a(P1b)中剪切被摄体区域，与指定的单一颜色背景图像P5合成，生成被摄体剪切图像P4(参照图7(b))的图像数据(步骤S24)。

具体而言，剪切图像生成部8e，读出被摄体存在图像P1a(P1b)、单一颜色背景图像P5和掩模图像数据，在图像存储器5中展开之后，在被摄体存在图像P1a(P1b)当中，对于掩模图像数据的填充部分(被摄体S以外的部分)覆盖的像素，用单一颜色背景图像P5的指定单一颜色填充，另一方面，对于被摄体部分的像素什么也不做，对指定的单一颜色不使其透过。此外，掩模图像的边缘部分上，由于被附加了合成灰度，所以剪切的被摄体区域和单一颜色的背景图像P5的边界部分成为不清晰的自然感觉。

之后，CPU13，使得显示控制部10，基于由剪切图像生成部8e所生成的被摄体剪切图像P4的图像数据，将在指定的单一颜色背景图像P5上重叠的被摄体S的被摄体剪切图像P4在显示部11的显示画面11a上显示(参照图7(c))。

接下来，CPU13，在记录介质9的指定的存储区域中，将由图像处理部8的掩模生成部8d所生成的掩模图像数据和被摄体剪切图像P4的图像数据相关联，将该被摄体剪切图像P4的图像数据的扩展名作为“.jpg”以一个文件而保存(步骤S25)。

由此，被摄体剪切处理结束。

另一方面，在步骤S23中，当判定为对位不成功时(步骤S22：否)，CPU13将处理转移至步骤S16，将被摄体S的剪切失败所涉及的指定消息在显示部11的显示画面11a上显示之后(步骤S16)，被摄体剪切处理结束。

如上所述，根据本实施方式的拍摄装置100，判定背景中存在被摄体S的被摄体存在图像P1a的周边部分的非平坦度是否在指定值以下，在判定为非平坦度在指定值以下的情况下，由该被摄体存在图像P1a的周边部分，生成被摄体区域的抽取用的抽取用背景图像，基于抽取用背景图像和被摄体存在图像P1a的对应各像素的差异度D，从被摄体存在图像P1a中抽取被摄体区域，生成被摄体剪切图像P4。

具体而言，被摄体存在图像P1a的周边部分被分割为多个图像块B，抽取多个图像块B各自的特征点，判定多个图像块B的各自的特征点是否在指定值以下。另外，判定多个图像块B内的像素值的偏差量是否在指定值以下。而且，特征点判定为在指定值以下，且块内的像素值的偏移量判定为在指定值以下的图像块B为多个的情况下，生成与被摄体存在图像P1a的周边部分的颜色相同的抽取用背景图像。然后，基于抽取用背景图像和被摄体存在图像P1a的对应各像素的差异度D，生成掩模图像，使用该掩模图像从被摄体存在图像P1a中抽取被摄体区域。

由此，只用对被摄体存在图像P1a进行一次拍摄，就可以不用对背景图像P2另外拍摄而生成抽取用背景图像，利用使用该抽取用背景图像而生成的掩模图像，能够从被摄体存在图像P1a中简便地抽取被摄体区域。

另外，被摄体存在图像P1a的周边部分被分割为多个图像块B，通过判定每个图像块B，被摄体存在图像P1a的周边部分相同颜色的图像块B是否为多个，和块内的像素值有无偏差等，可以正确进行背景图像是否为抽取用背景图像的生成所适宜的素色单色的背景的判定。

另外，从作为实时取景图像显示用的图像帧而依次生成的背景图像P2的图像帧中抽取特征点，判定该背景图像P2的特征点是否在指定值之下。另外，判定背景图像P2的多个块内的像素值的偏移量是否在指定值以下。由此，例如，判定为如在特征量少的背景为背景拍摄被摄体S的情况下(参照图6(b))，当判定为特征点在指定值以下，且块内的像素值的偏差量在指定值以下时，通过拍摄与背景图像P2大致相同的背景中存在被摄体S的被摄体存在图像P1a，可以从该被摄体存在图像P1a的周边部分生成抽取用背景图像。

由此，通过利用实时取景图像显示用的图像帧，可以发现被摄体S的最佳剪切环境，能够提供更为好用的拍摄装置。

与之相对，例如，判定为如在特征量多的背景为背景拍摄被摄体S的情况下(参照图8(a))，特征点比指定值多时，在被摄体存在图像P1b拍摄后，通过在与该被摄体存在图像P1b背景相同的背景中拍摄被摄体S不存在的被摄体不存在图像P3，在进行这些被摄体存在图像P1b和被摄体不存在图像P3对位之后，基于对位的被摄体存在图像P1b和被摄体不存在图像P3的对应各像素的差异度D，可以从被摄体存在图像P1b中抽取被摄体区域。

换言之，即使在以特征量多的背景为背景拍摄被摄体S的情况下，通过拍摄被摄体不存在图像P3，也可以基于被摄体存在图像P1b和被摄体不存在图像P3的对应各像素的差异度D而生成掩模图像，使用该掩模图像从被摄体存在图像P1b中抽取被摄体区域。

此外，本发明不限定于上面的实施方式，在不超出本发明的主旨的范围内，可以进行各种改良和设计的改变。

例如，在抽取用背景图像生成的时候，是判定被摄体存在图像P1a的周边部分的多个图像块B的各个特征点和块内的像素值的偏移量两者是否在指定值之下的，但不限于此，也可以通过判定特征点和偏移量的至少一方，而判定图像块B的非平坦度，在非平坦度判定为指定值以下的情况下，生成抽取用背景图像。

另外，显示实时取景图像的时候，是判定作为实时取景图像显示用而生成的背景图像P2的图像帧的特征点和块内的像素值的偏移量两者是否在指定值之下的，但不限于此，也可以通过判定特征点和偏移量的至少一方，而进行背景图像的非平坦度的判定，在非平坦度判定为指定值以下的情况下，拍摄在与背景图像P2大致相同的背景中存在被摄体S的被摄体存在图像P1a。

进一步地，也可以将生成的被摄体剪切图像P4和指定的背景用图像(图示省略)合成，生成被摄体合成图像(图示省略)。

在此被摄体合成图像的生成处理中，对于被摄体剪切图像P4的图像数据，对于掩模图像数据的填充部分(被摄体S以外的部分)覆盖的像素，用背景用图像的颜色填充，另一方面，对于被摄体部分的像素什么也不做，对指定的背景用图像的颜色不使其透过。由此，可以生成被摄体剪切图像P4的被摄体区域与指定的背景用图像(图示省略)重叠的被摄体合成图像。

另外，在上述实施方式中，掩模用图像数据和被摄体剪切图像P4的图像数据相关联以一个文件而保存，而掩模图像数据和被摄体存在图像P1a的图像数据相关联以一个文件保存于记录介质(存储单元)9中，也是可以的。这样的情况下，该文件再现时可以准备两个模式，即，使被摄体存在图像P1a再现的模式，和再现时应用掩模图像数据来合成并显示被摄体剪切图像P4的模式。

进一步地，拍摄装置100的构造，上面实施方式中示例的结构是一个例子，但不限于这样的结构。

另外，上面的实施方式中，作为抽取单元、判定单元、背景生成单元、和被摄体抽取单元的功能，是在CPU13的控制下，由图像处理部8驱动而实现的构造，但不限于这样的结构，也可以是由CPU13实行指定的程序等的构造。

也就是说，在存储程序的程序存储器(图示省略)中，预先存储包括非平坦度计算处理程序、判定处理程序、背景生成处理程序、和被摄体抽取处理程序的程序。并且，也可以由非平坦度计算处理程序，将CPU13作为计算由拍摄单元拍摄的被摄体存在图像P1a的周边部分的非平坦度的非平坦度计算单元来工作。另外，也可以由判定处理程序，将CPU13作为判定抽取处理中抽取的被摄体存在图像P1a的周边部分的非平坦度是否在指定值以下的判定单元而工作。另外，也可以由背景生成处理程序，将CPU13，作为在判定处理中非平坦度判定为指定值以下的情况下，从被摄体存在图像P1a的周边部分生成被摄体存在图像P1a中包括被摄体S的被摄体区域的抽取用的抽取用背景图像的背景生成单元而工作。另外，也可以由被摄体抽取处理程序，将CPU13，作为基于抽取用背景图像和被摄体存在图像P1a的对应各像素的差分信息，从被摄体存在图像P1a中抽取被摄体区域的被摄体抽取单元而工作。