图像变形装置、电子设备、图像变形方法、图像变形程序、以及记录有该程序的记录介质

摘要

数码相机（10）的控制部（11）根据指定的变形种类，使脸部摄影图像的至少一部分变形。控制部（11）具有：图像获取部（20），获取脸部摄影图像；特征点检测部（22），从获取的脸部摄影图像中，检测表示脸部特征的特征点；控制点设定部（23），根据检测出的特征点以及与变形种类相对应的设置方案和移动方案，在所述摄影图像中设定控制点和该控制点的移动量向量；格子点设定部（24），在摄影图像中设定格子点，并根据设定的控制点和该控制点的移动量向量，来对设定的格子点的移动量向量进行设定；图像变形部（25），根据设定的格子点的移动量移动格子点，使以格子点为顶点的四边形图像区域变形。由此，能够减轻图像变形处理的负担。

说明书

技术领域

本发明涉及图像变形装置、电子设备、图像变形方法、图像变形程序、 以及记录有该程序的记录介质，能够根据指定的变形种类，使作为对象物体 的对象物的摄影图像的至少一部分变形。

背景技术

近年，就数码相机及附有相机功能的手机等数码摄像装置而言，随着硬 件的多功能化及高功能化的日益发展，以软件的多功能化及高功能化来实现 产品的差别化已成为一种趋势。所谓软件的多功能化及高功能化，举例来说， 是指通过使拍摄的脸部图像中的脸的一部分形状扩大或缩小，来实现小脸型， 或滑稽脸型等的脸部变形功能。

专利文献1~3中揭示了所述脸部变形功能的现有技术。专利文献1中所 述的图像处理装置能够从对象图像中检测出脸部图像，对于检测出的脸部图 像，根据与变形种类相对应的指定的设置方案，设置多个分割点，并通过移 动分割点来使被分割点包围的区域变形，由此使所述脸部图像变形。

专利文献2中所述的图像处理装置能够从人物图像中抽取脸部区域，并 从抽取出的脸部区域中检测出所述人物的轮廓，并根据检测出的所述人物的 脸部轮廓对所述人物的脸型进行分类，然后根据分类后的所述人物脸型的种 类对所述人物脸部轮廓进行修正。专利文献3中所述的脸部图像变形装置能 够在人的脸部及颈部的图像上设置若干个点，并由所述这些点生成网眼并将 网眼重叠在图像上，然后对于各个点，使用歪曲向量再次进行设置，由此使 所述网眼变形来使脸部图像变形。

如上所述，现有的脸部变形功能为，从对象图像中检测出脸部图像，并 根据检测出的脸部图像设置分割点或脸部轮廓，然后根据变形种类使所述分 割点或脸部轮廓移动，由此使被所述分割点或脸部轮廓包围的区域变形。

（现有技术文献）

专利文献1：日本国专利申请公开公报“特开2008-242807号公报”；2008 年10月9日公开。

专利文献2：日本国专利申请公开公报“特开2004-264893号公报”；2004 年9月24日公开。

专利文献3：美国专利申请公开“第2008/0174795号说明书”；2008年7 月24日公开。

发明内容

（本发明要解决的问题）

然而，就上述现有技术而言，由于是根据检测出的脸部图像来设置分割 点或脸部轮廓，因此，当脸部图像中的脸部倾斜的时候，为了对应该脸部的 倾斜，有必要旋转所述分割点或脸部轮廓。因此，就需要计算被所述分割点 或脸部轮廓包围的区域的边界，并针对图像的每一像素来判断图像的像素包 含在哪个区域中。结果导致需要处理的量增多。特别是数码相机或附有相机 功能的手机等小型设备，在执行所述脸部变形功能时，处理时间成为有待解 决的问题。

本发明正是鉴于上述问题而完成的，其目的在于，提供能够减轻处理负 担的图像变形装置等。

（解决问题的方案）

本发明的图像变形装置为，根据指定的变形种类，使作为对象物体的对 象物的摄影图像的至少一部分变形的图像变形装置，为了解决上述问题，该 图像变形装置的特征在于具有：获取单元，获取所述对象物的摄影图像；检 测单元，从该获取单元所获取的对象物的摄影图像中，检测表示所述对象物 特征的特征信息；控制点设定单元，根据该检测单元所检测出的特征信息、 以及与所述变形种类相对应的设置方案和移动方案，在所述摄影图像中设定 控制点和该控制点的移动信息；格子点设定单元，在所述摄影图像中设定格 子点，并根据所述控制点设定单元所设定的控制点和该控制点的移动信息， 来对设定的格子点的移动信息进行设定；图像变形单元，根据该格子点设定 单元所设定的格子点的移动信息来移动格子点，使以格子点为顶点的四边形 图像区域变形。

本发明的图像变形方法为，根据指定的变形种类，使作为对象物体的对 象物的摄影图像的至少一部分变形的图像变形方法，为了解决上述问题，该 图像变形方法的特征在于包含：获取步骤，获取所述对象物的摄影图像；检 测步骤，从在该获取步骤中所获取的对象物的摄影图像中，检测表示所述对 象物特征的特征信息；控制点设定步骤，根据在该检测步骤中所检测出的特 征信息、以及与所述变形种类相对应的设置方案和移动方案，在所述摄影图 像中设定控制点和该控制点的移动信息；格子点设定步骤，在所述摄影图像 中设定格子点，并根据在所述控制点设定步骤中所设定的控制点和该控制点 的移动信息，来对设定的格子点的移动信息进行设定；图像变形步骤，根据 在该格子点设定步骤中所设定的格子点的移动信息移动格子点，使以格子点 为顶点的四边形图像区域变形。

在此，变形的种类例如为小脸型变形等。而当为脸部图像时，特征信息 例如为小眼角、大眼角、嘴的端点、脸部中心点、下颚端点、额角等。

根据上述结构和方法，当获取了对象物的摄影图像后，从获取的对象物 的摄影图像中，检测表示该对象物特征的特征信息，并根据检测出的特征信 息、和与变形种类相对应的设置方案和移动方案，在所述摄影图像中设定控 制点和该控制点的移动信息。另一方面，在摄影图像中，与控制点无关地设 定格子点。然后根据所述控制点和该控制点的移动信息来对设定的格子点的 移动信息进行设定。之后，根据设定的格子点的移动信息，使以格子点为顶 点的四边形图像区域变形。由此，使对象物的图像变形。

于是，在本发明中，在图像变形中使用的格子点与根据图像特征信息设 置的控制点无关。因此，即使根据摄影图像中的对象物的倾斜而倾斜设置了 控制点，也不需要倾斜设置格子点，从而，也不需要倾斜设置以所述格子点 为顶点的四边形图像区域。因此，能够易于判断图像的像素包含在哪个所述 图像区域中，从而减轻处理负担。

所述变形的控制点的移动量例如可以按照以下方式来决定：使计算机预 先学习要使各控制点移动多少距离为佳，由此生成对象物的移动量向量分布 模型，并将生成的模型与所述对象物的特征点相拟合。并且，也可以存储经 用户手动设定的各控制点的移动量。

此外，只要通过使用所述控制点的移动量信息，且例如利用3元B-样条 曲线函数等常用的插值处理，来求得用于所述变形的格子点的移动量即可。 通常，优选利用高元插值，但也可以所述控制点相同地生成移动量向量分布 模型，然后根据控制点的移动量与模型的移动量之间的关系，进行线性计算 来求得格子点的移动量。

（发明的效果）

如上所述，对于本发明的图像变形装置，由于在图像变形中所使用的格 子点与根据图像特征信息设置的控制点无关，因此，即使根据摄影图像中的 对象物的倾斜而倾斜设置了控制点，也不需要倾斜设置格子点，从而，也不 需要倾斜设置以所述格子点为顶点的四边形图像区域，因此，能够易于判断 图像的像素包含在哪个所述图像区域中，从而减轻处理负担。

附图说明

图1是本发明一实施方式的数码相机的概略结构框图。

图2是上述实施方式的小脸型变形概要的示意图。

图3是所述小脸型变形概要的示意图。

图4是所述小脸型变形概要的示意图。

图5是所述小脸型变形概要的示意图。

图6是所述小脸型变形概要的示意图。

图7是所述小脸型变形概要的示意图。

图8是表示是否存在以下所述的移动量向量分布表的示意图，该移动量 向量分布表与脸部图像对应，且被存储在所述数码相机的存储部中。

图9是表示所述移动量向量分布表中x轴方向的移动量的表的例图。

图10是表示所述x轴方向的移动量的表的例图。

图11是表示所述x轴方向的移动量的表的例图。

图12是所述数码相机中的图像变形处理动作的流程图。

具体实施方式

下面参照图1~图12对本发明的一个实施方式进行说明。图1表示本实 施方式的数码相机的概略结构。如图所示，数码相机（电子设备）10具有控 制部（图像变形装置）11、存储部12、摄像部13、操作部14、以及显示部 15。

控制部11综合控制数码相机10内各种结构的动作。控制部11例如可由 包含CPU（Central Processing Unit；中央处理器）和内存的计算机来构成。 各种结构的动作控制是通过使计算机执行控制程序来实现的。该程序例如可 以通过读取闪存等可移动介质中所记录的数据的方式来使用，也可以通过读 取安装在硬盘等中的数据的方式来使用。此外，也可以通过下载所述程序并 安装在硬盘等中的方式来执行。关于控制部11将在下文中详细说明。

存储部12可以由闪存、ROM（Read Only Memory；只读存储器）等非 易失性存储装置、以及RAM（Random Access Memory；随机存取存储器）等 易失性存储装置构成。在非易失性存储装置中存储的内容例如包括：所述控 制程序、OS（operating system；操作系统）程序、其他各种程序、下述摄影 图像等。而在易失性存储装置中存储的内容例如包括：工作用文件、临时文 件等。关于存储部12将在下文中详细说明。

摄像部13用于对被摄体进行摄像，例如具有透镜组、光圈、摄像元件等 光学系统、以及放大器、A/D转换器等电路系统。摄像元件例如可以为CCD （Charge Coupled Device；电荷耦合器件）、CMOS（Complementary Metal-oxide Semiconductor；互补型金属氧化物半导体）图像传感器等。摄像部13通过所 述摄像生成摄影图像，并转换成摄影图像数据发送给控制部11。

操作部14用于受理用户经用户操作进行的各种输入，由输入用按键、触 屏、其他输入器件构成。操作部14将用户操作的信息转换成操作数据发送给 控制部11。输入器件例如还可以为键盘、数字键盘、鼠标等定点设备。

显示部15用于根据来自控制部11的图像数据，显示输出文字或图像等 各种信息。显示部15可以由LCD（液晶显示元件）、CRT（阴极射线管）、等 离子显示器等显示器件构成。

在本实施方式中，为了使朝向正面的脸部图像中的脸看起来苗条变小， 使脸部轮廓、特别是颚附近变形，即执行小脸型变形。图2~图7表示了本实 施方式的小脸型变形的概要。

首先，从摄像部13或存储部12中获取摄影图像CI的数据，然后如图2 的（a）所示，检测摄影图像CI中的脸部区域FA。在图示的例子中，脸部区 域FA为被黑框包围的区域。

然后，如图2的（b）所示，从检测出的脸部区域FA中，检测脸部特征 点（特征信息）FP。脸部特征点FP中包含表示眼、嘴、鼻等脸部器官特征 的脸部器官点。眼的脸部器官点例如包括大眼角、小眼角、眼的中心点等， 嘴的脸部器官点例如包括嘴的端点、嘴的中心点等，鼻的脸部器官点例如包 括鼻的中心点等。并不需要检测出所有的特征点，只要检测出与小脸型变形 有关的脸部特征点FP即可。在图2的（b）所示的例子中，检测出的特征点 FP为小眼角、大眼角、嘴的端点、脸部中心点、颚的端点、额角。

然后，如图2的（c）所示，根据检测出的脸部特征点FP，在摄影图像 CI中设置控制点CP。具体来说，控制点CP被设置在摄影图像CI中的变形 对象区域（例如，脸部、鼻、眼等）的轮廓上。在小脸型变形的例子中，可 以将颚的下端、额角、以及颚的腮等作为控制点CP。也可以将若干个特征点 FP作为控制点CP。在图示的例子中，控制点CP被设置在作为小脸型变形对 象的从颚到额角的脸部轮廓上。且颚的端点的特征点FP被设为控制点CP。

控制点CP的设置方案是根据变形种类而预先设定的。控制点CP的设置 方法可以从（1）通过检测出作为变形对象的轮廓线而进行设置的方法、以及 （2）生成轮廓线模型的方法等中选择。

然后，如图3所示，针对每个被设置的控制点CP，决定小脸型变形所需 的移动量和移动方向。例如，可以通过将设置的控制点CP与移动量表相拟 合，来决定所述移动量和移动方向。

在图3所示的例子中，决定的移动量和移动方向以移动量向量（控制点 的移动信息）MV来表示。各控制点CP的移动量向量MV均与自该控制点 CP起到脸部中心点（鼻顶点）的特征点FP为止的向量构成比例，比例常量 是针对每个控制点CP而设定的，以适合小脸型变形。在图示的例子中，两 侧的控制点CP的比例常量较大，即移动量较多，下侧的控制点CP的比例常 量较小，即移动量较少。

然后，如图4所示，不同于控制点CP，在至少包含变形对象区域的区域 中设定格子点GD。作为优选，格子点GD被设定为，由格子点GD所构成的 格子的各边与以下所示的2个坐标轴中的至少一个平行，其中，所述2个坐 标轴用于表示像素位置（所述2个坐标轴是指，用于表示图像中所包含的各 像素的位置的坐标中的纵轴和横轴）。此时，能够易于判断各像素包含在以4 个格子点GD为顶点的各个图像区域中的哪个图像区域中。

然后，如图5所示，根据控制点CP的移动量向量MV，计算格子点GD 的移动量以及移动方向。在图示的例子中，计算出的移动量和移动方向用移 动量向量（格子点移动信息）MVg表示。

与各控制点CP的移动方向同样，各格子点GD的移动方向为自该格子点 GD起朝向脸部中心点的特征点FP的方向。各格子点GD的移动量是，根据 该格子点GD附近的控制点CP的移动量向量MV的分布，利用3元B-样条 曲线（Spline）函数等高元插值方法来计算的。例如，将相邻格子点GD间的 距离设为1，根据从该格子点GD到控制点CP的距离来计算移动量。

然后，如图6的（a）所示，将以4个格子点GD为顶点的图像区域以图 6的（b）所示的方式，根据该4个格子点GD的移动量和移动方向进行变形。 结果，如图7所示，做成了经过小脸型变形的摄影图像CI’，并通过显示部 15显示输出。所述图像区域内的各像素的移动量和移动方向可以基于所述4 个格子点GD的移动量和移动方向，利用插值法来计算。

当所述4个格子点GD的移动量在规定值以下时，优选省略以所述4个 格子点GD为顶点的图像区域的变形。此时，能够减少进行变形处理的图像 区域，从而实现处理高速化。

此外，当所述4个格子点GD中的某个的移动量或亮度差在规定值以上 时，优选利用高元插值的方法，计算所述图像区域内的各像素的移动量和移 动方向。此时，能够高精度地使所述图像区域的图像变形，由此能够抑制图 像变形导致的图像质量下降。

由此，对于本实施方式的数码相机10，在图像变形中使用的格子点GD 的设定方式与根据图像的特征信息所设置的控制点CP无关。因此，即使根 据摄影图像CI中的脸部倾斜来倾斜设置控制点CP，也不需要倾斜设置格子 点GD，从而，也不需要倾斜设置以所述格子点GD为顶点的四边形图像区域。 因此，能够容易地判断图像的像素包含在哪个所述图像区域中，从而减轻处 理负担。

下面，对控制部11和存储部12进行详细说明。如图1所示，控制部11 包含图像获取部（获取单元）20、脸部检测部21、特征点检测部（检测单元） 22、控制点设定部（控制点设定单元）23、格子点设定部（格子点设定单元） 24、以及图像变形部（图像变形单元）25。存储部12包含用于存储摄影图像 数据的图像存储部30、以及用于存储移动量向量分布表（设置方案、移动方 案）的表存储部31。

图像获取部20自摄像部13中获取摄影图像CI数据。图像获取部20将 获取的摄影图像CI的数据存储在图像存储部30中。在本实施方式中，图像 获取部20将自摄像部13或图像存储部30中获取的摄影图像CI的数据发送 给脸部检测部21及特征点检测部22。

脸部检测部21利用来自图像获取部20的摄影图像CI的数据，从摄影图 像CI中检测脸部区域FA（图2的（a））。脸部检测部21将检测出的脸部区 域FA的位置信息发送给特征点检测部22。脸部区域FA的检测方法可以采用 模板匹配方法、肤色区域检测方法、脸部轮廓检测方法等已知的技术。

特征点检测部22利用来自图像获取部20的摄影图像CI的数据、和来自 脸部检测部21的脸部区域FA的位置信息，检测脸部特征点FP（图2的（b））。 特征点检测部22将检测出的脸部特征点FP的位置信息发送给控制点设定部 23。脸部特征点FP的检测方法可以采用边缘抽出等已知的技术。

控制点设定部23根据来自特征点检测部22的脸部特征点FP的位置信 息，设定控制点CP（图2的（c））。并且，控制点设定部23对于设定的每个 控制点CP，均设定小脸型变形所需的移动量和移动方向（图3）。控制点设 定部23将设定的控制点CP的位置信息、和设定的移动量和移动方向发送给 格子点设定部24。

在此，参照图8~图11来详细说明所述移动量和移动方向的设定。在本 实施方式中，控制点设定部23利用表存储部31中所存储的移动量向量分布 表，来设定所述移动量和移动方向。

移动量向量分布表是根据对象物的移动量分布模型而生成的，其中，所 述对象物的移动量向量分布模型预先定义了将各控制点CP移动多少距离为 佳。移动量向量分布表预先将脸部轮廓朝脸部中心移动的方向，定义为移动 方向。

图8表示是否存在与脸部图像相对应的移动量向量分布表。在图示中， 黑色区域表示移动量为零，即不存在移动量向量的区域，白色区域表示移动 量不为零，即存在移动量向量的区域。如图所示，移动量向量在脸部图像的 颚附近存在。因此，移动量向量分布表定义了脸部图像在颚附近的变形程度。

移动量向量分布表决定了与脸部图像的特征点（例如，额角及颚的下端 点等）之间的位置关系，为了与检测出的脸部区域FA匹配，移动量向量分布 表进行尺寸改变（resize）及旋转。所述尺寸改变是以如下所述的方式进行的。 移动量向量分布表具有表示x轴方向移动量的表、和表示y轴方向移动量的 表。以下，仅对表示x轴方向移动量的表进行说明，表示y轴方向移动量的 表也与此相同。

图9~图11表示移动量向量分布表中x轴方向移动量的表的一个例子。 在图9~图11中，左上侧为尺寸改变前的表MTx，下侧为尺寸改变后的表 MTx’。在x坐标中，利用左右对称轴为0的相对坐标。

脸部几乎左右对称。因此，如图所示，实际的表MTx只具有图8所示的 白色区域中的左右某个区域的数据。实际利用时，另一区域的数据可以通过 计算得出。

首先，从表MTx的第1行开始逐行读取数据值，并将数据值写入尺寸改 变后的表MTx’中。此时，尺寸改变后的坐标为将原MTx坐标的n倍（n≠ 0）进行整数化后的值。且将相同值复制到左右对称的坐标中。然而，图9所 示的x轴方向的移动量的符号需要逆转。在x轴方向上进行n倍尺寸改变的 数据值也为n倍。

扩大表MTx时，在写完第1行的数据值之后，会存在没有写入数据值的 坐标。此时，利用写入坐标的数据值，通过线性插值来在没有写入数据值的 坐标中填充数据值即可。图10表示在表MTx’中写完第1行数据值后的状 态。

对表MTx的第2行以后的各行也重复进行同样的处理即可。在扩大表 MTx时，还会产生没有写入数据值的行。此时，对于没有写入数据值的行， 利用上下的已写入数据值的行中的数据值，通过线性插值来填充数据值即可。 图11表示利用表MTx的第1、2行数据值，写完了表MTx’的第1~3行数 据值的状态。在上述处理的基础上计算出各控制点CP的移动量向量即可。

返回到图1，格子点设定部24与控制点CP无关地将脸部图像区域分割 成格子状，并设定格子点GD。例如，以脸部中心为原点，只要将脸部图像区 域以（2N+1）条与y轴平行的直线x=l×M（l为-N~N的整数）、和（2N+1） 条与x轴平行的直线y=m×M（m为-N~N的整数）进行分割即可。M为相 邻直线间的像素数。

此外，格子点设定部24根据来自控制点设定部23的各控制点CP的位 置信息、以及移动量和移动方向（实际上为x轴方向的移动量和y轴方向的 移动量），来计算各格子点GD的移动量和移动方向。格子点设定部24将各 格子点GD的位置信息、和移动量以及移动方向发送给图像变形部25。

图像变形部25根据来自格子点设定部24的各格子点GD的位置信息、 以及移动量和移动方向，对分割成格子状的图像区域、即以4个格子点GD 为顶点的图像区域进行变形，从而对摄影图像进行变形。图像变形部25控制 显示部15来显示变形后的摄影图像。

作为优选，图像变形部25根据以下设定的3个条件中满足哪个条件来切 换处理。即，

第1条件：图像区域中的4个格子点GD的移动量向量的大小的最大值 小于第1规定值；

第2条件：所述4个格子点GD的移动量向量的大小的最大值在第1规 定值以上且小于第2规定值；

第3条件：所述4个格子点GD的移动量向量的大小的最大值在第2规 定值以上。

在满足第1条件的图像区域中，各格子点GD的移动量较小，因此可以 认为格子点GD远离脸部轮廓，像素的移动量都较少，因此可以认为变形前 的图像和变形后的图像几乎无差别。因此，对于满足第1条件的图像区域， 可以跳过图像变形处理。由此，可以实现处理高速化。

在满足第2条件的图像区域中，虽然格子点GD稍微远离脸部轮廓，但 为了消除变形后图像的不协调感，优选进行图像变形。然而，由于线性插值 对变形后的图像质量的影响较小，因此可以采用线性插值进行图像变形。

在满足第3条件的图像区域中，可以认为格子点GD靠近脸部轮廓，且 变形程度最大。因此，如果通过线性插值来进行图像变形，变形后的图像有 可能不自然，因此需要通过高元插值进行图像变形。通过执行这些处理，能 够抑制图像变形所导致的图像质量下降，并能够实现图像变形处理的高速化。

在本实施方式中，所述3个条件均是利用了4个格子点GD的移动量向 量的大小的最大值，然而也可以利用最小值、平均值等任意的统计值。

图12表示具有所述结构的数码相机10中的图像变形处理动作。如图所 示，首先，脸部检测部21利用图像获取部20所获取的摄影图像CI，检测脸 部（对象物）区域FA（S10），然后，特征点检测部22根据检测出的脸部区 域FA，检测脸部特征点FP（S11）。

然后，控制点设定部23根据检测出的脸部特征点FP，设定控制点CP （S12），并设定各控制点CP的移动量（向量）（S13）。然后，格子点设定部 24将脸部图像区域分割成格子状的小区域（S14），并根据设定的控制点CP 和该控制点CP的移动量，计算各格子点GD的移动量（向量）（S15）。

然后，图像变形部25将整数i初始化为0（S16），并重复进行以下处理， 直至整数i超过小区域的数量Ns为止（S17）。即，图像变形部25获取第i 个小区域中的4个格子点GD的移动量（向量）（S18），当获取的移动量（向 量）的绝对值的最大值小于第1规定值时（在S19中为“是”），图像变形部 25省略图像变形处理，直接进行到S23。

另一方面，当获取的移动量（向量）的绝对值的最大值在第1规定值以 上，且小于第2规定值时（在S19中为“否”，在S20中为“是”），则图像变 形部25通过线性插值进行图像变形（S21）。然后，进行到S23。另一方面， 当获取的移动量（向量）的绝对值的最大值在第2规定值以上时（在S19中 为“否”，在S20中为“否”），则图像变形部25通过高元插值进行图像变形 （S22）。然后进行到S23。在S23中，整数i被增加1，并返回到S17。

本发明并不限于上述实施方式，可以在权利要求所示的范围内进行各种 变更。即，在权利要求所示的范围内组合适当变更了的技术方案而得到的实 施方式也包含在本发明的技术范围内。

例如，在所述实施方式中，本发明可以适用于对人的脸部图像的变形， 但只要是人的眼、鼻、嘴等器官、人的全身、动物、壶等具有特定形状，且 能够被抽取表示该形状特征的特征点的物体，则本发明可以适用于任意的这 些物体的图像变形。

在本实施方式中，本发明适用于数码相机，但还可以适用于附有相机功 能的手机、安装有相机的PC等具有摄像功能的任意的电子设备。并且，也 可以适用于即使不具有摄像功能，但具有通过有线通信、无线通信、通信网 络、能够装卸的记录介质等来取得摄影图像数据的功能的任意电子设备。特 别是，本发明与现有技术相比，能够减轻处理负担，因此能很好地适用于小 型电子设备。

此外，数码相机10的各功能块，特别是控制部11，可以通过硬件逻辑 来构成，也可以如下所述通过CPU以软件来实现。

即，数码相机10具有：执行用于实现各功能的控制程序命令的CPU、存 储上述程序的ROM、展开上述程序的RAM、存储上述程序及各种数据的存 储器等存储装置（记录介质）。另外，向数码相机10提供记录介质，该记录 介质可由计算机读取且记录有数码相机10的控制程序的程序代码（可执行程 序、中间代码程序、源程序），所述控制程序是用于实现以上所述功能的软件， 通过由数码相机10的计算机（或CPU、MPU）来读出并执行记录介质中所 记录的程序代码，也能够实现本发明的目的。

关于上述记录介质，例如可以是磁带、盒式带等带类；也可以是包括软 盘（注册商标）、硬盘等磁盘以及CD-ROM、MO、MD、DVD、CD-R光盘 等盘类；也可以是IC卡（包括存储卡）、光卡等卡类；或是掩膜型ROM、 EPROM、EEPROM、闪存ROM等半导体存储器类。

另外，数码相机10也能够连接通信网络，上述程序代码也能够借助于通 信网络来提供。关于上述通信网络，并没有特别的限制，例如，可以利用互 联网（internet）、内联网（intranet）、外联网（extranet）、LAN、ISDN、VAN、 CATV通信网、虚拟专用网络（virtual private network）、电话回线网络、移动 通信网络、卫星通信网络等。另外，关于用以构成通信网络的传输介质，并 没有特别的限制，例如，可以利用IEEE1394、USB、电力线、电缆电视回线、 电话线、ADSL回线等有线通信，也可以利用诸如IrDA或遥控器等红外线、 Bluetooth（注册商标）、802.11无线通信、HDR、便携式电话网络、卫星回线、 地面数字广播网络等无线通信。

如上所述，本实施方式的图像变形装置为，根据指定的变形种类，使作 为对象物体的对象物的摄影图像的至少一部分变形的图像变形装置，为了解 决上述问题，该图像变形装置的特征在于具有：获取单元，获取所述对象物 的摄影图像；检测单元，从该获取单元所获取的对象物的摄影图像中，检测 表示所述对象物特征的特征信息；控制点设定单元，根据该检测单元所检测 出的特征信息、以及与所述变形种类相对应的设置方案和移动方案，在所述 摄影图像中设定控制点和该控制点的移动信息；格子点设定单元，在所述摄 影图像中设定格子点，并根据所述控制点设定单元所设定的控制点和该控制 点的移动信息，来对设定的格子点的移动信息进行设定；图像变形单元，根 据该格子点设定单元所设定的格子点的移动信息来移动格子点，使以格子点 为顶点的四边形图像区域变形。

本实施方式的图像变形方法为，根据指定的变形种类，使作为对象物体 的对象物的摄影图像的至少一部分变形的图像变形方法，为了解决上述问题， 该图像变形方法的特征在于包含：获取步骤，获取所述对象物的摄影图像； 检测步骤，从在该获取步骤中所获取的对象物的摄影图像中，检测表示所述 对象物特征的特征信息；控制点设定步骤，根据在该检测步骤中所检测出的 特征信息、以及与所述变形种类相对应的设置方案和移动方案，在所述摄影 图像中设定控制点和该控制点的移动信息；格子点设定步骤，在所述摄影图 像中设定格子点，并根据在所述控制点设定步骤中所设定的控制点和该控制 点的移动信息，来对设定的格子点的移动信息进行设定；图像变形步骤，根 据在该格子点设定步骤中所设定的格子点的移动信息移动格子点，使以格子 点为顶点的四边形图像区域变形。

在此，变形的种类例如为小脸型变形等。而当为脸部图像时，特征信息 例如为小眼角、大眼角、嘴的端点、脸部中心点、下颚端点、额角等。

根据上述结构和方法，当获取了对象物的摄影图像后，从获取的对象物 的摄影图像中，检测表示该对象物特征的特征信息，并根据检测出的特征信 息、和与变形种类相对应的设置方案和移动方案，在所述摄影图像中设定控 制点和该控制点的移动信息。另一方面，在摄影图像中，与控制点无关地设 定格子点。然后根据所述控制点和该控制点的移动信息来对设定的格子点的 移动信息进行设定。之后，根据设定的格子点的移动信息，使以格子点为顶 点的四边形图像区域变形。由此，使对象物的图像变形。

于是，在本实施方式中，在图像变形中使用的格子点与根据图像特征信 息设置的控制点无关。因此，即使根据摄影图像中的对象物的倾斜而倾斜设 置了控制点，也不需要倾斜设置格子点，从而，也不需要倾斜设置以所述格 子点为顶点的四边形图像区域。因此，能够易于判断图像的像素包含在哪个 所述图像区域中，从而减轻处理负担。

所述变形的控制点的移动量例如可以按照以下方式来决定：使计算机预 先学习要使各控制点移动多少距离为佳，由此生成对象物的移动量向量分布 模型，并将生成的模型与所述对象物的特征点相拟合。并且，也可以存储经 用户手动设定的各控制点的移动量。

此外，只要通过使用所述控制点的移动量信息，且例如利用3元B-样条 曲线函数等常用的插值处理，来求得用于所述变形的格子点的移动量即可。 通常，优选利用高元插值，但也可以与所述控制点相同地生成移动量向量分 布模型，然后根据控制点的移动量与模型的移动量之间的关系，进行线性计 算来求得格子点的移动量。

一般来说，就图像中的对象物的变形处理而言，由于变形的对象区域的 全部像素均为移动对象，因此，随着变形的对象区域的像素数的增加，处理 时间也相应地成比例增长。例如，设30万像素（640像素×480行）图像的 处理时间为1秒，则200万像素（1600像素×1200行）图像的处理时间为 6.25秒，500万像素（2560像素×1920行）图像的处理时间为16秒，1200 万像素（4000像素×3000行）图像的处理时间为39秒，此时，可以认为， 该处理时间将很难应用到实际中。因此，人们希望实现即使增加了像素数也 能保持处理时间不增加的技术。

在此，作为优选，在本实施方式的图像变形装置中，当对象图像区域中 所包含的格子点所需的移动量的统计值小于第1规定值时，所述图像变形单 元省略该图像区域的变形。

此时，能够实现处理高速化以及缩短处理时间。优选将满足以下情况的 所述统计值的上限值设定为第1规定值，该情况为：使该图像区域发生了变 形，也几乎无法用肉眼识别变形前的图像与变形后的图像的差别。此时，即 使省略了该图像区域的变形，也几乎不会对处理后的图像质量造成影响。统 计值例如包括最大值、最小值、平均值等。

此外，作为优选，在本实施方式的图像变形装置中，当对象图像区域中 所包含的格子点所需的移动量的统计值在第1规定值以上，且小于第2规定 值时，所述图像变形单元通过线性插值来对该对象图像区域进行变形。另一 方面，当所述格子点所需的移动量大于第2规定值时，所述图像变形单元通 过高元插值来对该对象图像区域进行变形。

此时，通过利用线性插值来代替高元插值，能够进一步实现处理高速化 和缩短处理时间。优选将满足以下情况的所述统计值的上限值设定为第2规 定值，该情况为：虽能用肉眼识别出变形前的图像与变形后的图像的差别， 但对图像质量的影像较小。此时，即使是利用线性插值来对该图像区域进行 了变形，也几乎不会对处理后的图像质量造成影响。

包含具有所述结构的图像变形装置的电子设备也能够发挥上述作用、效 果。此外，可以通过图像变形程序来在计算机上执行所述图像变形方法中的 各步骤。而且，将所述图像变形程序存储在计算机可读取的记录介质中，便 能在任意的计算机上执行所述图像变形程序。

（产业上的利用可能性）

如上所述，对于本发明的图像变形装置，由于在图像变形中所使用的格 子点与根据图像特征信息设置的控制点无关，因此，即使根据摄影图像中的 对象物的倾斜而倾斜设置了控制点，也不需要倾斜设置格子点，从而，也不 需要倾斜设置以所述格子点为顶点的四边形图像区域，因此，能够很好的适 用于能够获取摄影图像的任意的电子设备中。

[附图标记说明]

10数码相机（电子设备）

11控制部（图像变形装置）

12存储部

13摄像部

14操作部

15显示部

20图像获取部（获取单元）

21脸部检测部

22特征点检测部（检测单元）

23控制点设定部（控制点设定单元）

24格子点设定部（格子点设定单元）

25图像变形部（图像变形单元）

30图像存储部

31表存储部

CI    摄影图像

FP    特征点（特征信息）

CP    控制点

MV    移动量向量（控制点移动信息）

GD    格子点

MVg    移动量向量（格子点移动信息）

MTx    表