首页> 中国专利> 肖像画生成装置、肖像画生成方法

肖像画生成装置、肖像画生成方法

摘要

提供一种肖像画生成装置、肖像画生成方法,其用于在从面部图像制作肖像画时,以发挥了像本人的样子的状态施加期望的修正。肖像画生成装置包括:图像取得部,取得拍摄了对象者的面部的面部图像;图像校正部,对所述面部图像实施至少校正面部的一部分的校正处理而生成校正面部图像;以及肖像画生成部,使用所述校正面部图像来生成所述对象者的肖像画。

著录项

  • 公开/公告号CN105405157A

    专利类型发明专利

  • 公开/公告日2016-03-16

    原文格式PDF

  • 申请/专利权人 欧姆龙株式会社;

    申请/专利号CN201510418671.4

  • 发明设计人 加藤良子;张立舟;入江淳;

    申请日2015-07-16

  • 分类号G06T11/00;

  • 代理机构北京市柳沈律师事务所;

  • 代理人胡金珑

  • 地址 日本京都府

  • 入库时间 2023-12-18 14:50:10

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-12-28

    授权

    授权

  • 2016-04-13

    实质审查的生效 IPC(主分类):G06T11/00 申请日:20150716

    实质审查的生效

  • 2016-03-16

    公开

    公开

说明书

技术领域

本发明涉及从面部图像生成肖像画的技术。

背景技术

已知如下技术:基于拍摄面部而获得的图像数据,通过计算机图像处理 而自动或者半自动地制作肖像画。例如,在专利文献1中,公开了如下方法: 从面部图像提取面部器官(眼睛、鼻子、嘴等)、轮廓、发型等的特征量,基 于该特征量,从预先准备的多个肖像画用部件(part)中选择适当的部件而配 置,从而制作肖像画。除此之外,还提出了从图像生成肖像画的各种方法, 但不论哪种方法在想要使肖像画制作成尽可能与输入图像的面部相似的点上 是共同的。但是,忠实地再现了原来的面部的肖像画不一定被用户所喜欢。 例如,存在即使对眼睛小而感到自卑的人提示了将眼睛的部件减小的肖像画, 也得不到用户的满足的可能性。此外,由于使用了在面部浮肿时拍摄的图像, 所以被制作轮廓比原本大的肖像画也不好。相反地,本人认为是魅力点的特 征在肖像画中没有反映或者不明显,也违背用户的期待。

因此,以往,为了制作用户喜欢的肖像画,在肖像画制作后修正了部件 的大小和配置。此外,在专利文献2中,提出了如下方法:自动修正,使得 将轮廓或眼睛等的部件的纵横比、面积、角度接近预先准备的理想的值。

但是,在肖像画制作后修正部件的方法中,难以以保留了像本人的样子 的状态,将用户希望的变更反映到肖像画。这是因为在制作了肖像画的时刻 (即,在从面部图像只提取了每个部件的特征的时刻),几乎失去了表示本人 的面部特征的信息。例如,在对肖像画进行了增大眼睛的修正的情况下,由 于肖像画的信息量比原来的图像降低(例如,泪袋被消除等),所以存在眼睛 周边的表现变得不像本人的可能性。此外,在对肖像画进行了减小面部的修 正的情况下,也由于信息量比原来的图像降低(例如,阴影被消除等),所以 存在脸蛋儿的表现不像本人的可能性。

现有技术文献

专利文献

专利文献1:(日本)特开2004-288082号公报

专利文献2:(日本)特开2004-110728号公报

发明内容

本发明是鉴于上述实情而完成的,其目的在于,提供一种用于在从面部 图像制作肖像画时,以发挥了像本人的样子的状态施加期望的修正的技术。

为了达到上述目的,本发明的肖像画生成装置的特征在于,包括:图像 取得部,取得拍摄了对象者的面部的面部图像;图像校正部,对所述面部图 像实施至少校正面部的一部分的校正处理而生成校正面部图像;以及肖像画 生成部,使用所述校正面部图像来生成所述对象者的肖像画。

根据该结构,通过对原来的面部图像实施校正处理,例如能够对对象者 感到自卑的部分进行修正,或者强调对象者的面部的特征,所以能够生成符 合对象者的喜好的肖像画。并且,由于对原来的面部图像实施这样的校正处 理(而不是对肖像画),所以能够不会损失与本人的面部特征有关的信息量而 进行校正。因此,能够获得以发挥了像本人的样子的状态进行了期望的校正 处理的肖像画。

优选地,所述肖像画生成部从所述校正面部图像提取与面部相关联的特 征量,基于所述提取的特征量来生成所述对象者的肖像画。由此,能够获得 适当地反映了校正后的面部的特征的肖像画。

优选地,还包括校正内容指定部,该校正内容指定部使用户指定对所述 面部图像实施的校正处理的内容,所述图像校正部根据在所述校正内容指定 部中由用户所指定的校正处理的内容,进行所述面部图像的校正。由此,由 于能够使用户指定校正处理的内容,所以能够提供符合用户本人的希望的肖 像画。

优选地,还包括估计部,该估计部基于所述面部图像来估计所述对象者 的属性或者状态中的至少任一个,所述校正内容指定部根据所述估计部的估 计结果来变更用户能够指定的校正处理的内容。由此,由于能够根据对象者 的属性或状态来变更能够指定的校正处理的内容,对用户推荐适当的校正, 所以能够实现用户的操作负担的减轻或可用性的提高。

优选地,还包括显著部分确定部,该显著部分确定部基于所述面部图像, 在所述对象者的面部中确定具有显著性的显著部分,所述校正内容指定部根 据所述显著部分确定部的确定结果来变更用户能够指定的校正处理的内容。 由此,由于对对象者的面部中的显著部分实施校正处理,所以能够生成强调 了该人的面部的特征的肖像画或者使该人感到自卑的部分变得不明显的肖像 画。

优选地,还包括估计部,该估计部基于所述面部图像来估计所述对象者 的属性或者状态中的至少任一个,所述图像校正部根据所述估计部的估计结 果来变更对所述面部图像实施的校正处理的内容。由此,由于根据对象者的 属性或状态来自动决定校正处理的内容,所以能够消除用户的操作负担,实 现流畅且短时间的肖像画制作。

优选地,还包括显著部分确定部,该显著部分确定部基于所述面部图像, 在所述对象者的面部中确定具有显著性的显著部分,所述图像校正部根据所 述显著部分确定部的确定结果来变更对所述面部图像实施的校正处理的内 容。由此,由于对对象者的面部中的显著部分实施校正处理,所以能够生成 强调了该人的面部的特征的肖像画或者使该人感到自卑的部分变得不明显的 肖像画。此外,由于根据显著部分来自动决定校正处理的内容,所以能够消 除用户的操作负担,实现流畅且短时间的肖像画制作。

优选地,还包括他人图像取得部,该他人图像取得部取得他人的面部图 像,所述图像校正部校正所述对象者的面部图像,以使所述对象者的面部图 像内的面部与所述他人的面部图像内的面部相似。由此,能够制作保持像本 人的样子且看起来还像名人等的他人的面部的肖像画。

另外,本发明能够作为具有上述结构或功能的至少一部分的肖像画生成 装置、或者具备肖像画生成装置的电子设备来把握。此外,本发明还能够作 为包括上述处理的至少一部分的肖像画生成方法、或者用于使计算机执行该 方法的程序、或者非临时性地记录了这样的程序的计算机能够读取的记录介 质来把握。上述各个结构以及处理只要不产生技术上的矛盾,则能够相互组 合而构成本发明。

根据本发明,在从面部图像制作肖像画时,能够以发挥了像本人的样子 的状态施加期望的修正。

附图说明

图1是示意性地表示第一实施方式的肖像画生成装置的结构的框图。

图2是第一实施方式的肖像画生成处理的流程图。

图3(a)~(c)是原面部图像、校正后面部图像、肖像画的例。

图4是示意性地表示第二实施方式的肖像画生成装置的结构的框图。

图5是第二实施方式的肖像画生成处理的流程图。

图6(a)~(c)是第二实施方式的肖像画生成装置的画面例。

图7是示意性地表示第三实施方式的肖像画生成装置的结构的框图。

图8(a)~(c)是在第三实施方式中使用的估计结果和校正处理的内容 的对应表格的例。

图9是第三实施方式的肖像画生成处理的流程图。

图10是第三实施方式的肖像画生成装置的画面例。

图11是第四实施方式的肖像画生成处理的流程图。

图12是示意性地表示第五实施方式的肖像画生成装置的结构的框图。

图13是示意性地表示第六实施方式的肖像画生成装置的结构的框图。

图14是第六实施方式的肖像画生成处理的流程图。

标号说明

10:信息处理装置、11:摄像装置、12:显示装置、13:输入装置

60:原面部图像的显示区域、61:校正面部图像的显示区域

100:图像取得部、101:图像校正部、102:肖像画生成部、102a:肖像 画用部件数据库、103:装饰处理部、104:校正内容指定部、105:估计部、 106:显著部分确定部、107:面部图像数据库、108:他人图像取得部、109: 类似面部选择部

具体实施方式

本发明涉及基于拍摄面部而获得的面部图像数据,通过计算机图像处理 而自动或者半自动地生成肖像画的技术。该技术适合应用于例如在个人计算 机、智能手机、平板终端、便携电话、游戏机、其他的电子设备中动作的肖 像画制作应用或Avatar制作应用等。

<第一实施方式>

(肖像画生成装置的结构)

图1是示意性地表示本发明的第一实施方式的肖像画生成装置的结构的 框图。

作为主要的硬件,肖像画生成装置包括信息处理装置10和摄像装置11 和显示装置12和输入装置13。信息处理装置10是具有CPU(中央运算处理 装置)、RAM(随机存取存储器(RandomAccessMemory))、辅助存储装置 (例如,闪速存储器、硬盘)等的计算机。在本实施方式中,作为一例,通 过在智能手机中安装肖像画制作应用来构成肖像画生成装置。此时,智能手 机的内置相机起到摄像装置11的作用,触摸面板显示器起到显示装置12和 输入装置13的作用。

如图1所示,作为主要的功能,信息处理装置10具有图像取得部100、 图像校正部101、肖像画生成部102、装饰处理部103。这些功能通过在信息 处理装置10的辅助存储装置中存储的程序加载到RAM中,由CPU执行, 从而实现。另外,也可以将这些中的一部分或者全部的功能由ASIC等的电 路来构成,也可以在其他的计算机(例如,云服务器)中处理。

图像取得部100具有取得成为肖像画的基础的面部图像的数据的功能。 面部图像的数据既能够从摄像装置11获取,也可以从信息处理装置10内的 辅助存储装置或网络上的数据服务器等取得。

图像校正部101具有对面部图像实施校正处理的功能。以后,为了区分 校正前和校正后的图像,将校正前的面部图像称为“原面部图像”,将校正后 的面部图像称为“校正面部图像”。

作为校正处理,若是至少校正或修正面部的一部分的处理,则可以安装 任意处理。具体而言,能够例示将皮肤粗糙或斑点/皱纹等去除或变得不明显 的美肤校正、变更皮肤的亮度或色调的美白校正、增大或减小眼睛或者设为 双眼皮的眼睛校正、减小面部的轮廓的小脸校正、在瞳孔中进入眼神光(Catch light)或者增大瞳孔的瞳孔校正、变更鼻子的大小或高度的鼻子校正、变更 嘴唇/牙齿的色调或光泽或者变更嘴的大小的嘴校正、施加腮红/眼影/睫毛膏 等的彩妆的化妆处理等。另外,关于这些校正处理,也可以以公知的方法为 首,利用各种方法。例如,美肤校正能够通过使用了高斯滤波器的模糊处理 等来实现,美白校正能够通过明度或色彩平衡的调整来实现。此外,面部器 官(眼睛、鼻子、嘴等)或轮廓的大小变更、变形、移动这样的校正能够通 过从面部图像检测多个特征点(面部器官的端点/中心点、轮廓上的点等), 以将各特征点移动到期望的位置的方式来变形图像而实现(例如,参照(日 本)特开2011-233073号公报)。此外,关于嘴唇或牙齿的校正,例如能够 利用在(日本)特开2012-256130号公报或(日本)特开2012-190287号 公报中记载的方法,关于化妆处理,例如能够利用在(日本)特开2012-98808 号公报或(日本)特开2012-95730号公报中记载的方法。

肖像画生成部102具有从面部图像生成肖像画的功能。在肖像画生成的 算法中,大致有对面部图像实施滤波器处理或减色处理等而加工成插图风格 的图像的方法、从面部图像提取与面部相关联的特征量并基于该特征量来生 成肖像画的方法。可以使用任意方法,但在本实施方式中,采用后者的方法。 这是因为能够获得更加适当地反映了校正后的面部的特征的肖像画。肖像画 生成部102具有注册有面部器官(眼睛、鼻子、嘴、眉毛等)、轮廓、发型等 的部件群的肖像画用部件数据库102a。在该数据库102a中,例如,细长的眼 睛、圆的眼睛、鱼糕型的眼睛、单眼皮的眼睛、双眼皮的眼睛……那样,关 于一个部位准备有多种部件。

装饰处理部103具有对在肖像画生成部102中生成的肖像画,背景的变 更、服装的变更、装饰品或兴趣信息的追加等附加各种装饰的功能。

(肖像画生成装置的动作)

参照图2的流程图和图3的图像例,说明肖像画生成装置的肖像画生成 处理的流程。

首先,用户通过摄像装置11来拍摄对象者(既可以是用户本人,也可以 是他人)的面部,或者操作输入装置13而指定在辅助存储装置内或者数据服 务器内保存的图像文件(步骤S20)。于是,通过图像取得部100而读入原面 部图像的数据(步骤S21)。图3(a)是原面部图像的例。

接着,图像校正部101对原面部图像实施预定的校正处理,生成校正面 部图像(步骤S22)。这里,作为一例,假设实施稍微减小鼻子的大小的小鼻 校正。图3(b)是小鼻校正后的校正面部图像的例。

接着,肖像画生成部102从在步骤S22中生成的校正面部图像,提取构 成面部的各部位的特征量(步骤S23)。作为部位,例如有面部器官(眼睛、 鼻子、嘴、眉毛等)、面部的轮廓、发型等。作为特征量,例如若是HOG或 SURF等的形状特征、颜色直方图、浓淡、大小、粗细、间隔等与面部相关 联的特征量,则也可以利用任意特征量。并且,肖像画生成部102基于每个 部位的特征量,从肖像画用部件数据库102a中选出特征最匹配的部件(步骤 S24),通过将其进行组合而生成肖像画的数据(步骤S25)。图3(c)是使用 图3(b)的校正面部图像而生成的肖像画的例。

之后,在由装饰处理部103适当地附加了装饰之后(步骤S26),最终的 肖像画显示在显示装置12中(步骤S27)。

根据以上叙述的本实施方式的处理,通过对原面部图像实施校正处理, 例如能够对对象者感到自卑的部分进行修正,或者强调对象者的面部的特征, 所以能够生成符合对象者的喜好的肖像画。并且,由于对原面部图像实施这 样的校正处理(而不是对肖像画),所以能够不会损失与本人的面部特征有关 的信息量而进行校正。因此,能够获得以发挥了像本人的样子的状态进行了 期望的校正处理的肖像画。

另外,在本实施方式中,作为校正处理而例示了小鼻校正,但也可以应 用其他的校正处理,除了一种之外也可以应用多种校正处理。此外,虽然在 图2的流程中没有明示,但也可以根据需要,将原面部图像或修正面部图像 显示在显示装置12中,使用户确认。

<第二实施方式>

在上述第一实施方式中,说明了将预先确定的种类的校正处理应用于原 面部图像的结构,但在第二实施方式中,说明用户能够指定自己希望的校正 处理的结构。另外,以下,以本实施方式特有的结构以及处理为中心进行说 明,关于与前述的实施方式相同的结构以及处理,赋予相同的标号,省略其 详细的说明。

图4是示意性地表示本发明的第二实施方式的肖像画生成装置的结构的 框图。与第一实施方式(图1)的不同点在于,信息处理装置10包括使用户 指定对原面部图像实施的校正处理的内容的校正内容指定部104。校正处理 的内容是校正处理的种类(也称为校正项目)和其校正量(也称为校正程度)。

参照图5的流程图和图6的画面例,说明第二实施方式的肖像画生成处 理的流程。

与第一实施方式相同地,由图像取得部100读入通过摄像装置11拍摄到 的图像或者保存的图像的数据(步骤S20、S21)。被读入的原面部图像如图6 (a)所示那样显示在显示装置12中。在图6(a)的例中,在画面内配置有 原面部图像的显示区域60、校正面部图像的显示区域61、用于指定校正处理 的内容的GUI(图形用户界面(GraphicalUserInterface))62。

用户通过对GUI62进行触摸操作,能够指定希望的校正处理的内容(步 骤S50)。具体的操作如下那样进行。首先,用户从GUI62的菜单(面部/眼 睛/鼻子/嘴)中选择想要进行校正的部位。例如,若选择“鼻子”,则如图 6(b)所示,显示与“鼻子”相关联的校正项目。“小鼻校正”是变更鼻子整 体的大小的校正处理,“高光(Highlights)校正”是通过调整鼻梁的部分的 明度而使得将鼻子看起来高的校正处理。若用户勾选希望的校正项目,则如 图6(c)所示,显示用于输入校正程度的滑动器。若使滑动器左右移动,则 能够调整校正程度。在图6(c)的例中,将滑动器越向右移动则校正程度越 大,即从原面部图像的变化越大。

若用户操作GUI62,则响应于此,图像校正部101对原面部图像应用所 指定的内容的校正处理,生成校正面部图像(步骤S51)。被生成的校正面部 图像如图6(c)所示那样显示在显示区域61中。用户通过对比着看在显示区 域60和61中分别显示的校正前和校正后的图像,能够容易确认是否获得了 如自己的希望的校正。在与希望不同的情况下,重新输入校正项目或校正程 度,进行校正的微调即可(步骤S52;否)。

若在获得了如希望的校正面部图像之后,用户触摸“肖像画生成”按钮 (步骤S52;是),则肖像画生成部102使用校正面部图像而生成肖像画(步 骤S23~S25)。以后的处理与第一实施方式相同。

根据以上叙述的本实施方式的处理,能够获得与第一实施方式相同的作 用效果。除此之外,根据本实施方式,由于能够使用户指定校正处理的内容, 所以具有能够提供符合用户本人的希望的肖像画的优点。

另外,在本实施方式中,作为校正处理而例示了小鼻校正,但也可以应 用其他的校正处理,也可以应用并非只一种而是多种校正处理。此外,图6 所示的GUI是一例,只要用户能够进行指定或确认则也可以使用任意的GUI。

<第三实施方式>

在上述第二实施方式中,说明了用户能够指定自己希望的校正处理的结 构,但在第三实施方式中,说明进行面部的属性或状态的估计,并根据其估 计结果来变更(限制)能够指定的校正处理的内容的结构。另外,以下,以 本实施方式特有的结构以及处理为中心进行说明,关于与前述的实施方式相 同的结构以及处理,赋予相同的标号,省略其详细的说明。

图7是示意性地表示本发明的第三实施方式的肖像画生成装置的结构的 框图。与第二实施方式(图4)的不同点在于,信息处理装置10具有进行在 面部图像中包含的对象者的面部的属性或状态的估计的估计部105。属性是 在对象者或者对象者的面部中具备的固有的性质或特征,例如举出年龄、年 代、性别、人种等的项目。状态是在对象者或者对象者的面部的图像中的样 子(在图像中如何呈现),例如举出表情、笑脸、面部朝向等的项目。这里列 举的项目是属性以及状态的一例,只要是能够从图像估计的信息,则也可以 估计任意的属性或状态。此外,也可以从一个面部图像只估计一个项目,也 可以估计多个项目。在估计多个项目的情况下,也可以仅是属性的项目,仅 是状态的项目,属性的项目和状态的项目的双方的任意的组合。关于估计属 性或状态的处理,也可以利用以公知的方法为首的任意的方法。关于年龄或 年代的估计,例如能够利用在(日本)特开2008-282089号公报或(日本) 特开2009-230751号公报中记载的方法,关于人种的估计,例如能够利用在 (日本)特开2005-266981号公报中记载的方法。关于性别,能够根据从图 像提取的特征(例如,有无胡须、有无喉结、有无化妆、发型、服装)等来 估计。此外,表情、笑脸、面部朝向的估计能够从面部器官的位置关系等来 估计(例如,参照国际公开2006/051607号)。

图8表示估计部105具有的、估计结果和校正处理的内容的对应表格的 一例。图8(a)是性别的表格的例,分别定义了在“女性”的情况下应用的 校正项目和在“男性”的情况下应用的校正项目。在该例中,在对象者为“女 性”的情况下,应用放大眼睛的校正、美肤校正、小脸校正,在男性的情况 下,应用将皮肤的颜色加黑的晒黑校正。图8(b)是性别+年代的表格的例, 定义了“女性20多岁”的情况下和“女性30多岁”的情况下的校正处理的 内容。在各校正项目中设定的数值是校正程度的上限值(10为最大值)。在 该例中,表示“女性30多岁”比“女性20多岁”能够将美肤校正和消除皱 纹的校正的校正程度设定得高。图8(c)是表情的表格的例,分别定义了在 “笑脸”的情况下应用的校正项目和在“无表情”的情况下应用的校正项目。 在该例中,在对象者为“笑脸”的情况下应用消除皱纹的校正,在“无表情” 的情况下应用将嘴角上扬的校正。若预先准备这样的对应表格,则能够根据 属性或状态的估计结果,变更校正项目或者变更校正程度的调整幅度。

参照图9的流程图和图10的画面例,说明第三实施方式的肖像画生成处 理的流程。

与第二实施方式相同地,由图像取得部100读入通过摄像装置11拍摄到 的图像或者保存的图像的数据(步骤S20、S21)。接着,估计部105从读入 的原面部图像进行预定的属性或状态的估计处理(步骤S90),并根据其估计 结果来变更用户能够指定的校正处理的内容(步骤S91)。这里,表示根据性 别估计的结果和图8(a)的对应表格来变更能够指定的校正项目的例。图10 是读入的原面部图像和用于指定校正处理的GUI的画面例,但表示在原面部 图像被估计为是“女性”的面部的结果,能够从GUI选择的校正项目被设定 为“眼睛放大校正”、“美肤校正”、“小脸校正”。以后的处理与第二实施方式 相同。

根据以上叙述的本实施方式的处理,能够获得与第二实施方式相同的作 用效果。除此之外,根据本实施方式,由于能够根据对象者的属性或状态来 变更能够指定的校正处理的内容,对用户推荐适当的校正项目或校正程度, 所以具有能够实现用户的操作负担的减轻或可用性的提高的优点。

另外,图10所示的GUI是一例,只要用户能够指定或确认,则也可以 使用任意的GUI。此外,图8所示的对应表格也是一例,只要定义了属性/状 态和校正处理的内容的对应关系,则也可以使用任意的表格。

<第四实施方式>

在上述第三实施方式中,说明了根据面部的属性或状态的估计结果来变 更(限制)能够指定的校正处理的内容的结构,但在第四实施方式中,说明 根据面部的属性或状态的估计结果来自动决定校正处理的内容的结构。另外, 以下,以本实施方式特有的结构以及处理为中心进行说明,关于与前述的实 施方式相同的结构以及处理,赋予相同的标号,省略其详细的说明。

图11表示第四实施方式的肖像画生成处理的流程。另外,装置结构也可 以与第三实施方式(图7)相同。

与第三实施方式相同地,由图像取得部100读入通过摄像装置11拍摄到 的图像或者保存的图像的数据(步骤S20、S21)。接着,估计部105从读入 的原面部图像进行预定的属性或状态的估计处理(步骤S110),并根据其估 计结果来决定对原面部图像实施的校正处理的内容(步骤S111)。例如,在 使用了性别估计的结果和图8(a)的对应表格的情况下,若原面部图像被估 计为是“女性”的面部,则选出“眼睛放大校正”、“美肤校正”、“小脸校正” 的3种校正处理。

接着,图像校正部101对原面部图像实施在步骤S111中选出的校正处理, 生成校正面部图像(步骤S112)。以后的处理与第三实施方式等相同。

根据以上叙述的本实施方式的处理,能够获得与第三实施方式相同的作 用效果。除此之外,根据本实施方式,由于能够根据对象者的属性或状态来 自动决定校正处理的内容,所以具有能够消除用户的操作负担,实现流畅且 短时间的肖像画制作的优点。

<第五实施方式>

在上述第三以及第四实施方式中,利用了面部的属性或状态的估计结果, 但在第五实施方式中,将在对象者的面部中具有显著性的部分(显著部分) 利用于校正处理的内容的变更(限制)。另外,以下,以本实施方式特有的结 构以及处理为中心进行说明,关于与前述的实施方式相同的结构以及处理, 赋予相同的标号,省略其详细的说明。

图12是示意性地表示本发明的第五实施方式的肖像画生成装置的结构 的框图。与第三实施方式(图7)的不同点在于,信息处理装置10具有显著 部分确定部106来代替估计部105。显著性(saliency)是指,相对于其他的 部分具有辨识性,容易引起人(观察者)的注意的性质,是在图像识别等的 领域中广泛地使用的概念。例如,比其他人眼睛大、下巴长、有明显的痣等 都容易引起人的注意,也容易留下记忆。在制作肖像画的情况下,通过发挥 或者强调这样的在面部中容易引起人的注意的部分(显著部分),能够获得较 好地捕捉到对象者的特征的肖像画。另一方面,反过来看,显著部分也有可 能成为这个人的自卑的原因。因此,作为对显著部分施加的校正处理,考虑 为了强调面部的特征而向提高显著性的方向校正的情况和为了隐藏自卑部分 而向降低显著性的方向校正的情况的双方,也可以在装置的设计时采用任意 的校正。

关于确定显著部分的处理,也可以利用以公知的方法为首的任意的方法。 本实施方式的显著部分确定部106预先存储平均面部中的各部位(面部器官、 轮廓)的特征量(称为平均特征量),在检测出从原面部图像提取的特征量和 平均特征量的背离程度大于预定值的部位的情况下,将该部位确定为显著部 分。例如,在对象者的左右眼的间隔比平均面部的间隔明显宽的情况下,该 部位被检测为显著部分。另外,特征量的背离程度,在特征量为标量的情况 下,根据两个特征量的差或者比来评价即可,在特征量为矢量的情况下,能 够根据特征量空间内的欧几里得距离或两个矢量的内积等来评价。

关于在由显著部分确定部106确定了显著部分之后的处理,也可以如第 三实施方式所示,校正内容指定部104进行根据显著部分的确定结果来变更 能够指定的校正处理的内容的处理,也可以如第四实施方式所示,图像校正 部101进行根据显著部分的确定结果来变更对原面部图像实施的校正处理的 内容的处理。在前者的情况下,准备将显著部分的确定结果和校正处理的内 容相对应的表格来代替图8的对应表格,将图9的处理流程的步骤S90和S91 的处理分别置换为“从原面部图像确定显著部分的处理”和“根据确定结果 来变更用户能够指定的校正处理的内容的处理”即可。在后者的情况下,将 图11的处理流程的步骤S110和S111的处理分别置换为“从原面部图像确定 显著部分的处理”和“根据确定结果来决定对原面部图像实施的校正处理的 内容的处理”即可。

通过以上叙述的本实施方式的处理,也能够获得与第三实施方式或第四 实施方式相同的作用效果。除此之外,根据本实施方式,由于对对象者的面 部中的显著部分实施校正处理,所以能够生成强调了该人的面部的特征的肖 像画或者使该人感到自卑的部分变得不明显的肖像画。

<第六实施方式>

在前述的实施方式中,自动或者手动地决定了校正项目或校正程度,但 在第六实施方式中,使用他人的面部图像,进行校正,以使将对象者的面部 图像内的面部与他人的面部图像内的面部相似。由此,能够制作保持像本人 的样子且还与他人的面部相似的肖像画。本实施方式的方法例如能够应用于 制作名人风格的肖像画的应用。另外,以下,以本实施方式特有的结构以及 处理为中心进行说明,关于与前述的实施方式相同的结构以及处理,赋予相 同的标号,省略其详细的说明。

图13是示意性地表示本发明的第六实施方式的肖像画生成装置的结构 的框图。与第一实施方式(图1)的不同点在于,信息处理装置10具有面部 图像数据库107和他人图像取得部108和类似面部选择部109。

面部图像数据库107是注册有多个人的面部图像的数据库。例如,预先 注册有多个名人的面部图像即可。他人图像取得部108从面部图像数据库107 取得设为校正的目标的他人的面部图像(称为目标面部图像)。将谁的面部选 为目标面部图像,也可以由用户自身能够从面部图像数据库107中任意指定, 也可以由他人图像取得部108推荐选项,使用户从其选项中选择。类似面部 选择部109是将与对象者的面部相似的他人的面部图像选为推荐用的选项的 功能。二个面部的类似性能够应用面部认证的技术,根据从对象者的原面部 图像提取的特征量和从他人的面部图像提取的特征量之间的类似度来评价。 例如,类似面部选择部109将对象者的面部的特征量与在面部图像数据库107 中注册的各面部的特征量进行比较,将类似度大于预定值的面部选为类似面 部即可。

图14表示第六实施方式的肖像画生成处理的流程。与前述的实施方式相 同地,由图像取得部100读入通过摄像装置11拍摄到的图像或者保存的图像 的数据(步骤S20、S21)。接着,类似面部选择部109从面部图像数据库107 中选出与读入的原面部图像类似的他人的面部图像(步骤S140)。并且,他 人图像取得部108将在步骤S140中选出的他人的面部图像在显示装置12中 一览显示,催促用户选择目标面部图像(步骤S141)。若用户从该选项中选 择期望的目标面部图像(步骤S142),则图像校正部101以使原面部图像内 的面部与目标面部图像内的面部相似的方式进行原面部图像的校正,生成校 正面部图像(步骤S143)。具体而言,考虑以使原面部图像内的特征点的位 置与目标面部图像内的特征点的位置接近的方式将原面部图像变形,或者将 原面部图像的明度或色调等接近目标面部图像的明度或色调等的处理。在获 得了校正面部图像之后的处理与前述的实施方式相同。

根据以上叙述的本实施方式的处理,也能够获得与前述的实施方式相同 的作用效果。除此之外,根据本实施方式,能够制作保持像本人的样子且看 起来还像名人等的面部的肖像画。此外,在本实施方式中,由于选出并推荐 与对象者的面部相似的类似面部,所以具有即使察觉不到自己像谁,也能够 容易地选择适当的目标面部图像的优点。当然,也可以不进行类似面部的推 荐,用户能够将任意的人的面部图像指定为目标面部图像。例如,即使是在 将完全不像自己的人的面部选为目标面部图像的情况下,也能够期待获得那 个唯一的肖像画。

<其他的实施方式>

上述的实施方式的结构只不过表示了本发明的一具体例,并不是限定本 发明的范围的宗旨。本发明在不脱离其技术思想的范围中,能够采用各种具 体结构。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号