首页> 中国专利> 打印图像的方法和相片打印系统以及数字相机

打印图像的方法和相片打印系统以及数字相机

摘要

提供一种打印图像的方法和相片打印系统以及数字相机。所述打印图像的方法是一种通过相片打印机输出存储在图像存储装置中的图像的打印方法。所述方法包括:在将被打印的图像上设置临时打印区域;确定是否选择了全纸张打印选项,在全纸张打印中,在打印材料上不留空白;如果选择了全纸张打印选项,则检测在图像上拍摄的面部区域;确定检测的面部区域是否包括在打印区域中;根据确定结果调整打印区域,使得面部区域能够被包括在打印区域中。

著录项

  • 公开/公告号CN101370066A

    专利类型发明专利

  • 公开/公告日2009-02-18

    原文格式PDF

  • 申请/专利权人 三星Techwin株式会社;

    申请/专利号CN200810210442.3

  • 发明设计人 裴晟喆;金源晶;

    申请日2008-08-15

  • 分类号H04N1/00;H04N1/21;G06K9/00;

  • 代理机构北京铭硕知识产权代理有限公司;

  • 代理人郭鸿禧

  • 地址 韩国庆尚南道昌原市

  • 入库时间 2023-12-17 21:32:13

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-07-31

    未缴年费专利权终止 IPC(主分类):H04N1/00 授权公告日:20130724 终止日期:20190815 申请日:20080815

    专利权的终止

  • 2013-07-24

    授权

    授权

  • 2011-02-02

    专利申请权的转移 IPC(主分类):H04N1/00 变更前: 变更后: 登记生效日:20101224 申请日:20080815

    专利申请权、专利权的转移

  • 2010-10-20

    实质审查的生效 IPC(主分类):H04N1/00 申请日:20080815

    实质审查的生效

  • 2009-09-30

    专利申请权、专利权的转移(专利申请权的转移) 变更前: 变更后: 登记生效日:20090828 申请日:20080815

    专利申请权、专利权的转移(专利申请权的转移)

  • 2009-02-18

    公开

    公开

查看全部

说明书

本申请要求于2007年8月17日提交到韩国知识产权局的第10-2007-0083004号韩国专利申请以及于2008年6月17日提交到韩国知识产权局的第10-2008-0057017号韩国专利申请的权益,这些申请每个的全部内容通过引用包含于此。

技术领域

本发明涉及一种打印图像的方法和相片打印系统以及适合于该方法的数字相机。更具体地讲,本发明涉及这样一种打印图像的方法和相片打印系统以及适合于该方法的数字相机,通过该打印图像的方法,打印区域能够基于在图像上检测的面部区域的位置被可变地设置,从而图像上的面部区域可被打印,不会由于将被打印的图像的宽高比与打印材料的标准尺寸之间的不匹配而被剪切。

背景技术

近来,通过应用打印技术(诸如喷墨方法、干升华转印方法和直热方法),用于打印相机拍摄的图像的相片打印机已经被商业化。然而,相机或个人计算机(PC)通常使用具有4:3的宽高比的图像,而相片打印机通常支持具有3:2的宽高比的打印材料。因此,当相机等拍摄的具有4:3的宽高比的图像被输出到一张3:2的打印材料上时,由于图像和打印材料之间的不匹配,产生了图像的剪切或大的空白。

同时,用于在打印材料上打印图像的选项大致分为两种类型。一种是全图像打印,另一种是全纸张打印。全图像打印是这样一种打印方法,通过该打印方法打印图像,使得图像的至少一些边缘具有空白。同时,全纸张打印是一种在打印材料上不留空白的打印方法。在全纸张打印方法中,由于图像和打印材料的宽高比之间的不匹配,图像的顶端和底端或者左端和右端的图像信息被剪切。具体地讲,在图像上拍摄的人的面部图像可能违背用户的意愿被剪切。

发明内容

本发明提供一种打印图像的方法和相片打印系统以及适合于该方法的数字相机,通过该打印图像的方法,能够基于在图像上检测的面部区域的位置可变地设置打印区域,从而图像上的面部区域可被打印,不会由于作为打印项的图像的宽高比与打印材料的标准尺寸之间的不匹配而被剪切。

根据本发明的实施例,提供一种通过相片打印机输出存储在图像存储装置中的图像的方法。所述方法包括:在将被打印的图像上设置临时打印区域;确定是否选择了全纸张打印选项;如果选择了全纸张打印选项,则检测图像上的面部区域;确定检测的面部区域是否包括在打印区域中;根据确定结果调整打印区域,使得面部区域能够被包括在打印区域中。

调整打印区域的步骤可包括:确定图像的宽高比和打印材料的宽高比是否彼此不同;根据确定结果移动打印区域。

在移动打印区域的步骤中,如果图像的宽高比小于打印材料的宽高比,则可将打印区域向上或向下移动;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧中的仅一侧中的面部区域存在于打印区域之外,则可将打印区域向左侧方向或向右侧方向移动,使得面部区域被包括在打印区域中;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧上的第一面部区域和第二面部区域存在于打印区域之外,则可将排除在打印之外的区域以及警告消息显示给用户。

在将打印区域向上或向下移动的步骤中,可将打印区域向上移动,使得打印区域的顶端与第二垂直高度(Py2)匹配,第二垂直高度(Py2)根据从图像检测的面部区域中的眼区域的第一垂直高度(Py1)、眼区域和嘴区域之间的距离(h1)以及权重(α)获得,其中,Py2=Py1+h1×α。

在将打印区域向左或向右移动的步骤中,可将打印区域向面部区域位于打印区域之外的一侧移动。

在将警告消息显示给用户的步骤中,可根据用户的输入来设置打印区域。

在检测面部区域的步骤中,可从附加到图像的Exif信息提取并读取关于面部区域的位置的信息,或者可通过图像处理来提取面部区域。

根据本发明的另一实施例,提供一种包括图像存储装置和输出装置的系统,所述系统打印从图像存储装置接收的图像。图像存储装置包括:面部区域提取单元,检测存在于图像上的面部区域;打印区域适当性确定单元,确定检测的面部区域是否包括在打印区域中;控制器,根据打印区域适当性确定单元的输出来调整打印区域,使得面部区域能够被包括在打印区域中。

所述系统还可包括:图像/材料宽高比比较单元,将图像的宽高比与打印材料的宽高比进行比较,其中,控制器基于图像/材料宽高比比较单元的输出来调整打印区域。

如果图像的宽高比小于打印材料的宽高比,则控制器可将打印区域向上或向下移动;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧中的仅一侧中的面部区域存在于打印区域之外,则控制器可将打印区域向左侧方向或向右侧方向移动,使得面部区域被包括在打印区域中;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧上的第一面部区域和第二面部区域存在于打印区域之外,则控制器可显示排除在打印之外的区域以及警告消息。

输出装置可以是相片打印机,并且图像存储装置可以是数字相机,所述数字相机具有用于捕获物体的图像并将捕获的图像存储为图像数据的结构,并且数字相机将存储的图像传送到相片打印机。

输出装置可以是安装在公共地点并提供打印服务的相片冲洗机,并且图像存储装置可以是用户的终端,所述终端通过互联网通信网络将存储的图像发送到相片冲洗机。

输出装置可以是安装在公共地点并提供打印服务的相片冲洗机,并且图像存储装置可以是web服务器,所述web服务器通过互联网通信网络将用户已经上载并存储的图像发送到相片冲洗机。

根据本发明的另一实施例,提供一种包括图像存储装置和输出装置的系统,所述系统打印从图像存储装置接收的数据。输出装置包括:面部区域提取单元,检测存在于图像上的面部区域;打印区域适当性确定单元,确定检测的面部区域是否包括在打印区域中;控制器,根据打印区域适当性确定单元的输出来调整打印区域,使得面部区域能够被包括在打印区域中。

所述系统还可包括:图像/材料宽高比比较单元,将图像的宽高比与打印材料的宽高比进行比较,其中,控制器基于图像/材料宽高比比较单元的输出来调整打印区域。

如果图像的宽高比小于打印材料的宽高比,则控制器可将打印区域向上或向下移动;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧中的仅一侧中的面部区域存在于打印区域之外,则控制器可将打印区域向左侧方向或向右侧方向移动,使得面部区域被包括在打印区域中;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧上的第一面部区域和第二面部区域存在于打印区域之外,则控制器可显示排除在打印之外的区域以及警告消息。

输出装置可以是相片打印机,并且图像存储装置可以是数字相机,所述数字相机具有用于捕获物体的图像并将捕获的图像存储为图像数据的结构,并且数字相机将存储的图像传送到相片打印机。

输出装置可以是相片打印机,并且图像存储装置可以是连接到相片打印机并将存储的图像发送到相片打印机的小型存储装置。

输出装置可以是安装在公共地点并提供打印服务的相片冲洗机,并且图像存储装置可以是用户的终端,所述终端通过互联网通信网络将存储的图像发送到相片冲洗机。

输出装置可以是安装在公共地点并提供打印服务的相片冲洗机,并且图像存储装置可以是web服务器,所述web服务器通过互联网通信网络将用户已经上载并存储的图像发送到相片冲洗机。

输出装置可以是安装在公共地点并提供打印服务的相片冲洗机,并且图像存储装置可以是连接到相片冲洗机并将存储的图像发送到相片冲洗机的便携式可拆卸存储器。

根据本发明的另一实施例,提供一种数字相机,用于将为打印作业而存储的图像发送到输出装置,并调整打印区域,使得在图像上捕获的面部区域不被剪切。所述数字相机包括:面部区域提取单元,检测存在于图像上的面部区域;打印区域适当性确定单元,确定检测的面部区域是否包括在打印区域中;控制器,根据打印区域适当性确定单元的输出来调整打印区域,使得面部区域能够被包括在打印区域中。

所述数字相机还可包括:图像/材料宽高比比较单元,将图像的宽高比与打印材料的宽高比进行比较,其中,控制器基于图像/材料宽高比比较单元的输出来调整打印区域。

如果图像的宽高比小于打印材料的宽高比,则控制器可将打印区域向上或向下移动;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧中的仅一侧中的面部区域存在于打印区域之外,则控制器可将打印区域向左侧方向或向右侧方向移动,使得面部区域被包括在打印区域中;如果图像的宽高比大于打印材料的宽高比,并且如果图像左侧和右侧上的第一面部区域和第二面部区域存在于打印区域之外,则控制器可显示排除在打印之外的区域以及警告消息。

附图说明

通过参照附图对本发明示例性实施例进行详细描述,本发明的以上和其它特点及优点将会变得更加清楚,其中:

图1是根据本发明实施例的相片打印系统的示例的透视图;

图2是示出根据本发明实施例的图1中所示的相片打印系统的功能结构的示例的框图;

图3和图4是示出根据本发明实施例的根据图像的宽高比和打印材料的宽高比之间的关系来设置打印区域的不同方法的示例的示意图;

图5是示出根据本发明实施例的按照JPEG格式的图像数据的数据结构的示例的示意图;

图6是示出根据本发明实施例的包括在Exif附加信息中的面部识别信息的数据结构的示例的示意图;

图7示意性地示出了根据本发明实施例的图1中所示的相片打印系统和数字相机之间的通信细节的示例;

图8至图10是示出根据本发明实施例的打印图像的方法的示例的流程图;

图11是根据本发明另一实施例的相片打印系统的示例的透视图;

图12是根据本发明实施例的图11中所示的相片打印系统的示例的功能框图;

图13示出了根据本发明实施例的使用相片冲洗机(photo kiosk)作为输出装置的情况的示例;

图14和图15示意性地示出了图13中所示的相片冲洗机和web服务器之间的通信细节的示例;以及

图16至图18示出了本发明另一实施例的使用相片冲洗机作为输出装置的情况的示例。

具体实施方式

现在将参照附图来更全面地描述根据本发明的打印图像的方法和相片打印系统以及适合于该方法的数字相机,在附图中示出了本发明的示例性实施例。

如图1中所示,根据本发明实施例的相片打印系统100的示例包括:相片打印机110,作为输出装置;数字相机120,作为存储将被打印的图像的图像存储装置。为了彼此通信,相片打印机110和数字相机120通过诸如通用串行总线(USB)线缆的通信链路150而彼此连接。在这种情况下,由于也可考虑将无线连接(诸如蓝牙、Wi-Fi和无线局域网(LAN))用于相片打印机110和数字相机120之间的连接,所以单独的通信链路150不是必需的。同时,通信链路150可被形成为诸如互联网的通信网络,相片打印机110和数字相机120可通过该通信网络来发送和接收预定的数据。

图2是示出根据本发明实施例的图1中所示的相片打印机110和数字相机120的功能结构的示例的框图。参照图2,相片打印机110基本上包括通信控制单元111、键输入单元113、存储单元118、打印单元119以及用于完全控制这些单元的打印机数字信号处理器(DSP)115。

通信控制单元111是与数字相机120连接的通信接口,调解相片打印机110和数字相机120之间的控制命令的发送和接收以及被选择为将被打印的图像的图像数据的传送。通信控制单元111可提供USB端口或读卡器端口,并且通信控制单元111可包括用于USB连接的USB装置控制器和/或用于无线通信的无线通信模块。

存储单元118临时存储从数字相机120接收的打印数据,并且根据打印过程,存储单元118将存储在其中的打印数据传送到打印单元119,由此执行缓冲作用。

打印单元119根据打印命令执行存在于存储单元118中的保留的打印作业。打印单元119可被实现为通过对打印材料上的颜色材料选择性地加热来呈现预定图像的热转印成像机构,或者可被实现为使用形成在光电导鼓上的静电潜像的电势差的电子成像机构,或者可被实现为将墨滴喷射在打印材料上的喷墨成像机构,或者可使用其它机构。键输入单元113根据用户的操作产生预定的命令,并将该命令传送到打印机DSP 115。键输入单元113可包括:电源键,用于接通或关断电源;打印停止键,用于停止打印作业;设置模式切换键,用于设置打印条件。

同时,数字相机120包括:通信控制单元121,作为与相片打印机110连接的通信接口;用户接口123,作为用户输入单元;显示面板124,作为输入/输出装置;存储单元131,存储图像;Exif信息处理单元122,提取包括在图像中的附加信息;面部区域提取单元128,从图像中提取拍摄有人的面部的区域;打印区域适当性确定单元127,确定面部区域是否被剪切;图像/材料宽高比比较单元126,提供关于如何重置打印区域的参考;相机数字信号处理器(DSP)125,用于完全控制这些单元。另外,数字相机120还包括图像采集单元132,图像采集单元132包括由多个光学透镜形成的光学单元(OPC)、光电转换单元(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))、模拟-数字转换器(ADC)以及信号处理电路,由此处理从光学单元(OPC)输出的信号,以获得数字图像数据。

相机DSP 125对相片打印过程执行全面控制。更详细地讲,相机DSP 125在屏幕上显示存储在存储单元131中的图像,由此引导用户的输入来选择将被打印的图像。然后,相机DSP 125将待被打印的图像转换为能够被相片打印机110识别的数据格式的打印数据,并且将打印数据发送到相片打印机110。具体地讲,相机DSP 125在预定条件下执行用于调整打印区域的一系列处理,从而图像能够被打印,而在图像上捕获的面部图像的全部或一部分不被剪切。换句话说,当选择了在打印材料上不留空白的全纸张打印选项时,非常有可能的是,图像被打印,而面部图像的全部或一部分被剪切。为此,相机DSP125识别在图像上捕获的面部图像,并移动图像的打印区域,从而识别的面部图像可被包括。

面部区域提取单元128通过执行面部识别算法来从输入图像提取拍摄有人的面部的区域,并将关于提取的面部区域的位置信息提供给相机DSP125。例如,通过使用从输入图像去除高频噪声分量的低通滤波、将RGB颜色信息转换为YCrCb空间的颜色空间转换、以及相对于亮度环境中的变化来补偿面部识别率的差别的亮度校准(calibration),面部区域提取单元128执行用于提高识别率的预处理,以将输入图像转换为能够容易提取面部的图像。然后,从预处理后的图像提取边缘信息,面部识别技术应用于边缘信息,由此检测特征元素(包括面部的轮廓线、眼、鼻和嘴)。根据检测的特征元素来检测面部区域。因此,在面部区域提取单元128中检测的面部区域在图像上可被显示为被矩形框围绕。

打印区域适当性确定单元127确定从图像提取的面部区域是否位于初始设置的打印区域之内,然后将确定结果输出到相机DSP 125,由此允许相机DSP125确定是否调整打印区域。即,如果确定识别的面部区域位于打印区域之外,则相机DSP 125开始打印区域的调整作业。根据图像/材料宽高比比较单元126的输出来调整打印区域。图像/材料宽高比比较单元126检查图像的屏幕宽高比(宽度:高度的比率)与打印材料的标准尺寸(宽度:高度的比率)之间的关系,并将结果输出到相机DSP 125。输出的数据提供关于相机DSP 125如何调整图像上的打印区域的重要参考,这将在随后进行详细描述。

同时,存储在存储单元131中的JPEG格式的图像数据包括Exif头信息。Exif信息可包括颜色空间信息(诸如亮度、饱和度或颜色等)以及关于拍摄日期、关于是否有闪光操作、或者关于图像尺寸的拍摄信息。具体地讲,面部识别信息可被记录为与本发明相关的一项Exif信息。通过使用记录的面部识别信息,尽管没有执行另外的图像处理,但是可精确地识别面部区域的位置和尺寸。换句话说,当Exif信息处理单元122进行操作来读取Exif信息,以提取关于面部区域是否存在的信息以及关于面部区域的位置或尺寸的信息并将这些信息输出到相机DSP 125时,相机DSP 125可设置适当的打印区域,从而面部图像能够不被剪切。同时,用户接口123可包括多个操作按钮,这些操作按钮包括:模式选择键,用于切换数字相机120的模式;4方向功能键,用于命令显示区域或光标移动,或命令打印区域移动;以及选择确认键,用于选择由激活的光标指示的菜单项。

现在将解释根据本发明实施例的打印图像的方法。首先将解释应用于本发明的技术原理。图3和图4是示出在全纸张打印选项中被转印在打印材料(Pa)上的图像(Im)的布置的示例的示意图。在这两个附图中,图3示出了当将图像(Im)的屏幕宽高比(宽度:高度)与打印材料(Pa)的标准的宽高比(宽度:高度)进行比较时,图像(Im)的屏幕宽高比(例如,4:3)小于打印材料(Pa)的宽高比(例如,3:2)的情况。如图3所示,在图像(Im)的中心线(C)与打印材料(Pa)的中心线(C)位于同一条线上的传统打印方法中,图像(Im)的顶部位于打印材料(Pa)之外,当进行打印时,人的图像的顶部被剪切。这是根据图像(Im)的中心位置与打印材料(Pa)的中心位置位于同一条线上的普通打印过程的结果。通过将打印材料(Pa)相对于图像(Im)向上移动,能够打印人的整个图像。在这种情况下,相对于打印材料(Pa)的调整范围,可通过参照在被表示为矩形框的面部区域(F)中获得的预定特征元素之间的垂直距离(h1)来确定调整的程度。例如,打印材料(Pa)向上移动(即,打印材料(Pa)的中心线从C移动到C′),从而打印材料(Pa)的顶端与从下面的等式1获得的第二垂直高度(Py2)一致,等式1具有眼区域的第一垂直高度(Py1)、眼区域和嘴区域之间的距离(h1)以及权重(α),

Py2=Py1+h1×α     (1)

当眼和嘴之间的垂直距离与眼和头的顶部之间的垂直距离相同时,可考虑普通的面部形状将权重(α)设置为1。

一旦设置适当的打印区域(该打印区域与打印材料(Pa)相应),使得面部区域(F)能够不被剪切,则整个图像的位于打印区域之外的一部分被修剪,只有打印区域被提取并被传送到相片打印机110,从而开始打印作业。当如图3和图4所示已经设置了打印区域时,只有与可沿着屏幕的对角方向被定义为开始点(5,0)和结束点(395,260)的打印区域相关的一部分可被提取,并且可被传送到相片打印机110。或者,关于整个图像的数据以及关于打印区域的区域信息可被传送给相片打印机110。因此,关于打印区域的区域信息可包括坐标值(pX,pY,pW,pH)=(5,0,390,260),该坐标值具有打印区域的开始点(pX,pY)以及打印区域的基于该开始点(pX,pY)的宽度和高度(pW,pH)。

同时,图4示出了当将图像(Im)的屏幕宽高比(宽度:高度)与打印材料(Pa)的标准的宽高比(宽度:高度)进行比较时,图像(Im)的屏幕宽高比(例如,16:9)大于打印材料(Pa)的宽高比(例如,3:2)的情况。当选择了全纸张打印时,图像(Im)的左侧和/或右侧位于打印材料(Pa)之外并被剪切。在这种情况下,通过将打印材料(Pa)向左或向右移动,能够打印人的整个图像。更具体地讲,确定被表示为矩形框的面部区域(F)是否位于打印材料(Pa)之内,如果只有面部区域(F)的左部和右部的任何一侧被剪切,则可将打印材料(Pa)向左或向右移动。如果面部区域(F)的左侧和右侧都被剪切,则根据预先输入的程序不能自动执行打印材料(Pa)的移动。在这种情况下,警告消息被输出给用户,同时,显示被排除在打印之外的区域。由此,可按照用户的输入来执行打印过程。

同时,根据本发明的示例,将被打印的图像被图像处理以提取面部区域,并且当面部识别信息被记录为附加到将被打印的图像数据的Exif信息时,该信息被读取,由此精确地识别图像中存在的面部的位置。换句话说,用于提取面部区域的图像处理不是必需的。如图5所示,JPEG格式的图像数据的示例可具有这样一种数据结构,该数据结构包括Exif头区域(Exif)、缩略图像数据区域(缩略图像数据)、原始图像数据区域(原始图像数据)和屏幕缩略(screennail)图像数据区域(屏幕缩略图像数据)。这里,在Exif头区域中可记录每个图像的属性信息。具体地讲,在本发明中,可记录面部识别信息。

图6列举了记录在Exif的面部识别信息中的每个数据项以及存储在数据项中的数据值。“Face_Num”项指示在每个图像中拍摄的面部的数量。“Face_Start_Pt”项指示面部的开始点在屏幕平面上的坐标位置,(X1,Y1)或(X2,Y2)指示与基于像素布置的屏幕坐标系统中的每个开始点相应的水平坐标值和垂直坐标值的组合。“Face_Size”项指示面部区域的尺寸,(A1,B1)或(A2,B2)指示从每个面部的开始点计算的水平长度和垂直长度的组合。另外,“Face_Name”、“Face_Mobile_Num”和“Face_Email_Addr”项分别指示与面部被拍摄的人的名字、移动电话号码和电子邮件地址相应的各项细节。

图7示意性地示出了根据本发明实施例的协作打印图像的相片打印机110和数字相机120之间的通信细节的示例。首先,执行相片打印机110和数字相机120之间的连接操作,交换传输控制信息,并初始化通信设置。接着,感测来自用户的打印请求的数字相机120请求关于由相片打印机110支持的各种打印选项的信息。关于打印选项的信息可包括由相应的相片打印机110支持的打印材料的尺寸(例如,A3、A4、A5)、打印材料的类型(例如,普通纸、相片纸)以及关于被称为2-up、3-up等的内容,其中,一页的打印材料可被分割为2或3部分并被用作几页的打印量。获得了相片打印机110的选项信息的数字相机120在显示面板上显示所获得的信息,由此引导用户选择打印选项。在这种情况下,可被用户选择的选项限于由相片打印机110支持的范围,并包括打印材料的尺寸和打印材料的类型等。具体地讲,数字相机120显示与本发明相关的全图像打印或全纸张打印的选项菜单,由此引导选项选择。

然后,相片打印机110可根据用户输入来调用存储在存储单元131中的多个图像,并且可在显示面板124上按照缩小图像的形式显示图像。用户可查询图像,并且可将所有图像或一部分图像设置为将被打印的图像。当完成了关于将被打印的图像的设置之后,数字相机120设置适当的打印区域,使得面部图像不会从将被打印的图像被剪切。更具体地讲,在全图像打印中,根据用户选择的打印选项,不需要考虑面部图像的剪切,因此根据一般的方法,打印区域被设置为使得图像的中心与打印区域的中心彼此重合。另外,当选择了全纸张打印并且图像的尺寸与打印材料的尺寸彼此一致时,不需要考虑面部图像的剪切,打印区域根据一般的方法被设置。然而,当选择了全纸张打印并且同时将被打印的图像的尺寸与当前设置的打印材料的尺寸彼此不一致时,数字相机120执行从图像提取面部区域的面部识别处理,并设置包括提取的面部区域的适当的打印区域。例如,数字相机120可将除了将被打印的图像之外还被设置的打印区域与虚线等合成,可在屏幕上显示合成的打印区域,并可请求用户的同意。另外,感测用户的最终打印命令的数字相机120可仅提取设置为打印区域的图像的一部分,并且可将位于打印区域之外部分被修剪的打印数据传送给相片打印机110,或者可发送所有图像作为附加给关于打印区域的信息的打印数据。在这种情况下,关于打印区域的信息可包括坐标值(pX,pY,pW,pH),该坐标值具有打印区域的开始点(pX,pY)以及打印区域的基于该开始点(pX,pY)的宽度和高度(pW,pH)。最后,从数字相机120获得了打印数据的相片打印机110可根据获得的数据或参照关于打印区域的附加信息来执行打印操作。

图8是示出根据本发明实施例的打印图像的方法的示例的流程图,并且示出了主要由打印系统中的相机DSP 125执行的算法,该打印系统包括作为输出装置的相片打印机110和作为图像存储装置的数字相机120。首先,在操作S10,如果用于操作的电源被提供给相片打印机110,则在操作S11,打印机DSP 115可执行初始化,并且可在显示窗口上输出显示相片打印机110的操作状态的初始屏幕。接着,在操作S12,如果感测到数字相机120对相片打印机110的访问,则在操作S13,打印机DSP 115与数字相机120交换传输控制信息,并初始化通信设置。

同时,在连接到相片打印机110之前或之后,连接到相片打印机110的数字相机120进入打印模式,并且可接收用户从存储在存储单元131中的多个图像中对将被打印的图像的选择。换句话说,数字相机120可在操作S14调用存储在存储单元131中的图像并可在显示面板124上按照缩略图格式显示图像,并且可根据用户的操作沿着显示在显示面板124上的多个图像移动激活的光标,以引导用户的选择。在操作S15,如果输入了指示将被打印的图像的选择的信号,则相机DSP 125准备将图像的图像数据发送到相片打印机110。

接着,在操作S16,相机DSP 125在菜单屏幕上显示全图像打印或全纸张打印的选项菜单,并接收用户的选择。如果用户选择的选项是全纸张打印,并且打印材料的尺寸(A3、A4、A5等)与将被打印的图像的尺寸彼此不一致,则在操作S17,相机DSP 125保持图像的宽高比(宽度:高度的比率),并根据打印材料的尺寸对相应的图像进行尺寸调整。在这种情况下,在操作S18,初始打印区域被设置为使得图像的中心和打印区域的中心位于同一位置。

图9是示出用于确认或调整图像上临时设置的打印区域的操作的示例的流程图。首先,相机DSP 125在操作S20检查选择的打印选项,并根据检查结果执行不同过程。即,如果选择了全图像打印选项,则不需要考虑面部区域的剪切,因此,根据操作S21,初始设置的打印区域被确认,然后,如果输入了来自用户的最终打印命令,则根据该命令的打印作业被执行。

如果选择了全纸张打印选项,则在操作S22,相机DSP 125将图像的屏幕宽高比(宽度:高度的比率,下文中称为宽高比)与打印材料的宽高比进行比较。如果比较结果指示选择了全纸张打印选项并且图像的宽高比和打印材料的宽高比实际上彼此匹配,则不需要考虑面部区域的剪切,因此,根据操作S21,初始设置的打印区域被确认,然后,如果输入了来自用户的最终打印命令,则根据该命令的打印作业被执行。但是,如果选择了全纸张打印选项,并且图像的宽高比与打印材料的宽高比不同,例如,如果将被打印的图像的宽高比是4:3,而打印材料的宽高比是3:2,则在操作S23开始进行下面解释的面部识别处理。

面部识别处理(操作S23)

首先,相机DSP 125操作Exif信息处理单元122,由此从图像数据的Exif头中提取面部识别信息。例如,Exif信息处理单元122从面部识别信息提取与面部区域相关的数据(例如,开始点的坐标值(X1,Y1,A1,B1)、面部区域的水平长度和垂直长度),并且将这些数据输出到相机DSP 125。坐标值(X1,Y1,A1,B1)可在像素布置的基础上基于屏幕上的X和Y坐标。坐标(X1,Y1)指示面部区域的开始点位置,坐标(A1,B1)指示与从开始点(X1,Y1)计算的面部区域的宽度和高度相应的值。

如果面部识别信息没有被记录在Exif头中,例如,如果从Exif信息处理单元122获得了坐标值(X1,Y1,A1,B1)=(0,0,0,0)(不存在坐标值的输入的NULL状态),则相机DSP 125将图像传送到面部区域提取单元128。接收了图像数据的面部区域提取单元128执行预处理,并基于出现在预处理后的图像上的亮度信号的分布来提取边缘元素。接着,通过将面部识别技术应用于这样提取的边缘图像,面部的特征元素(诸如面部的轮廓、眼、鼻和嘴)被检测。根据检测到的特征元素来检测面部区域。例如,在面部识别技术中,通过将提取的边缘图像与基于形状研究的模型进行比较,可检测面部的特征元素,并且根据检测结果(例如,根据是否获得眼区域和嘴区域)来确定是否获得面部区域。在这种情况下,也可从一个屏幕图像检测多个面部区域。可从设置的面部区域产生数据,例如作为面部区域的开始点的坐标值(X1,Y1,A1,B1)、水平宽度和垂直宽度,并且可通过在屏幕上由矩形框围绕的面部区域来指示设置的面部区域。

如上所述,可通过从将被打印的图像的Exif头提取面部识别信息,或者通过执行面部识别算法以从图像提取面部区域,来实现面部识别。然而,本发明的技术范围不限于如上所述的示例,也可通过传统技术中的已知的各种方法来实现面部识别。

接着,在操作S24确定在面部识别处理(S23)中是否检测到有效的面部区域,并且如果没有检测到面部区域,则不需要考虑面部区域的剪切,因此,根据操作S21,相机DSP 125可确认初始设置的打印区域并执行随后的打印过程。然而,如果在面部识别处理(S23)中获得有效的面部区域,则在操作S25,相机DSP 125将获得的面部区域与初始设置的打印区域进行比较,由此检查面部区域是否包括在打印区域中。例如,打印区域适当性确定单元127将面部区域的开始点的坐标值(X1,Y1,A1,B1)、水平宽度和垂直宽度与打印区域的开始点的坐标值值(pX,pY,pW,pH)、水平宽度和垂直宽度进行比较,并且可确认面部区域是否包括在打印区域中。

根据检查结果,如果面部区域存在于初始设置的打印区域之内,则根据操作S21确认打印区域,并且如果输入了用户的最终打印命令,则相应地执行打印作业。然而,如果确定面部区域不包括在打印区域中,则执行打印区域的调整。首先,在操作S26,相机DSP 125检查图像的宽高比和打印材料的宽高比之间的关系。在下面描述的操作S27至S33,根据检查结果,相机DSP 125按照不同的方法调整打印区域。

打印区域的调整(S27至S33)

1)如果图像的宽高比小于打印材料的宽高比,例如,如果图像的宽高比是4:3,打印材料的宽高比是3:2,则根据操作S27,将打印区域向上和向下移动预定的程度。在这种情况下,相对于移动方向,打印区域朝着存在打印区域之外的面部区域的方向向上和向下移动,并且可参照在面部区域中获得的特征元素之间的距离来确定打印区域的调整范围。即,如以上参照图3所述,相机DSP125可通过将打印区域的顶侧布置在第二垂直高度(Py2)上来打印包括人的面部区域的整个图像,第二垂直高度(Py2)从等式1(Py2=Py1+h1×α)获得,而等式1来自于眼区域的第一垂直高度(Py1)、眼区域和嘴区域之间的距离(h1)以及权重(α)。如果根据基于普通人的形状的研究,眼和嘴之间的距离与眼和头顶之间的距离近似,则权重(α)可被设置为1。

2)如果图像的宽高比大于打印材料的宽高比,例如,如果图像的宽高比是16:9,打印材料的宽高比是3:2,则根据操作S28,相机DSP 125在操作S28确定在图像的左侧和右侧是否存在有位于打印区域之外的面部。即,如果确定在图像上识别的第一面部区域和第二面部区域存在于两侧,即,图像的左侧和右侧,并且这两个面部区域位于打印区域之外,则相机DSP 125不能在向左方向和向右方向中的任何一个方向上任意地调整打印区域。因此,在操作S29,在显示面板124上显示排除在打印之外的区域以及警告消息。然后,如果感测到用户的用于移动打印区域的输入(例如,感测到4方向功能键的操作),则在操作S30,相机DSP 125根据用户的输入来移动打印区域,并且随后的过程被执行。

然而,在操作S31,如果在左侧和右侧中的任何一侧中面部区域存在于打印区域之外,例如,如果确定面部区域的左侧位于打印区域之外,则在操作S32,通过将打印区域向左移动以包括面部区域的位于打印区域之外的一部分来调整打印区域,从而整个面部区域可被包括在打印区域中。另外,如果在操作S31确定面部区域的右侧位于打印区域之外,则在操作S33,通过将打印区域向右移动以包括面部区域的位于打印区域之外的一部分来调整打印区域,从而整个面部区域可被包括在打印区域中。

图10是示出在确认了打印区域之后将被执行的打印操作的示例的流程图。如果在操作S34感测到用户的最终打印命令,则在操作S35,只有将被打印的图像的与打印区域相应的一部分被提取,并且被转换为可被相片打印机110识别的数据格式的打印数据,并且转换的数据被发送到相片打印机110。在这种情况下,作为将被发送到相片打印机110的数据,只有图像的与设置的打印区域相应的一部分可被提取和发送,或者整个图像也可被发送以附加到指定打印区域的区域信息。

接着,随着接收到打印数据,相片打印机110的打印作业开始(S36)。更具体地讲,打印机DSP 115将从数字相机120接收的打印数据临时存储在存储单元118中,并且同时输出打印开始信号,由此操作打印单元119,从而存储单元118中的打印数据可被输出到打印材料上。

同时,被实现为数字相机120的图像存储装置具有存储图像的存储功能、自身的操作控制功能(DSP功能)以及显示功能。图像存储装置的示例是数字相机和数字TV。然而,实际上本发明的技术原理也可同等地应用于小型存储装置用作图像存储装置的情况,小型存储装置不具有其自身的CPU功能和显示功能,例如可拆卸存储器。根据该应用示例的整个相片打印系统的结构在图11中示出。

示出的相片打印系统200基本上包括作为打印输出设备的相片打印机210和作为图像存储装置的存储装置220。相片打印机210和存储装置220可通过诸如USB的通信链路彼此连接。图12是根据本发明实施例的图11中所示的相片打印机210和存储装置220的功能结构的框图。参照图12,集中于用于存储将被打印的图像的功能来形成存储装置220,并且存储装置220具有存储控制器225、存储单元228和通信控制单元221。

相片打印机210包括通信控制单元211、Exif信息处理单元212、图像/材料宽高比比较单元218、打印区域适当性确定单元217、面部区域提取单元216、打印数据存储单元231、打印单元232以及用于控制这些单元的打印机DSP 215。相片打印机210可包括显示面板214,显示面板214通过显示存储在存储装置220中的图像,来提供用于接收用户对将被打印的图像的选择的图形环境。另外,相片打印机210可具有用户接口213作为用户输入单元。

由相片打印系统执行的一系列打印处理与图8至图10的示例中所示出的相同,但是根据当前实施例的方法的不同之处在于,大多数操作由打印机DSP215执行。更具体地讲,如果在操作S10用于操作的电源被提供给相片打印机210,则打印机DSP 215执行初始化。然后,在操作S12,如果感测到存储装置220对通信接口(诸如USB端口或读卡器)的访问,则在操作S13,打印机DSP 215初始化与存储装置220的通信设置。在这种情况下,通过在显示面板214上显示与数据存储装置220相应的文件夹图标,打印机DSP 215可显示连接状态。

然后,如果从用户接口213输入了用于选择与存储装置220相应的文件夹图标的信号,则在操作S15,打印机DSP 215调用存储在存储装置220中的图像并将图像显示在显示面板214上,由此接收用于选择将被打印的图像的用户输入。另外,在操作S16,打印机DSP 215在显示面板214上显示用于设置打印条件的选项菜单,并接用户收对全图像打印或全纸张打印进行选择的输入。此外,在操作S18,打印机DSP 215设置第一打印区域,使得该打印区域的中心位于图像的中心。

接着,打印机DSP 215执行用于确认或调整在图像上临时设置的打印区域的操作,如图9所示。首先,在操作S20,打印机DSP 215检查选择的打印区域。如果选择了全图像打印选项,则不需要考虑面部区域的剪切,因此根据操作S21以及随后的操作来确认初始设置的打印区域,并且根据用户的最终打印命令来执行打印作业。

如果选择了全纸张打印选项,则在操作S22,打印机DSP 215将打印材料的宽高比与将被打印的图像的宽高比进行比较。如果选择了全纸张打印选项,并且比较结果指示图像的宽高比和打印材料的宽高比彼此匹配,则不需要考虑面部区域的剪切,因此在操作S21确认初始设置的打印区域,并且根据用户的最终打印命令来执行打印作业。然而,如果选择了全纸张打印选项,并且图像的宽高比与打印材料的宽高比不同,则在操作S23,基于从Exif信息处理单元212获得的面部识别信息或从面部区域提取单元216获得的信息来检测面部区域,然后在操作S24确定是否存在面部区域,并且在操作S25检查检测到的面部区域是否包括在初始设置的打印区域中。根据检查结果,打印区域在操作S21被确认,或者执行打印区域的调整,使得面部区域不被剪切。

为了调整打印区域,打印机DSP 215检查图像的宽高比和打印材料的宽高比之间的关系。如果图像的宽高比小于打印材料的宽高比,则根据操作S27将打印区域向上或向下移动,并且可根据等式1的计算结果来确定移动的程度。另外,在操作S28,如果图像的宽高比大于打印材料的宽高比,并且存在于左侧和右侧的第一面部区域和第二面部区域位于打印区域之外,则在操作S29和S30,根据用户的选择来设置打印区域。另外,在操作S28,如果左侧和右侧中的一侧的面部区域位于打印区域之外,则在操作S32和S33,将打印区域向左侧或右侧移动。

在设置了打印区域以包括面部区域之后,根据在操作S34中的用户的打印命令,打印机DSP 215在操作S35产生用于设置的打印区域的打印数据,并且在操作S36通过操作打印单元232将打印数据输出到打印材料上。

如上所述,以相片打印机110为例的输出装置和以数字相机120或存储装置220为例的图像存储装置构成了相互连接的环境,并且根据面部区域的位置适应性地设置打印区域。但是,本发明的技术范围不限于相片打印机110和数字相机120的特征,而是可应用于各种其它系统。当具有用于打印输出的适当结构的输出装置与具有用于存储图像文件的适当结构的图像存储装置彼此互连以彼此访问时,可按照与先前描述相同或相似方式来应用本发明的技术精神。

图13中示出了通过使用相片冲洗机来实现本发明的示例,相片冲洗机安装在公共地点(诸如学校、银行、百货商店、大型市场、机场和旅馆等),用于提供相片打印服务。如图13所示,作为输出装置的相片冲洗机310和作为图像存储装置的web服务器320通过互联网通信网络彼此连接以彼此访问。请求打印输出的用户通过相片冲洗机310访问web服务器320,以下载由他/她上载并存储的图像。从web服务器320获得图像的相片冲洗机310可运行嵌入的图像处理算法以执行一系列处理(诸如从图像检测面部区域和设置适当的打印区域),使得检测到的面部区域不被剪切。

图14示意性地示出了相片冲洗机和web服务器之间的通信细节的示例,相片冲洗机和web服务器通过互联网通信网络彼此连接。参照图14,提供相片打印服务的相片冲洗机310根据用户指定的路径访问web服务器320以获得图像数据,设置通信状态,然后将用户输入的认证信息传送到web服务器320。然后,web服务器320检查接收到的认证信息以返回认证结果,并允许被认证的用户访问服务器存储器。用户可查询已经由他/她上载并存储的图像,并可选择将被打印的图像。相片冲洗机310可请求存储了图像的web服务器320发送将被打印的图像,web服务器320根据相片冲洗机310的请求发送相应的存储的图像。获得了将被打印的图像的相片冲洗机310可接收用户对全图像打印或全纸张打印的选项选择,并且可设置第一打印区域,使得图像的中心与打印区域的中心重合。在这种情况下,当选择了全图像打印选项或选择了全纸张打印选项,并且打印材料的宽高比与图像的宽高比匹配时,不需要考虑面部区域的剪切,因此,图像上临时设置的打印区域被确认,并且打印作业被执行。然而,当选择了全纸张打印选项,并且打印材料的宽高比和图像的宽高比不同时,执行面部识别处理以从图像提取面部区域,并且检查提取的面部区域是否包括在初始设置的打印区域内,由此将初始设置的打印区域向上和向下以及向左和向右移动,以调整打印区域并最终执行打印作业。

用于从图像检测面部区域并设置打印区域以使得面部区域不被剪切的一系列图像处理算法可被相片冲洗机310或web服务器320执行,web服务器320管理由认证的用户上载的相片。在由web服务器320执行一系列图像处理算法的情况下,相片冲洗机310可根据web服务器320设置的适当的打印区域仅对打印材料执行输出作业,图15中示出这样的示例。如图15中的示例所示,相片冲洗机310根据用户指定路径访问web服务器320以获得图像数据,设置通信状态,并将用户输入的认证信息传送到web服务器320。因此,web服务器320检查接收到的认证信息以返回认证结果,并允许被认证的用户访问服务器存储器。用户可查询已经由他/她上载并存储的图像,可设置将被打印的图像,并且可选择关于全图像打印或全纸张打印的打印选项。然后,web服务器320根据设置的打印选项来设置适当的打印区域,使得面部区域不被剪切。web服务器320请求用户设置的选项信息(全图像/全纸张)。获得了选项信息的web服务器320在图像上设置第一打印区域,使得图像的中心与该打印区域的中心重合。在这种情况下,当选择了全图像打印选项或选择了全纸张打印选项,并且打印材料的宽高比与图像的宽高比匹配时,不需要考虑面部图像的剪切,因此,图像上临时设置的打印区域被确认。然而,当选择了全纸张打印选项,并且打印材料的宽高比和图像的宽高比不同时,执行面部识别处理以从图像提取面部区域,并且检查提取的面部区域是否包括在初始设置的打印区域内,由此将初始设置的打印区域向上和向下以及向左和向右移动,以调整打印区域并最终执行打印作业。

确认了打印区域的web服务器320可产生打印数据(在该打印数据中,只有将被打印的图像的包括在打印区域中的一部分被提取,在打印区域之外的一部分被修剪),以将产生的打印数据发送到相片冲洗机310,或者可发送附加到指定打印区域的区域信息的整个图像。最后,获得了打印数据的相片冲洗机310开始打印输出。

同时,如图16的示例中所示,分布地布置在各种公共地点的相片冲洗机410完全由管理服务器415控制。请求打印输出的用户使用位于局部区域的相片冲洗机410作为终端,通过管理服务器415访问连接到互联网通信网络的web服务器420,以下载已经由他/她上载并存储的图像,并且获得了图像的管理服务器415运行图像处理算法以设置适当的打印区域。从图像检测面部区域并设置适当的打印区域以使得检测的面部区域不被剪切的过程与以上所描述的相同,例如,相片冲洗机410可参照管理服务器415设置的适当的打印区域来仅执行输出作业。

同时,如图17的示例中所示,请求打印输出的用户可通过使用布置在公共地点的相片冲洗机510来访问他/她自己的位于远处的终端520,并且可通过互联网通信网络将存储在终端520中的图像发送到相片冲洗机510,并且相片冲洗机510可通过使用发送的图像作为打印目标来执行输出作业。在这样的应用中,相片冲洗机510是输出装置,用户的终端520是图像存储装置,相片冲洗机510和终端520中的存储了图像处理算法的一个可设置不发生面部区域的剪切的适当的打印区域,并且相片冲洗机510可根据设置的打印区域执行打印作业。

同时,如图18的示例中所示,请求打印输出的用户可使用相片冲洗机610作为输出装置,可允许他/她自己的可拆卸存储器620访问相片冲洗机610,并且可将存储在可拆卸存储器620中的图像发送到相片冲洗机610。在这样的应用中,例如,存储器插槽611形成在相片冲洗机610的前部,可拆卸存储器620插入到槽611中,由此执行提供将被打印的图像的图像存储装置的功能。从可拆卸存储器620接收了图像的相片冲洗机610可运行嵌入的图像处理算法,并且可设置不发生面部区域的剪切的打印区域。

根据本发明,根据在图像上检测到的面部区域是否包括在打印区域中,来检查是否调整打印区域,并且根据特定的打印条件,打印区域被可变地设置,使得图像上存在的面部图像可被打印,不会由于将被打印的图像的宽高比与打印材料的宽高比之间的不匹配而被剪切。因此,不管将被打印的图像的宽高比与打印材料的宽高比是否匹配,也不管打印选项如何,确保整个面部图像的打印。

虽然已经参照本发明的示例性实施例具体显示和描述了本发明,但是本领域普通技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节的各种改变。优选实施例应被理解为仅仅是描述性的意义,而不是限制的目的。因此,本发明的范围不是由本发明的详细描述限定,而是由权利要求限定,并且落入所述范围内的所有差别应被解释为包括在本发明中。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号