图像分类装置、电子相册制作装置、图像分类方法及程序

摘要

本发明提供一种图像分类装置、电子相册制作装置、图像分类方法及程序。图像分类装置从多个候选图像之中指定应分类至规定群组的图像的一部分即指定图像，基于该指定图像所附带的属性信息来决定图像的选择条件，基于该决定出的选择条件从多个所述候选图像之中选择多个选择图像，将所述指定图像和所述多个选择图像双方分类至所述规定群组。

说明书

技术领域

本发明涉及将相互具有关联性的多个图像分类至规定群组的技术。

背景技术

近年来，一般情况下，将通过例如数码相机或附带相机的便携电话进 行摄影并被记录为图像数据的多幅摄影图像，或者作为电子相册进行记 录、或者进行打印输出。此外，例如在下述专利文献1中记载了如下技术， 即：在制作电子相册时，从为了输入或者打印所筛选出的多幅摄影图像之 中读出摄影日期时间，确定多个摄影图像的日期范围，制作向所确定的日 期范围分配1页的相册数据。根据相应技术，不用花费时间和功夫就能制 作印象良好的电子相册。(专利文献1：日本特开2008—250555号公报)。

然而，在上述技术中，在用户制作将具有所期望的任意关联性的摄影 图像集成的电子相册的情况下，也必须亲自一张一张地选择电子相册中包 含的摄影图像，因而存在电子相册的制作花费时间和功夫的问题。

发明内容

本发明正是鉴于上述课题而完成的，其目的在于提供一种能够容易地 制作将用户想要的具有任意关联性的图像集成起来的电子相册的电子相 册制作装置。

本发明的一个方式为图像分类装置，其特征在于，具备：

图像存储器，其存储成为选择应分类为规定群组的图像时的候选的多 个候选图像；

指定单元，其从所述多个候选图像之中指定应分类为所述规定群组的 图像的一部分、即指定图像；

属性获取单元，其获取所述指定图像所附带的属性信息；

决定单元，其基于由所述属性获取单元获取到的属性信息来决定图像 的选择条件；

选择单元，其基于由所述决定单元决定出的选择条件，从多个所述候 选图像之中选择多个与所述指定图像一起应分类为所述规定群组的其他 图像、即选择图像；和

分类单元，其将所述指定图像和所述多个选择图像双方分类为所述规 定群组。

此外，本发明的其他方式为图像分类方法，其特征在于，包括：

指定处理，从成为选择应分类为规定群组的图像时的候选的多个候选 图像之中，指定应分类为所述规定群组的图像的一部分、即指定图像；

属性获取处理，获取所述指定图像所附带的属性信息；

决定处理，基于由所述属性获取处理获取到的属性信息来决定图像的 选择条件；

选择处理，基于由所述决定处理决定出的选择条件，从多个所述候选 图像之中选择多个与所述指定图像一起应分类为所述规定群组的其他图 像、即选择图像；和

分类处理，将所述指定图像和所述多个选择图像双方分类为所述规定 群组。

此外，本发明的其他方式为记录了程序的非暂时性(non-transitory) 记录介质，其特征在于，

记录了使图像分类装置所具有的计算机作为如下单元发挥功能的程 序，这些单元为：

图像存储器，其存储成为选择应分类为规定群组的图像时的候选的多 个候选图像；

指定单元，其从多个所述候选图像之中指定应分类为所述规定群组的 图像的一部分、即指定图像；

属性获取单元，其获取所述指定图像所附带的属性信息；

决定单元，其基于由所述属性获取单元获取到的属性信息来决定图像 的选择条件；

选择单元，其基于由所述决定单元决定出的选择条件，从多个所述候 选图像之中选择多个与所述指定图像一起应分类为所述规定群组的其他 图像、即选择图像；和

分类单元，其将所述指定图像和所述多个选择图像双方分类为所述规 定群组。

此外，本发明的其他方式为电子相册制作装置，其特征在于，具备：

图像存储器，其存储成为选择包含于电子相册中的图像时的候选的多 个候选图像；

指定单元，其从多个所述候选图像之中选择包含于所述电子相册中的 图像的一部分、即指定图像；

属性获取单元，其获取所述指定图像所附带的属性信息；

决定单元，其基于由所述属性获取单元获取到的属性信息来决定图像 的选择条件；

选择单元，其基于由所述决定单元决定出的选择条件，从多个所述候 选图像之中选择多个与所述指定图像一起包含于所述电子相册中的其他 图像、即选择图像；和

相册生成单元，其生成包括所述指定图像和所述多个选择图像双方的 电子相册。

附图说明

图1是本发明所涉及的相册制作装置的框图。

图2是表示相册的制作顺序的流程图。

图3是继图2之后的流程图。

图4是表示条件调整画面的示例的图。

图5是表示选择条件被调整后的状态的条件调整画面的示例的图。

图6是表示属性选择画面的示例的图。

图7是概念性示出同一属性类别中的多个属性数据的关系的图。

图8是表示条件确认画面的示例的图。

图9是表示与属性类别对应的样本布局的示例的图。

具体实施方式

以下，对本发明的实施方式进行说明。图1是表示作为本发明的一实 施方式进行例示的相册制作装置1的简要的框图。

相册制作装置1是由CPU(Central Processing Unit)11控制装置整体 的构成，CPU11连接着ROM(Read Only Memory)12、RAM(Random  Access memory)13、媒体控制器14、图像存储器15、操作按键组16、 以及显示器17。

ROM12是存储有用于让CPU11控制装置整体的多种控制程序12a、 各种数据的存储器。在控制程序12a中包含用于让CPU11执行后述的处 理的相册制作程序。另外，在ROM12所存储的各种数据中包含为了确定 与后述的GPS信息(纬度、经度)相应的场所而使用的数据。RAM13是 CPU11根据需要暂时存储各种数据的工作用的存储器。

媒体控制器14是对自如装卸地组装到相册制作装置1的主体所设的 存储卡槽中的记录媒体21、与CPU11之间的数据的输入输出进行控制的 输入输出接口。

记录媒体21是存储了例如通过数码相机等摄影到的照片(摄影图像) 的图像数据的例如卡型存储器。记录媒体21所存储的图像数据例如是基 于Exif(Exchangeable Image File Format)标准的数据，是被记录为在通 过JPEG(Joint Photographic Expert Group)方式压缩后的图像数据主体中 嵌入各种属性信息的图像文件的数据。

在本实施方式中，属性信息中包含文件名、摄影日期时间、图像尺寸、 摄影条件(例如摄影光源、到被摄体的距离、闪光灯发光的状态、快门速 度)、相机的制造商名、摄影模式、GPS信息(纬度、经度)、表示被摄 体的信息、表示事件的信息等。

图像存储器15被内置于相册制作装置1，是存储有通过CPU11从记 录媒体21读出的图像数据、构成后述的电子相册的相册图像数据等的大 容量的内置存储器。另外，相册图像数据是将与规定的选择条件相应的多 幅摄影图像合成为1张相册图像的图像数据。

操作按键组16由用户操作相册制作装置1所使用的多个操作按键而 构成。CPU11通过稳定地扫描操作按键组16中的操作按键等的操作状态， 来检测基于规定按键操作的来自用户的各种指示。

显示器17由例如带有背光灯的彩色液晶显示面板、和根据CPU11 所提供的图像数据等显示数据来驱动彩色液晶显示面板的驱动电路而构 成。

以下，对本实施方式的相册制作装置1制作电子相册时的动作进行说 明。图2是示出了在制作电子相册时CPU11按照ROM12所存储的相册 制作程序所执行的处理的流程图。

当CPU11根据用户所进行的规定的按键操作来开始处理时，首先将 图像存储器15(或者记录媒体21)中存储的全部的摄影图像作为候选图 像而一览显示于显示器17的画面上(步骤S1)。另外，在相应的处理中， 由用户作为摄影图像的保存场所而指定了图像存储器15(或者记录媒体 21)中设置的任意的文件夹的情况下，仅将被指定的文件夹内的摄影图像 一览显示于画面上。

其次，当用户通过规定的按键操作指定了任一图像时(步骤S2：是)， CPU11将被指定的图像(以下称作指定图像。)如图4所示那样能够与一 览显示中的多个其他图像区别开地明示在画面上(步骤S3)。即，在图4 中由黑粗框和交叉阴影线所表示的图像是指定图像。另外，关于图4的详 细说明将在后面叙述。

接下来，CPU11获取在被指定的图像中附加的属性数据(步骤S4)。 另外，在相应的处理中，CPU11所获取的属性数据是与预先决定的多个 属性类别相关的属性数据。

然后，CPU11根据被指定的图像的张数(幅数)来执行以下的处理。 首先，在如处理开始当初那样被指定的图像为1张的情况下(步骤S5：1 张)，按照每个属性类别，提取附加了与在步骤S4的处理中获取到的属 性数据相类似的范围的属性数据的图像(步骤S6)。

其次，在提取出的图像的张数为预先决定的规定数以上的情况下(步 骤S7：是)，CPU11调整相类似的范围的基准，在调整后的条件下，再次 提取附加了与在步骤S4的处理中获取到的属性数据相类似的范围的属性 数据的图像(步骤S8)。此外，如果提取出的图像的张数未在预先决定的 规定数以上(步骤S7：否)，则直接进入步骤S9的处理。

接下来，在步骤S9的处理中，CPU11例如将图4所示那样的条件调 整画面G1显示于显示器17，让用户调整当前被设定的属性类别以及属性 数据的范围、即相册中包含的摄影图像的选择条件。

条件调整画面G1由候选图像(摄影图像)的一览显示区域101、其 下部显示出的、多个属性数据确认窗102、与各个属性数据确认窗102对 应的复选框103、条件选择按钮104、和范围指定按钮105构成。在该条 件调整画面G1中，在一览显示区域101内以四边形的方式示出的候选图 像之中，如先前叙述的那样由黑粗框和交叉阴影线所表示的图像是指定图 像。

在属性数据确认窗102中，与属性类别一起显示出在步骤S4中获取 到的指定图像的属性数据的内容。复选框103被用于作为选择条件来使用 的属性数据的选择。条件选择按钮104是在选择了多个属性类别的属性数 据用于设定以AND条件或者OR条件之中的哪种条件来使用各属性类别 的属性数据的按钮。范围设定按钮105是用于选择性地设定属性数据的范 围的按钮。可选择的属性数据的范围因属性类别而不同，例如若属性类别 为摄影日期时间，则是“1小时”、“1天”、“1月”的任意一个。

另外，CPU11使当前被设定的属性类别以及属性数据的范围反映到 在步骤S9的处理中最初显示的条件调整画面G1。此外，在图4示出的 条件调整画面G1中，属性类别之中的摄影场所是根据GPS信息判断出 的摄影场所。

在执行该步骤S9的处理时，CPU11使在步骤S6或者步骤S8的处理 中提取出的图像以能够与一览显示中的多个其他图像、以及指定图像辨别 开的状态而明示在画面上(在图中用黑粗框和斜线进行表示)，每当用户 在该状态下调整选择条件时，进行图像的再次提取并更新画面显示以反映 出新的选择条件。另外，也可不将调整选择条件过程中的图像的提取结果 显示在画面。

而且，CPU11在上述的条件调整画面G1中让用户调整由所使用的属 性数据(属性类别)及其范围等构成的选择条件。图5是表示用户调整了 选择条件的状态的条件调整画面G1的示例的图。

然后，在由用户指示了选择条件的决定时(步骤S10：是)，CPU11 进入图3的步骤S19的处理，让用户指示是否追加指定图像，在指示出 不追加指定图像的旨意的情况下(步骤S19：否)，直接进行后述的步骤 S20以后的处理。

另一方面，在指示出追加指定图像的旨意的情况下(步骤S19：是)， CPU11返回前述的步骤S1，反复直到前述的步骤S4为止的处理。即， CPU11让用户追加指定新的摄影图像，除了已经明示在画面上的指定图 像之外还将新的指定图像明示在画面上，然后追加获取新的指定图像中附 加的属性数据。

而且，当指定图像变为2张时(步骤S5：2张)，CPU11首先按照每 个属性类别，在从两个指定图像获取到的一个指定图像的属性数据至另一 个指定图像的属性数据之间的范围内，决定作为相册中包含的摄影图像的 选择条件的、属性数据的范围(步骤S11)。

另外，例如，如果属性类别为摄影日期时间，则在此决定的属性数据 的范围是2个指定图像的摄影日期时间之间的期间；如果属性类别为摄影 场所，则在此决定的属性数据的范围是2个指定图像的摄影场所之间的场 所、地域；如果属性类别为表示被摄体的种类、事件的信息，则在此决定 的属性数据的范围是与2个指定图像中的被摄体的种类、事件相应的概念 性范围。

其次，CPU11按照每个属性类别，从正在一览显示的多个候选图像 之中提取附加了与上述的范围(选择条件)相符的属性数据的摄影图像(步 骤S12)。

接下来，在提取出的图像数为既定数以下的属性类别存在多个的情况 下(步骤S13：是)，CPU11让用户选择作为选择条件的属性类别(步骤 S14)。

此时，CPU11将例如图6所示那样的、一览显示了提取出的图像数 为既定数以下的属性类别的属性选择画面G2显示在显示器17上，让用 户选择属性类别。属性选择画面G2由候选图像(摄影图像)的一览显示 区域101、和在其下部显示出的、属性数据确认窗102和复选框103构成。

即，在执行步骤S14的处理时，CPU11使在步骤S12的处理中提取 出的图像以能够与一览显示中的多个其他图像、以及指定图像辨别开的状 态而明示在画面上(在各图中用黑粗框和斜线进行表示的图像)，每当用 户在该状态下调整选择条件(选择属性类别)时，进行图像的再次提取并 更新画面显示以反映出新的选择条件。另外，也可不将调整选择条件过程 中的图像的提取结果显示在画面。

然后，当用户指示了选择条件的决定时(步骤S15：是)，CPU11进 入图3的步骤S19的处理。另一方面，在步骤S12的处理中提取出的图 像数为既定数以下的属性类别不是多个的情况下(步骤S13：否)，CPU11 立即进入图3的步骤S19的处理。

接着，在步骤S19中，CPU11让用户指示是否追加指定图像，在指 示出不追加指定图像的旨意的情况下(步骤S19：否)，直接进行后述的 步骤S20以后的处理。

此外，在指示出追加指定图像的旨意的情况下(步骤S19：是)，CPU11 返回前述的步骤S1，反复直到前述的步骤S4为止的处理。即，CPU11 让用户追加指定新的摄影图像，除了已经明示在画面上的指定图像之外还 将新的指定图像明示在画面上，然后追加获取新的指定图像中附加的属性 数据。

而且，当指定图像变为3张时(步骤S5：3张)，CPU11首先按照每 个属性类别，对全部的指定图像评价属性数据的类似性(步骤S16)。此 时，CPU11基于按照针对每个属性类别所决定的基准来排列各属性数据 时的各属性数据的分布状态，对属性数据的类似性进行评价。例如，如图 7(a)所示，在存在仅一个与其他分离的属性数据的情况下，判断为类似 性低；如图7(b)所示，如果全部的属性数据集中，则判断为类似性高。 而且，CPU11利用全部的属性类别所共用的多个等级，对类似性的高低 进行评价。即，作为类似性的评价结果，获取级别1～级别n之中的任一 个级别。

另外，如图7(c)所示，即便全部的属性数据分离，若针对指定图 像以外的候选图像的属性数据的分布的扩展而言集中到相对窄的范围，则 也可判断为类似性高。此外，图7以如摄影日期时间那样能一维地表示各 属性数据的关系的属性类别为例，概念性示出各属性数据的关系。

其次，CPU11针对评价为类似性最高的属性类别，将与属性数据的 分布状态相应的数据范围决定为选择条件(步骤S17)。在此，与分布状 态相应的数据范围是与数据的偏差程度和平均相应的范围，例如是以假定 根据属性数据的平均和方差所确定的分布为正态分布时的平均值为中心 的规定范围。

接下来，CPU11提取附加了与决定出的选择条件(范围)相符的属 性数据的摄影图像(在图3中为步骤S18)。此时，CPU11使显示器17 显示图8所示那样的条件确认画面G3，该条件确认画面G3中表示类似 性的评价结果最高的属性类别、并且将提取出的图像以能够与一览显示中 的多个其他图像、以及指定图像辨别开的状态而明示在画面上。另外，图 8示出类似性的评价结果最高的属性类别为摄影场所的情况下的示例。

然而，CPU11让用户指示是否追加指定图像，在指示出不追加指定 图像的旨意的情况下(步骤S19：否)，直接进行后述的步骤S20以后的 处理。

此外，在指示出追加指定图像的旨意的情况下(步骤S19：是)，CPU11 返回前述的步骤S1，从而反复前述的步骤S16～步骤S18的处理。

其次，说明在指示出不追加指定图像的旨意之后CPU11所执行的处 理。在步骤S20的处理中，CPU11将与前述的任一选择条件对应的相册 的样本布局显示于显示器17，让用户选择所期望的布局。

在此，与选择条件对应的相册的样本布局是指，对应于被决定为选择 条件的属性数据的属性类别来预先决定相册的各页中的张数、大小、配置 方式、和各页的背景。

图9(a)～图9(d)是简易地例示了多个样本布局的图，图9(a) 是以摄影日期时间作为基准的内容，作为可指定的布局而示出第1布局 L1和第2布局L2。即，在先前说明的处理中决定出的选择条件之中的属 性数据与摄影日期时间有关的情况下，相应的样本布局L1、L2被显示于 显示器17。

此外，图9(b)是以摄影场所作为基准的内容，图9(c)是以事件 作为基准的内容，图9(d)是以复合的属性类别作为基准的内容。另外， 图9(b)～图9(d)也示出第1布局L1和第2布局L2来作为可指定的 布局。

而且，在步骤S20的处理中，CPU11在显示了图9(a)～图9(d) 之中的任意一个样本布局的状态下，让用户利用规定的按键操作指定使用 第1布局L1或者第2布局L2之中的哪种布局。

然后，当用户指定了要使用的布局时(步骤S21：是)，CPU11按照 被指定的布局，生成配置了指定图像和选择图像的1页或者多页的相册图 像，并将所生成的相册图像的数据存储于图像存储器15或者记录媒体21。

如以上说明的那样，在本实施方式的相册制作装置1中，在制作电子 相册时，让用户从成为电子相册中包含的候选的候选图像之中指定所期望 的图像，基于在被指定的图像中附加的任意的属性数据来决定选择条件， 按照所决定出的选择条件从候选图像之中选择电子相册中包含的图像。

此时，在相册制作装置1中，由用户从候选图像之中指定了多个(2 张以上)的图像时，以在各个指定图像中附加的每个属性类别的属性数据 作为基准，自动地决定选择条件，按照所决定出的选择条件从候选图像之 中选择电子相册中包含的图像。

由此，能够更可靠地选择具有用户想要的关联性的多个图像，用户只 是指定具有自己想要的关联性的多个图像，就能够容易制作由指定出的图 像、以及除此之外的具有自己想要的关联性的其他图像构成的电子相册。 换言之，对于用户而言能够通过直观的操作容易地获得所期望的相册。

此外，随着指定图像的数量的增加，能够提高具有用户想要的关联性 的多个图像的选择精度。

尤其是，在本实施方式中，在指定图像为2张的情况下，作为选择条 件，按照每个属性类别来限定属性数据的范围，并且将该范围设为从一张 指定图像的属性数据至另一张指定图像的属性数据之间的特定的范围。由 此，用户不必设定细致的选择条件，作为具有用户想要的关联性的多个图 像的选择精度能够确保一定的选择精度。

进而，在本实施方式中，在指定图像为2张的情况下，将作为选择条 件使用的属性数据的属性类别，限定为与上述的特定的范围相符的属性数 据成为规定数以下的属性类别。由此，能够防止最终选择的图像徒增。

而且，关于与上述的特定的范围相符的属性数据成为规定数以下的属 性类别存在多个的情况，能够将作为选择条件使用的属性数据的属性类别 仅限定为用户所期望的1个或者多个属性类别。由此，只是让用户选择所 期望的属性类别，能够更确切地防止最终被选择的图像徒增。

在此，在本实施方式中，如前述，将作为选择条件使用的属性数据的 属性类别，限定为与上述的特定的范围相符的属性数据成为规定数以下的 属性类别。即，限定为与上述的特定的范围相符的属性数据成为预先固定 地决定出的数量以下的属性类别，但用户也可根据需要来设定该数量。

此外，在本实施方式中，在指定图像为3张以上的情况下，将作为选 择条件使用的属性数据，设为多个属性类别之中、各个指定图像中的属性 数据的整体类似性最高的特定的属性类别所涉及的属性数据。由此，用户 不用设定细致的选择条件，作为具有用户想要的关联性的多个图像的选择 精度就能够确保一定的选择精度。

进而，在指定图像为3张的情况下，作为选择条件而限定了与上述的 特定的属性类别相关的属性数据的范围，并且将该范围设为与属性数据的 偏差程度和平均相应的范围。由此，作为具有用户想要的关联性的多个图 像的选择精度，能够确保更高的选择精度。

在此，在本实施方式中，如前述，将作为选择条件使用的属性数据， 设为多个属性类别之中、各个指定图像中的属性数据的整体类似性最高的 特定的属性类别所涉及的属性数据，此时利用全部的属性类别所共用的多 个等级来评价属性数据的整体类似性，作为类似性的评价结果而获取级别 1～级别n之中的任一级别。

但是，也可在确定属性数据的整体类似性最高的属性类别时，对例如 作为类似性的评价结果而获取到的类似性的级别，根据属性类别进行预先 决定的加权，基于加权之后的类似性的级别来确定属性数据的整体类似性 最高的属性类别。

此外，在本实施方式中，将作为选择条件使用的属性数据的属性类别、 即包含于选择条件中的属性类别，设为属性数据的整体类似性最高的特定 的属性类别所涉及的属性数据，但是也可如下所述。

即，每当指定图像的张数增加时，对各个属性类别评价属性数据的整 体类似性时的精度有所提高。相应于此，也可将包含于选择条件中的属性 类别设为例如属性数据的整体类似性为规定的基准级别以上的1个或者 多个属性类别，每当指定图像的张数增加时就阶段性提升该基准级别，从 而也可在每当指定图像的张数增加时就较少包含于选择条件中的属性类 别的数量。

此时，如上述，由于关于各个属性类别而评价属性数据的整体类似性 时的精度得以提高，因此在包含于选择条件中的属性类别存在多个时，将 选择条件中的各个属性类别的属性数据的范围作为AND条件使用，从而 作为具有用户想要的关联性的多个图像的选择精度而能够确保更高的选 择精度。

此外，在本实施方式中，说明了相册制作装置1作为电子相册而制作 配置了指定图像、和自动地选择出的选择图像的1页或者多页的相册图像 的构成。但是，本发明也能应用于如下构成，即：作为电子相册而制作仅 记录了各页中的图像的布局(张数、大小、配置方式、背景)所涉及的信 息、和配置于各页的图像的辨别信息的相册数据。

此外，以上说明过的相册制作装置1能够通过组合到例如一般数码相 机、附带相机的便携电话中来实现。进而，本发明也能够通过在通用的个 人计算机中安装规定的应用软件，并使个人计算机进行图2以及图3所示 的处理来实现。