图像建议装置、图像建议方法及图像建议程序

摘要

本发明提供一种能够向用户建议与用户的房间相匹配且反映了用户的偏好的图像的图像建议装置、方法及程序。按每个用户收集与用户所偏好的“房间和图像”的组合相关的数据并保存于数据保存部(222)。生成部(211)使用按每个用户收集的数据，生成表示反映了用户的偏好的“房间和图像”的关联性的信息。若获取到由用户拍摄的房间图像(第2图像)(230)，则图像选择部(212)根据所获取的第2图像和表示“房间和图像”的关联性的信息，从登录在内容DB(218)、用户图像DB的图像组中选择反映了用户的偏好的图像(第3图像)(240)，并向用户建议。由此，作为装饰在用户的房间的图像能够建议与用户的房间相匹配且反映了用户的偏好的图像。

说明书

技术领域

本发明涉及一种图像建议装置、图像建议方法及图像建议程序，尤其涉及一种向用户建议装饰在房间的合适的图像的技术。

背景技术

用户在选择用于装饰在自己的房间的图像打印的图像时，需要选择与该房间的氛围相匹配的图像，但存在很难在现实的时间内从大量的图像组选择反映了用户的偏好的图像的问题。

专利文献1中，记载有如下信息处理终端：在用电视接收机观看内容的影像或声音的期间，按每个内容获取用户的活体信息，根据活体信息向用户推荐受到高评价的内容。

并且，专利文献2中记载有如下商品销售装置：在购买商品时，能够一边确认将购买研究商品配置于实际的房间时的氛围或协调性或者确认是否适合房间的尺寸一边进行购买。

专利文献2中记载的商品销售装置中，对拍摄商品而得的商品图像和拍摄用户的房间而得的房间图像进行合成，对顾客引导输出所合成的图像，尤其在对商品图像和房间图像进行合成时，根据设置商品的房间的尺寸和商品的尺寸之间的比例调整图像尺寸，且根据拍摄房间的拍摄方向对商品图像进行旋转处理，由此将商品图像的朝向调整为房间图像的拍摄方向，从而将商品图像合成配置于房间图像内。

由此，用户在购买商品时，能够一边确认将购买研究商品配置于实际的房间时的氛围或协调性或者确认是否适合房间的尺寸一边进行购买。

以往技术文献

专利文献

专利文献1：日本特开2009-134671号公报

专利文献2：日本特开2004-318359号公报

发明内容

发明要解决的技术课题

专利文献1中记载的发明根据用户的活体信息识别从用户受到高评价的内容并向用户推荐该内容，并不会推荐与用户的房间相匹配的图像。

另一方面，专利文献2中记载的发明通过获取用户房间的图像，并在该房间的图像合成商品的图像来建议适于房间(符合房间的尺寸)的商品，并不是建议与用户的房间相匹配且反映了用户的偏好的图像的发明。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够向用户建议与用户的房间相匹配且反映了用户的偏好的图像的图像建议装置、图像建议方法及图像建议程序。

用于解决技术课题的手段

为了实现上述目的，本发明的一方式所涉及的图像建议装置具备：数据保存部，收集并保存按每个用户收集的与第1房间和第1图像的组合相关的数据，所述数据为与用户所偏好的组合相关的数据；生成部，使用保存在数据保存部的与用户相对应的数据，生成表示反映了用户的偏好的第1房间和第1图像的关联性的信息；图像获取部，获取由用户拍摄的第2房间的图像即第2图像；图像选择部，根据通过图像获取部获取的第2图像和通过生成部生成的表示关联性的信息，从已登录的图像组或用户所具有的图像组选择反映了用户的偏好的图像即第3图像；及建议部，作为与在用户的第2房间装饰的图像打印相对应的图像，向用户建议通过图像选择部选择的第3图像。

根据本发明的一方式，收集与用户所偏好的“房间和图像”的组合相关的数据，使用所收集的数据，生成表示反应了用户的偏好的“房间和图像”的关联性的信息。并且，若获取到由用户拍摄的房间的图像(第2图像)，则根据所获取的第2图像和表示“房间和图像”的关联性的信息，从已登录的图像组或用户所具有的图像组选择反映了用户的偏好的图像(第3图像)，并向用户建议。由此，作为装饰在用户的房间的图像能够建议与用户的房间相匹配且反映了用户的偏好的图像。

本发明的另一方式所涉及的图像建议装置中优选如下，即，具备：信息获取部，获取用户的活体信息；及图像阅览部，能够阅览图像，当用户处于使用图像阅览部进行的图像阅览中，装饰了第1图像的第1房间的图像即第4图像出现在图像阅览部时，数据保存部根据从活体信息获取部获取到的用户的活体信息获取反映了用户的偏好的第4图像，从所获取到的第4图像收集与用户所偏好的组合相关的数据。由此，能够自动收集与用户所偏好的“房间和图像”的组合相关的信息。

本发明的又一方式所涉及的图像建议装置中优选如下，即，活体信息获取部为用户穿戴的可穿戴终端，图像阅览部为获取通过网络阅览的图像，将所获取的图像显示于显示部，且与可穿戴终端进行通信来获取用户的活体信息的移动终端，数据保存部从移动终端获取反映了用户的偏好的第4图像。

本发明的又一方式所涉及的图像建议装置中优选如下，即，具备：图像生成部，根据第2图像和通过生成部生成的表示关联性的信息，生成与第2房间相匹配的第5图像，图像选择部从已登录的图像组或用户所具有的图像组选择与所生成的第5图像类似的1个或多个图像作为第3图像。

本发明的又一方式所涉及的图像建议装置中优选如下，即，图像选择部根据第2图像和通过生成部生成的表示关联性的信息，提取表示与第2房间相匹配的第5图像的特征的特征量，从所登录的图像组或用户所拥有的图像组选择具有与所提取的特征量类似的特征量的1个或多个图像作为第3图像。

本发明的又一方式所涉及的图像建议装置中优选如下，即，生成部为将保存在数据保存部的与用户相对应的数据作为学习数据进行了机械学习的识别器，图像选择部输入通过图像获取部获取的第2图像作为识别器的输入图像，根据从识别器输出的识别结果，从已登录的图像组或用户所具有的图像组选择与识别结果类似的1个或多个图像作为第3图像。

本发明的又一方式所涉及的图像建议装置中优选如下，即，图像选择部提取表示从识别器输出的识别结果的特征的特征量，从已登录的图像组或用户所具有的图像组选择具有与所提取的特征量类似的特征量的1个或多个图像作为第3图像。

本发明的又一方式所涉及的图像建议装置中优选如下，即，生成部将保存在数据保存部的数据中的、属性与第1用户类似的第2用户的数据用作与用户相对应的数据，生成表示反映了用户的偏好的第1房间和第1图像的关联性的信息。

本发明的又一方式所涉及的图像建议装置中优选如下，即，建议部建议反映了用户的偏好的上位的多个第3图像。

本发明的又一方式所涉及的图像建议装置中优选如下，即，建议部在通过图像获取部获取的第2图像的墙壁区域合成所选择的所述第3图像，并将所合成的第5图像提示给用户。

又一方式所涉及的图像建议方法包括：收集按用户收集的与第1房间和第1图像的组合相关的数据并保存于数据保存部的步骤，所述数据为与用户所偏好的组合相关的数据；使用保存在数据保存部的与用户相对应的数据，生成表示反映了用户的偏好的第1房间和第1图像的关联性的信息的步骤；获取由用户拍摄的第2房间的图像即第2图像的步骤；根据获取的第2图像和所生成的表示关联性的信息，从已登录的图像组或用户所具有的图像组选择反映了用户的偏好的图像即第3图像的步骤；及作为与在用户的第2房间装饰的图像打印相对应的图像，向用户建议所选择的第3图像的步骤。

又一方式所涉及的图像建议程序通过计算机执行如下功能：收集按用户收集的与第1房间和第1图像的组合相关的数据并保存于数据保存部的功能，所述数据为与用户所偏好的组合相关的数据；使用保存在数据保存部的与用户相对应的数据，生成表示反映了用户的偏好的第1房间和第1图像的关联性的信息的功能；获取由用户拍摄的第2房间的图像即第2图像的功能；根据获取的第2图像和所生成的表示关联性的信息，从已登录的图像组或用户所具有的图像组选择反映了用户的偏好的图像即第3图像的功能；及作为与在用户的第2房间装饰的图像打印相对应的图像，向用户建议所选择的第3图像的功能。

发明效果

根据本发明，作为装饰在用户的房间的图像，能够向用户建议与用户的房间相匹配且反映了用户的偏好的图像。

附图说明

图1是表示包括本发明的一方式所涉及的图像建议装置的系统的系统结构图。

图2是表示本发明的一方式所涉及的图像建议装置200的实施方式的框图。

图3是保存在数据保存部222的“房间和图像的组合”数据的一例。

图4是表示用户房间的图像230的一例的图。

图5是表示图1所示的用户终端10的外观的图。

图6是表示图5所示的智能手机100的结构的框图。

图7是表示图5所示的可穿戴终端1的结构的框图。

图8是表示图1及图2所示的图像建议装置200的第1实施方式的框图。

图9是表示图8所示的生成部211的实施方式的功能框图。

图10是表示显示通过图像建议装置200建议的图像的智能手机100的显示画面的一例的图。

图11是表示图1及图2所示的图像建议装置200的第2实施方式的框图。

图12是表示显示通过图像建议装置200建议的图像的智能手机100的显示画面的另一例的图。

图13是表示本发明的一方式所涉及的图像建议方法的实施方式的流程图。

具体实施方式

以下，根据附图对本发明的一方式所涉及的图像建议装置、图像建议方法及图像建议程序的优选实施方式进行说明。

[图像建议装置的结构]

图1是表示包括本发明的一方式所涉及的图像建议装置的系统的系统结构图。

图1所示的系统由每个用户的用户终端10及图像建议装置200构成，各用户终端10和图像建议装置200能够经由网络(互联网)3进行通信。

与网络3连接的各网站4在网页上公开图像等内容，用户能够通过用户终端10的网页浏览器阅览或利用内容。各网站4可以是现有网站，也可以包括为了由后述的图像建议装置200所提供的服务而创建的网站。

用户终端10作为通过网络3阅览网站4所公开的内容(本例中，图像)的图像阅览部发挥作用，且具有通过与用户所穿戴的可穿戴终端1及2的通信(例如，近距离无线通信)获取用户自身的活体信息的功能，尤其作为获取用户所偏好的“房间和图像的组合”数据的数据获取部发挥作用。在此，“房间和图像的组合”数据是房间(包括客厅、餐厅、卧室、书房、玄关等)和装饰在该房间(房间的墙壁)的图像(照片)的组合，是与用户所偏好的“房间和图像的组合”相关的数据，例如包括装饰有照片的房间的图像数据。在此，“房间”是指至少通过地板、天花板及1面以上的墙壁划分的空间。主要指包围地板、天花板及4个面的空间，但也可以包括如车库那样4个面中不存在几个面而开放的空间。

用户终端10由如下构成：内置有测量活体信息的活体信息传感器的腕带型可穿戴终端1或者指环型可穿戴终端2；及与可穿戴终端1及2进行通信的可穿戴终端1及2的所有者的移动终端(本例中，智能手机100)。

可穿戴终端1及2内置有作为活体信息传感器发挥作用的心率传感器、体温计、加速度传感器等，通过这些传感器测量心率、体温、加速度，且根据这些测量结果，计算(分析)运动状态、身体姿势、消耗热量、步数、睡眠时间、心理状态(放松、紧张、兴奋等)等。通过可穿戴终端1测量的活体信息(包括分析结果)能够在可穿戴终端1的内部存储器中保存管理或显示于监视器。

并且，可穿戴终端1及2能够和安装有与可穿戴终端1及2相对应的应用程序的智能手机100协作，在与智能手机100之间进行包括活体信息在内的各种信息的交换。

智能手机100中，安装有与可穿戴终端1及2相对应的应用软件，通过执行该应用软件而在与可穿戴终端1及2之间进行通信，进行来自可穿戴终端1及2的活体信息的获取、所获取的活体信息的保存管理及活体信息的确认用的监视器输出等。

另外，获取活体信息的可穿戴终端并不限于腕带型可穿戴终端1、指环型可穿戴终端2，例如可考虑眼镜型、衣服型、吊坠型及头盔型等各种可穿戴终端。

在眼镜型可穿戴终端的情况下，具备摄像部、显示器、加速度传感器、脑波传感器、眼电位传感器等，具有脑波测量、测量眨眼、视线方向、视线移动、身体的移动等活体信息的功能，能够在安装在眼镜的显示器显示除了测量数据以外的其他必要信息。

图2是表示本发明的一方式所涉及的图像建议装置200的实施方式的框图。

图2所示的图像建议装置200例如作为针对用户终端10即智能手机100的服务器发挥作用，主要由通信部210、生成表示房间和图像的关联性的信息(“房间和图像”的关联性信息)的生成部211、图像选择部212、图像处理部214、内容DB(DB：数据库，Database)218、用户图像DB220及数据保存部222构成。

执行图像建议装置200的各种控制的硬件结构为如下示出的计算机的各种处理器(processor)。各种处理器中，包括执行软件(程序(包括图像建议程序))来作为各种控制部而发挥作用的通用的处理器即CPU(中央处理单元，Central Processing Unit)、FPGA(现场可编程门阵列，Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有ASIC(专用集成电路，Application Specific Integrated Circuit)等为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合)构成。并且，也可以由1个处理器构成多个控制部。作为由1个处理器构成多个控制部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个控制部发挥作用的方式。第2，有如系统芯片(System On Chip：SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包含多个控制部的整个系统的功能的处理器的方式。如此，各种控制部作为硬件结构利用上述各种处理器的1个以上来构成。

通信部210为通过网络3在与附带相机的用户终端(本例中，智能手机100)之间进行必要信息的收发的部分。

通信部210接收由智能手机100获取的“房间和图像的组合”数据。所接收的“房间和图像的组合”数据按用户保存于数据保存部222。另外，关于基于智能手机100的“房间和图像的组合”数据的获取方法的详细内容，将在后面进行说明。

数据保存部222按每个用户保存通过智能手机100按每个用户收集的“房间和图像的组合”数据。

图3是保存在数据保存部222的“房间和图像的组合”数据的一例。本例的“房间和图像的组合”数据a、b、c、…分别为装饰有照片(第1图像)的房间(第1房间)的图像(第4图像)，是用户在网站4的阅览中通过智能手机100从网站4获取的房间的图像。

并且，通信部210作为获取(接收)通过智能手机100拍摄的用户房间(第2房间)的图像即第2图像的图像获取部发挥作用。

图4是表示用户房间的图像230的一例的图。另外，图像230可以是静止图像，也可以是拍摄装饰图像打印的房间而得的动画。在图像230为动画的情况下，在之后的工序中，通过公知的方法分割为彼此不重叠(或者彼此重叠较少)的多个静止图像，作为输入有多个静止图像的图像处理即可。

而且，通信部210为了向用户建议而将与装饰在用户房间的图像打印相对应的图像(第3图像)发送至智能手机100。

回到图2，内容DB218中预先登录有装饰在房间(房间的墙壁)的图像打印用的大量图像(图像组)。在此已登录的图像组例如为由专业摄影师拍摄的图像组。

用户图像DB220中登录有由各用户拍摄的用户所具有的图像组，并按每个用户管理。另外，用户图像DB220中，能够从智能手机100经由通信部210登录用户所具有的图像组。并且，能够通过读卡器等读出并登录记录在用户所具有的存储卡(记录介质)的图像组。另外，用户所具有的图像组中，还可以包含由用户以外的其他人拍摄并发送给用户的图像及在互联网上保存且用户具有随时能够访问的权限的图像等。

内容DB218及用户图像DB220并不限于内置在图像建议装置200，也可以通过LAN(局域网，Local Area Network)等连接，并且能够适当访问。

生成部211为使用保存在数据保存部222的与用户相对应的数据，生成反映了用户的偏好的“房间和图像”的关联性信息的部分。

图像选择部212根据经由通信部210获取的用户房间的图像230(图4)和通过生成部211生成的“房间和图像”的关联性信息，从登录在内容DB218的图像组或登录在用户图像DB220的用户所具有的图像组选择反映了用户的偏好的图像(第3图像)。第3图像可以是1张也可以是多张。

另外，关于生成部211及图像选择部212的详细内容，将在后面进行说明。

图像处理部214及通信部210作为建议部发挥作用，其建议通过图像选择部212选择的第3图像作为与装饰在用户房间的图像打印相对应的图像(第3图像)，图像处理部214为对通过图像选择部212选择的第3图像进行处理的部分，根据所选择的第3图像生成显示于智能手机100的显示部的包括第3图像在内的图像(显示用图像)，通信部210将通过图像处理部214生成的显示用图像发送至智能手机100。

<“房间和图像的组合”数据的收集>

图5是表示图1所示的用户终端10的外观的图。

图5所示的用户终端10由可穿戴终端1及智能手机100构成。

智能手机100通过启动与可穿戴终端1相对应的应用软件，通过无线通信从可穿戴终端1获取由可穿戴终端1测量及分析的活体信息。

并且，智能手机100通过在用户阅览由网站4提供的内容时，在智能手机100内始终运行的程序(用于获取“房间和图像的组合”数据的程序)，若出现“房间和图像的组合”图像，则检测该“房间和图像的组合”图像。此时，通过分析从可穿戴终端1获取的活体信息来获得的喜怒哀乐等感情(与用户的活体信息具有高相关性的感情)变化为积极的方向，则获取此时的阅览图像(+活体信息)作为用户所偏好的“房间和图像的组合”数据(+活体信息)。

[智能手机100]

图5所示的智能手机100具有平板状壳体102，在壳体102的其中一个面具备作为显示面的显示面板121和作为输入部的操作面板122成为一体的显示输入部120。并且，壳体102具备扬声器131、麦克风132、操作部140及相机部141。另外，壳体102的结构并不限定于此，例如还能够采用显示部和输入部独立的结构或采用具有折叠结构或滑动机构的结构。

图6是表示图5所示的智能手机100的结构的框图。如图6所示，作为智能手机100的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、作为摄像部发挥作用的相机部141、存储部150、外部输入输出部160、GPS(全球定位系统，GlobalPositioning System)接收部170、动作传感器部180、电源部190及主控制部101。并且，作为智能手机100的主要功能，具备进行经由基站装置及移动通信网的移动无线通信的无线通信功能。

无线通信部110根据主控制部101的指示，对容纳于移动通信网的基站装置进行无线通信。使用该无线通信，进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入部120是具备显示面板121及操作面板122的所谓的触摸面板，通过主控制部101的控制，显示图像(静止图像及动画)或字符信息等来视觉性地向用户传递信息，且检测用户对所显示的信息的操作。鉴赏所生成的三维图像时，显示面板121优选为三维显示面板。

显示面板121将LCD(液晶显示器，Liquid Crystal Display)、OELD(有机电致发光显示器，Organic Electro-Luminescence Display)等用作显示装置。

操作面板122是以能够视觉辨认显示于显示面板121的显示面上的图像的方式载置，并检测通过用户的手指或触控笔操作的1个或多个坐标的器件。若通过用户的手指或触控笔对该器件进行操作，则将因操作而产生的检测信号输出至主控制部101。接着，主控制部101根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

如图5所示，智能手机100的显示面板121和操作面板122成为一体而构成显示输入部120，配置成操作面板122完全覆盖显示面板121。采用该配置时，操作面板122可以具备对显示面板121以外的区域也检测用户操作的功能。换言之，操作面板122可以具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可以使显示区域的大小与显示面板121的大小完全一致，但无需一定使两者一致。并且，操作面板122可以具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体102的大小等而适当设计。而且，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。

通话部130具备扬声器131或麦克风132，所述通话部130将通过麦克风132输入的用户的音频转换为能够在主控制部101中处理的音频数据来输出至主控制部101，或对通过无线通信部110或者外部输入输出部160接收的音频数据进行解码并从扬声器131输出。并且，如图5所示，例如，能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。

操作部140为使用键开关等的硬件键，接收来自用户的指示。例如，操作部140搭载于智能手机100的壳体102的显示部的下部、下侧面，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部150存储主控制部101的控制程序和控制数据、将通信对象的名称或电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、已下载的内容数据，并且临时存储流数据等。并且，存储部150由内置于智能手机的内部存储部151及具有可装卸的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151和外部存储部152利用闪存式(flash memory type)、硬盘类型(hard disktype)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(随机存取存储器，Random Access Memory)、ROM(只读存储器，Read Only Memory)等存储介质来实现。

外部输入输出部160发挥与和智能手机100连结的所有外部设备的接口的作用，通过通信等(例如，通用串行总线等)或网络(例如，互联网、无线LAN(局域网，Local AreaNetwork)、蓝牙(Bluetooth)(注册商标)、RFID(射频识别，Radio FrequencyIdentification)、红外线通信(红外线数据协会，Infrared Data Association：IrDA)、UWB(超宽带，Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)，直接或间接地与其他外部设备连接。

作为与智能手机100连结的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(用户识别模块卡，Subscriber Identity Module Card)/UIM(用户身份模块卡，User IdentityModule Card)卡、经由音频/视频I/O(输入/输出，Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的移动信息终端、耳机等。外部输入输出部能够将从这种外部设备接收到传输的数据传递至智能手机100的内部的各构成要件，或将智能手机100内部的数据传输至外部设备。本例中，外部输入输出部160作为在与可穿戴终端1及2之间进行蓝牙等近距离无线通信，获取活体信息的活体信息获取部发挥作用。

GPS接收部170根据主控制部101的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测包含智能手机100的纬度、经度、高度的位置信息(GPS信息)。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部180例如具备三轴加速度传感器等，根据主控制部101的指示，检测智能手机100的物理动作。通过检测智能手机100的物理动作，可检测智能手机100的移动方向或加速度。该检测结果被输出至主控制部101。

电源部190根据主控制部101的指示，向智能手机100的各部供给积蓄在电池(未图示)中的电力。

主控制部101具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，总括控制智能手机100的各部。并且，主控制部101为了通过无线通信部110进行音频通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用程序处理功能。

应用程序处理功能通过由主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用程序处理功能，例如除了控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web页面的Web浏览功能等以外，还有通过可穿戴终端1专用的应用软件从可穿戴终端1自动获取活体信息的功能及通过用于获取“房间和图像的组合”数据的程序获取“房间和图像的组合”数据的功能等。

并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静止图像或动画的数据)在显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部101对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部120的功能。

而且，主控制部101执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。

通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法落入显示面板121的显示区域的较大图像等接受使图像的显示部分移动的指示的软件键。

并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接受对上述图标的操作和对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部101具备判定对操作面板122操作的位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置的触摸面板控制功能。

并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部141为利用CMOS(互补金属氧化物半导体，Complementary Metal OxideSemiconductor)或CCD(电荷耦合器件，Charge-Coupled Device)等图像传感器进行电子摄像的摄像装置。

并且，相机部141能够通过主控制部101的控制，将通过拍摄而获得的可见光的图像数据例如转换为JPEG(联合图像编码专家组，Joint Photographic coding ExpertsGroup)等压缩的图像数据，并记录于存储部150或通过外部输入输出部160或无线通信部110输出，并能够同样地将表示被摄体的距离的距离图像记录于存储部150或通过外部输入输出部160或无线通信部110输出。如图2所示，在智能手机100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限于此，可以搭载于显示输入部120的背面，或者也可以搭载多个相机部141。另外，搭载有多个相机部141时，还能够切换用于拍摄的相机部141来单独拍摄或者同时使用多个相机部141来拍摄。

并且，相机部141能够利用于智能手机100的各种功能。例如，能够在显示面板121显示用相机部141获取的图像，或作为操作面板122的操作输入之一，利用相机部141的图像。并且，GPS接收部170检测位置时，还能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，不使用三轴加速度传感器或与三轴加速度传感器同时使用来判断智能手机100的相机部141的光轴方向或判断当前的使用环境。

当然，还能够在应用软件内利用来自相机部141的图像。

[可穿戴终端1]

图5所示的可穿戴终端1为佩戴于用户的手腕的腕带型可穿戴终端，能够检测用户的活体信息。

活体信息是指能够从活体测量的信息，典型地包括心率、脉搏、血压、体温、呼吸频率、出汗量、脑波图案等生命体征，并且还可以包括分析这些测量结果而获得的喜怒哀乐等感情、姿势(躺卧姿势、站立姿势、坐姿、步行姿势、跑步姿势等)、运动量、步数、热量消耗量或睡眠时间。

图7是表示图5所示的可穿戴终端1的结构的框图。

图5及图7所示的可穿戴终端1具有：显示部20，具有能够显示用户活体信息的测量结果等各种信息的画面的一例即显示画面21(例如，LCD、OELD等)；触摸传感器22，能够检测显示部20的显示画面21上的触摸操作位置即触摸位置；指纹传感器23，其为能够检测用户指纹的检测部的一例；操作按钮24，设置于可穿戴终端1主体的侧面且能够对可穿戴终端1输入各种操作；控制器25；存储部26；活体信息传感器27；及通信部28。在本实施方式中，显示部20及触摸传感器22作为所谓的触摸面板显示器发挥作用。

控制器25由CPU(中央处理器，Central Processing Unit)等构成，通过执行存储于存储部26的程序来控制可穿戴终端1所具备的各部。存储部26由ROM及RAM等构成，能够存储由控制器25执行的程序、控制器25执行程序时使用的数据等各种信息。

活体信息传感器27包括心率传感器、体温计、加速度传感器等，测量佩戴可穿戴终端1的用户的活体信息(例如，心率、体温、运动状态等)。通信部28能够通过无线通信与智能手机100等外部设备进行通信。

[图像建议装置的第1实施方式]

图8是表示图1及图2所示的图像建议装置200的第1实施方式的框图。

用户通过智能手机100拍摄自己的房间(第2房间)，经由网络3将所拍摄的房间的图像(第2图像)230发送至图像建议装置200(图1)。

图8中，图像选择部212输入通过图像建议装置200的通信部210(图2)接收的房间的图像230。

生成部211使用保存在数据保存部222的“房间和图像的组合”数据中与发送房间的图像230的用户相对应的“房间和图像的组合”数据，生成反映了该用户的偏好的“房间和图像”的关联性信息，将所生成的“房间和图像”的关联性信息输出至图像选择部212。另外，生成部211优选事先(与接收房间的图像230的时刻不同的时刻)使用“房间和图像的组合”数据，通过机械学习方法生成“房间和图像”的关联性信息。

图9是表示图8所示的生成部211的实施方式的功能框图。

图9所示的生成部211主要由卷积神经网络(CNN：Convolution Neural Network)232、损失值计算部234及参数控制部236构成。

CNN232具有多个层结构，并具有多个权重参数。CNN232通过权重参数从初始值更新为最佳值，能够从未学习模型变化为已学习模型。

该CNN232具备输入层232A、具有由卷积层及池化层构成的多个组的中间层232B及输出层232C，各层为多个“节点”通过“边缘”连结的结构。

输入层232A中输入作为保存在数据保存部222的“房间和图像的组合”数据的第1房间的图像(第4图像)250(图3)。

中间层232B具有以卷积层和池化层作为1个组的多个组，是从由输入层232A输入的图像250提取特征的部分。卷积层对位于前一层附近的节点进行过滤处理(进行使用过滤器的卷积运算)，获取“特征图”。池化层缩小从卷积层输出的特征图来设为新的特征图。“卷积层”承担从图像提取边缘等提取特征的作用，“池化层”承担赋予耐用性的作用，以免所提取的特征受到平行移动等引起的影响。另外，中间层232B中，不限于以卷积层和池化层作为1个组的情况，还包括卷积层连续的情况和标准化层。

关于适用于学习前的CNN232的各卷积层的过滤器的系数和偏移值中的与下一层的连接的权重，设置任意的初始值，但优选设置使用于图像分类等的CNN的参数作为初始值。

损失值计算部234获取CNN232的输出层232C的输出(特征图)、作为训练数据(还称为教师数据)的图像(第1图像)250A，计算两者之间的损失值。损失值的计算方法例如可考虑软最大交又熵、S形等。在此，作为训练数据的图像250A为房间的图像250中包含的图像且装饰在房间的图像，与从图像250切出的图像相对应。

参数控制部236根据通过损失值计算部234计算出的损失值，通过误差逆传播法调整CNN232的权重参数。

如此学习的已学习的CNN232的参数成为“房间和图像”的关联性信息。

图像选择部212根据经由通信部210获取的用户房间的图像230(图4)和通过生成部211生成的“房间和图像”的关联性信息，从登录在内容DB218的图像组或登录在用户图像DB220的用户所具有的图像组选择反映了用户的偏好的图像(第3图像)240。

由此，作为装饰在用户的房间的图像，能够选择与用户的房间相匹配且反映了用户的偏好的图像240。另外，关于是从登录在内容DB218的图像组选择图像240还是从登录在用户图像DB220的图像组选择图像240，可以设为能够由用户指定，也可以设为从两个图像组分别选择图像240。

另外，图9所示的生成部211中，作为保存在数据保存部222的“房间和图像的组合”数据，使用通过智能手机100在网站4的阅览中从网站4获取的房间的图像250，将图像250和该图像250中包含的装饰在房间的图像(第1图像)250A用作学习数据，获取相当于“房间和图像”的关联性信息的CNN232的参数，但也可以在数据保存部222中保存房间的图像250和图像250A的特征量的对作为“房间和图像的组合”数据，根据特征量的对进行机械学习来获取“房间和图像”的关联性信息。

图像处理部214(图2)根据通过图像选择部212选择的图像240生成包含图像240的显示用图像。图像建议装置200经由通信部210及网络3将显示用图像发送至用户的智能手机100。

图10是表示显示通过图像建议装置200建议的图像的智能手机100的显示画面的一例的图。

在图10所示的智能手机100的显示画面上，根据从图像建议装置200接收的显示用图像，显示包含通过图像选择部212选择的图像240的图像240-1。由此，向用户建议与装饰在用户房间的图像打印相对应的图像240。

图10所示的例中，示出了如下情况：通过图像选择部212，作为与用户房间相匹配且反映了用户的偏好的图像，选择适合度高的上位的3张图像(No.1、No.2及No.3)，3张图像的缩略图像和与No.1的缩略图像相对应的主图像即图像240显示于显示画面。

用户希望确认图像240以外的图像的详细内容时，例如能够通过选择No.2或No.3的缩略图像，代替图像240显示与缩略图像相对应的主图像。

并且，在显示画面显示有“进入订单画面”的图标按钮，用户通过操作该图标按钮，能够转移到发出与放大显示于显示画面的图像相对应的照片打印的订单的画面。

由此，图像建议装置200能够向用户建议与用户房间相匹配且反映了用户的偏好的图像。

另外，图10所示的例中，设为能够从与适合度高的上位的3张图像打印相对应的3张图像选择用户所希望的图像，但所提示的图像的张数并不限定于此。并且，也可以仅建议适合度最高的图像。此时，优选能够通过来自用户的指示输入请求其他图像(例如，适合度第二高的图像等)的建议，以便能够应对不满意所建议的图像的情况。

并且，建议多个图像时，可以根据用户的活体信息推断用户的偏好顺序来确定所建议的顺序。

[图像建议装置的第2实施方式]

图11是表示图1及图2所示的图像建议装置200的第2实施方式的框图。另外，在图11中，对与图8所示的图像建议装置200的第1实施方式共同的部分标注相同符号，并省略其详细说明。

图11所示的图像建议装置200的第2实施方式与第1实施方式的不同点主要在于，具有生成部211-2及图像生成部213。

生成部211-2相当于图9所示的生成部211，尤其与已学习的CNN232(识别器)相对应。已学习的CNN232能够根据房间的图像的特征量输出识别结果(特征图)，所述识别结果表示装饰在该房间的图像的特征量、且与该房间相匹配且反映了用户的偏好的图像的特征量。

因此，若作为生成部211-2的输入图像输入用户房间的图像230，则输出表示与用户房间相匹配且反映了用户的偏好的图像的特征量的特征图。

图像生成部213例如由逆卷积神经网络构成，将通过生成部211-2生成的特征量空间的特征图转换为图像空间，生成(复原)与图像230所示的用户房间相匹配且反映了用户的偏好的图像(第5图像)。

图像选择部212根据通过图像生成部213生成的第5图像，从登录在内容DB218的图像组或登录在用户图像DB220的用户所具有的图像组选择与第5图像类似的1个或多个图像。如此通过图像选择部212选择的图像240成为与用户房间相匹配且反映了用户的偏好的图像。

另外，在图11所示的第2实施方式中，通过图像生成部213从由生成部211-2输出的特征图复原图像(第5图像)，根据第5图像，从登录在内容DB218的图像组或登录在用户图像DB220的图像组选择与第5图像类似的1个或多个图像，但并不限于此，也可以根据从生成部211-2输出的特征图(特征量)，从登录在内容DB218的图像组或登录在用户图像DB220的图像组选择具有类似的特征量的1个或多个图像。

[所建议的图像的其他实施方式]

图12是表示显示通过图像建议装置200建议的图像的智能手机100的显示画面的另一例的图。

作为建议部的一部分而发挥作用的图像处理部214具有如下功能：根据用户房间的图像230(图4)和通过图像选择部212选择的图像240，生成在房间的图像230的墙壁区域合成图像240的合成图像(第5图像)240-2作为显示用图像。

在图12所示的智能手机100的显示画面上，根据从图像建议装置200接收的显示用图像，显示通过图像选择部212选择的图像240合成在房间的图像的墙壁区域的合成图像240-2。

由此，用户能够更准确地确认在自己房间的墙壁配置了所建议的图像240时的氛围或协调性。

[图像建议方法]

图13是表示本发明的一方式所涉及的图像建议方法的实施方式的流程图，与图2所示的图像建议装置200的各部的动作相关而示出。

在图13中，总括控制图2所示的图像建议装置200的各部的控制部(未图示)判别是否经由通信部210获取到了由用户拍摄的用户房间的图像(步骤S10)。

未获取用户房间的图像时(“否”的情况)，从智能手机100接收在网站上阅览时通过在用户的智能手机100内始终运行的程序获取的“房间和图像的组合”数据，并收集、保存于数据保存部222(步骤S12)。

已获取用户房间的图像时(“是”的情况)，生成部211使用保存在数据保存部222的与用户相对应的“房间和图像的组合”数据，生成反映了用户的偏好的“房间和图像”的关联性信息(步骤S14)。另外，也可以按每个用户预先生成并保存“房间和图像”的关联性信息。

接着，图像选择部212根据经由通信部210获取的用户房间的图像(图4)和所生成的“房间和图像”的关联性信息，从登录在内容DB218的图像组或登录在用户图像DB220的图像组选择反映了用户的偏好的图像(第3图像)(步骤S16)。

图像处理部214及通信部210将在步骤S16中选择的第3图像显示于智能手机100的显示画面，由此建议为与装饰在用户房间的图像打印相对应的图像(第3图像)(步骤S18)。

由此，用户仅通过将自己房间的图像发送至图像建议装置200，就能够接收与自己的房间相匹配且反映了自己的偏好的图像建议。

[其他]

本实施方式的图像建议装置200可以是设置于接受图像打印订单的店铺等的店面终端装置，此时，也可以由店面终端装置直接接收用户房间的图像，将向用户建议的图像显示于店面终端装置的监视器，接收打印订单等用户操作。

并且，在数据保存部222中没有“房间和图像的组合”数据的用户或“房间和图像的组合”数据不充分的用户(第1用户)的情况下，可以使用属性(性别、年龄、爱好等)与第1用户类似的其他用户(第2用户)的“房间和图像的组合”数据，生成反映了第1用户的偏好的“房间和图像”的关联性信息。

而且，本发明包括通过安装于计算机来使计算机作为本发明所涉及的图像建议装置发挥作用的图像建议程序及记录有该图像建议程序的记录介质。

而且，本发明并不限定于上述实施方式，能够在不脱离本发明精神的范围内进行各种变形是理所当然的。

根据上述记载，能够掌握以下附记项1中记载的图像建议装置。

[附记项1]

一种图像建议装置，其具备：

存储器，收集并保存按每个用户收集的与第1房间和第1图像的组合相关的数据，所述数据为与所述用户所偏好的所述组合相关的数据；及

处理器，

所述处理器进行如下处理：

使用保存在所述存储器的与所述用户相对应的数据，生成表示反映了所述用户的偏好的所述第1房间和所述第1图像的关联性的信息，

获取由所述用户拍摄的第2房间的图像即第2图像，

根据所获取的所述第2图像和所生成的表示所述关联性的信息，从已登录的图像组或所述用户所具有的图像组选择反映了所述用户的偏好的图像即第3图像，

作为与装饰在所述用户的所述第2房间的图像打印相对应的图像，向所述用户建议所选择的所述第3图像。

符号说明

1、2-可穿戴终端，3-网络，4-网站，10-用户终端，20-显示部，21-显示画面，22-触摸传感器，23-指纹传感器，24-操作按钮，25-控制器，26-存储部，27-活体信息传感器，28、210-通信部，100-智能手机，101-主控制部，102-壳体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部，200-图像建议装置，210-通信部，211、211-2-生成部，212-图像选择部，213-图像生成部，214-图像处理部，218-内容DB，220-用户图像DB，222-数据保存部，230、240、240-1、240-2、250、250A-图像，232-CNN，234-损失值计算部，236-参数控制部，S10～S18-步骤。