表面状态测定分析信息管理系统及表面状态测定分析信息管理方法

摘要

提供一种在对成为对象的表面持续定期拍摄时，可有效利用所拍摄到的图像数据，并且能够显示为动态图像或幻灯片播放的表面状态测定分析信息管理系统及表面状态测定分析信息管理方法。与经过时间对应地依序拍摄成为对象的表面，并且依序存储所拍摄到的图像数据时，对依序存储的图像之间进行比较，判定在图像之间是否有互相大致一致的图像区域。若存在有互相大致一致的图像区域的图像时，设定以一方的图像为基准的坐标系，决定将互相大致一致的图像区域与该一方的图像重叠的状态下的另一方的图像在坐标系中的位置。相对于决定了位置的图像，包含之后拍摄的图像而未决定位置的图像重合时，决定该图像的位置。

说明书

技术领域

本发明例如涉及一种作为有经时变化的可能性的表面，根据时间经过，依 次拍摄肌肤表面、各种植物(包含蔬菜、水果)的叶子、果实、茎、树干、根等 的表面、动物的特定部位的表面、经时劣化的无机物的表面等状态经时变化的 表面，以可阅览的方式管理所拍摄到的图像数据或其分析结果等的表面状态测 定分析信息管理系统及表面状态测定分析信息管理方法。

背景技术

一般，在肌肤保养用化妆品或美容器具(肌肤保养装置：保养美容装置)的 销售中，例如为了了解肌肤状态，进行如下动作：使用肌肤用照相机，将肌肤 放大拍摄，掌握肌肤状态后，再销售对应肌肤状态的皮肤保养用化妆品、洗脸 用品等或皮肤保养用器具。

此时，需要前往设置有肌肤用照相机，并且能够根据所拍摄到的图像数据 来判定肌肤状态，能够根据肌肤状态来建议肌肤保养方法的店员的店铺。但是， 由于要去店铺很麻烦，或者去店铺接受如上所述的服务之后被推销购买商品也 很麻烦，因此不易定期拍摄肌肤状态。

因此，提出了如下的方案：在便携电话、智能手机、平板电脑等能够经由 无线电话线路或其他无线通信线路访问因特网的便携式无线终端中，连接肌肤 用数字照相机作为周边机器，或例如在便携式无线终端的内置数字摄像头上安 装具备肌肤拍摄用转换镜头(conversionlens)的镜头模块，可由用户自己进行肌 肤拍摄。

并且，提出了如下的系统：使用便携式无线终端，将所拍摄到的图像数据， 传送至根据肌肤的图像数据来分析肌肤状态的业务者的服务器，由此即使未前 往化妆品销售店铺，也能够分析肌肤状态(例如，参照专利文献1～5)。此时， 在接收到测定数据的服务器中，例如自动进行测定结果的分析，或显示测定数 据而使操作人员输入分析结果。

此时，虽然需要购买肌肤用数字照相机或肌肤用镜头模块等，但是通过使 用这样的肌肤测定用系统，不会对用户造成较大负担，能够定期地进行肌肤测 定。

此外，即使是肌肤以外，也可以将上述肌肤拍摄用拍摄机应用于例如测定 或记录成为农作物的植物叶子或果实的表面状态变化，或测定或记录墙壁等构 造物的表面的长期劣化的状态。

此时，例如农民测定农作物的表面状态变化时，或一般家庭对家庭菜园的 蔬菜或观叶植物表面状态变化进行拍摄并记录时，不需要较大的设备投资，即 而能够低成本地进行拍摄及记录。

现有技术文献

专利文献

专利文献1：日本特开2005-148797号公报

专利文献2：日本特开2004-354207号公报

专利文献3：日本特开2005-56165号公报

专利文献4：日本特开2002-15068号公报

专利文献5：日本特开2002-366651号公报

发明内容

发明要解决的课题

但是，在进行肌肤状态测定时，例如能够通过对脸部的相同位置定期拍摄 并分析，存储肌肤状态变化，根据所存储的结果，来判断肌肤状态改善或变差 或没有改变。

例如，通过使用肌肤保养用品等，可判断已恶化的肌肤状态是否成为良好 状态等。此外，可判定斑点等变深或变大，相反地，斑点变淡或变小。

在此，例如脸部肌肤由于是大幅弯曲的曲面，因此难以将大范围拍摄成一 样放大的状态，基本上对狭窄范围进行拍摄。此时，用户例如即使在每天1 次或2次程度拍摄肌肤，也难以对与之前拍摄的场所为相同场所进行拍摄，并 且，若拍摄间隔变长，难以对相同场所进行拍摄。此外，即使定期拍摄多个部 位，各部位的位置也往往含糊不清。

比较而言，有比较明确的斑点时，虽可一边以镜子确认斑点位置一边进 行拍摄，但是即使如此，拍摄位置每次拍摄时也稍微偏移。因此，虽然也认为 从定期依序拍摄的肌肤图像能够读取斑点的颜色或形状变化的情况，但是即使 如此，若斑点近接地存在多个，则在拍摄范围内有可能分不清楚是哪一个斑点 的图像。此外，关于肌肤的纹理状态等，有部分恶化的部分时，在拍摄到恶化 部分时和未拍摄到时，无法判断出是肌肤状态伴随时间经过的变化还是因拍摄 位置不同所造成的变化。因此，即使定期拍摄肌肤，也难以掌握伴随时间经过 的肌肤的纹理或斑点的状态变化。

此外，在存储定期拍摄到的肌肤的图像数据时，通过将该图像数据显示为 动态图像或幻灯片播放(slideshow)，例如可看到肌肤状态逐渐改善的样子。由 此，吸引用户的兴趣，有可能达成用户的增加。此外，可催促用户定期拍摄肌 肤。

但是，所拍摄到的图像在每次拍摄时，拍摄位置上下左右偏移，即使在拍 摄位置较为一致的情形下，向上下左右的偏向大而不可能作为动态图像来观看， 即使进行幻灯片播放，在每次拍摄位置也有偏移，因此难以得知幻灯片前后关 系，并不一定可确认肌肤状态变化。此外，拍摄位置不相一致时，存在在前面 的幻灯片与后面的幻灯片中没有重叠的部分的情况，例如，在肌肤粗糙部位与 肌肤良好部位相混的状态下进行显示，由此难以确认肌肤状态变化。

不仅是肌肤，在对植物或其他进行拍摄时，基本上除了将照相机固定在三 脚架等来进行拍摄之外，会发生与上述肌肤拍摄时相同的问题。

本发明是鉴于上述问题而提出的，其目的是提供在对成为对象的表面持续 定期拍摄时，可有效利用所拍摄到的图像数据，并且显示为动态图像或幻灯片 播放的表面状态测定分析信息管理系统及表面状态测定分析信息管理方法。

解决问题的方法

本发明的表面状态测定分析信息管理系统的特征在于，具备：

拍摄单元，其不固定拍摄位置地对成为测定对象的表面进行拍摄并生成图 像数据；

图像存储单元，其存储上述图像数据和该图像数据的拍摄日期；以及

位置决定单元，其隔着期间通过上述拍摄单元进行多次拍摄，将成为拍摄 对象的上述表面上的拍摄位置偏移后的多个上述图像数据存储在上述图像存 储单元中时，比较存储在上述图像存储单元中的多个上述图像数据，决定多个 上述图像数据在一个坐标系中的相对位置，

能够将决定了上述坐标系的相对位置的各图像数据按照拍摄日期顺序配 置在上述坐标系的相对位置并进行显示。

在本发明的上述结构中，优选的是在互相比较的上述图像数据有大致一致 的图像区域时，上述位置决定单元根据上述图像区域，决定多个上述图像数据 在一个上述坐标系中的相对位置。

此外，在本发明的上述结构中，优选的是，具备：重叠检测单元，其对依 次存储在上述图像存储单元中的上述图像数据之间进行比较，判定在上述图像 数据之间是否具有互相大致一致的上述图像区域，

在有互相大致一致的上述图像区域时，上述位置决定单元设定以一方的上 述图像数据为基准的上述坐标系，并决定将互相大致一致的上述图像区域与该 一方的上述图像数据重叠的状态下的另一方的上述图像数据在上述坐标系中 的位置，

上述重叠检测单元比较通过上述位置决定单元已决定了上述坐标系的位 置的上述图像数据与尚未决定上述坐标系的位置的上述图像数据，来判定是否 有互相大致一致的上述图像区域，

在相对于决定了上述坐标系的位置的上述图像数据，存在具有大致一致的 上述图像区域的未决定上述坐标系的位置的上述图像数据时，

上述位置决定单元根据将决定了上述坐标系的位置的上述图像数据和未 决定上述坐标系的位置的上述图像数据配置成互相大致一致的上述图像区域 互相重叠的情况下的上述图像数据之间的互相的位置关系，来决定未决定上述 坐标系的位置的上述图像数据在上述坐标系的位置。

本发明的表面状态测定分析信息管理方法，其由具备拍摄单元和图像存储 单元的表面状态测定分析信息管理系统进行，其中，该拍摄单元不固定拍摄位 置地对成为测定对象的表面进行拍摄并生成图像数据，该图像存储单元存储上 述图像数据和该图像数据的拍摄日期，该表面状态测定分析信息管理方法的特 征在于，具备：

位置决定步骤，隔着期间通过上述拍摄单元进行多次拍摄，将成为拍摄 对象的上述表面上的拍摄位置偏移后的多个上述图像数据存储在上述图像存 储单元中时，比较存储在上述图像存储单元中的多个上述图像数据，决定多个 上述图像数据在一个坐标系中的相对位置，

能够将决定了上述坐标系的相对位置的各图像数据按照拍摄日期顺序 配置在上述坐标系的相对位置并进行显示。

在本发明的上述结构中，优选的是，在上述位置决定步骤中，在互相比较 的上述图像数据中有大致一致的图像区域时，根据上述图像区域，决定多个上 述图像数据在一个上述坐标系中的相对位置。

此外，在本发明的上述结构中，优选的是，具备：重叠检测步骤，对依次 存储在上述图像存储单元中的上述图像数据之间进行比较，判定在上述图像数 据之间是否具有互相大致一致的上述图像区域，

在上述位置决定步骤中，在有互相大致一致的上述图像区域时，设定以一 方的上述图像数据为基准的上述坐标系，并决定将互相大致一致的上述图像区 域与该一方的上述图像数据重叠的状态下的另一方的上述图像数据在上述坐 标系中的位置，

在上述重叠检测步骤中，比较在上述位置决定步骤中已决定了上述坐标系 的位置的上述图像数据与尚未决定上述坐标系的位置的上述图像数据，来判定 是否有互相大致一致的上述图像区域，

在上述位置决定步骤中，在相对于决定了上述坐标系的位置的上述图像数 据，存在具有大致一致的上述图像区域的未决定上述坐标系的位置的上述图像 数据时，

根据将决定了上述坐标系的位置的上述图像数据和未决定上述坐标系的 位置的上述图像数据配置成互相大致一致的上述图像区域互相重叠的情况下 的上述图像数据之间的互相的位置关系，来决定未决定上述坐标系的位置的上 述图像数据在上述坐标系的位置。

根据这样的结构，根据所拍摄到的图像重叠的状态决定所拍摄的各图像的 相对位置，例如，将成为拍摄对象的表面设为肌肤表面时，可判别肌肤粗糙的 部分与不粗糙的部分是否为各自取得的图像、或随着时间经过，肌肤粗糙的部 分是否成为不粗糙的状态。

因此，在对肌肤定期拍摄时，即使拍摄位置稍微不均，应判定因时间经过 所致的肌肤状态的变化。即，即使可每次通过任何手段来对肌肤的相同位置进 行拍摄，即使在拍摄到肌肤的图像数据分别有位置偏移，也可以通过各图像数 据之中已决定了位置的数据，在配置这些图像数据的范围内，能够某种程度地 掌握肌肤状态的分布，可判别肌肤状态的变化是因图像数据的拍摄范围的位置 不同所致还是因时间经过所致。

由此，即使未设置勉强地使肌肤的拍摄范围成为相同的结构，例如也可以 有意识地尽可能对相同位置进行拍摄，由此能够容易得知肌肤状态因时间经过 所造成的变化。

此外，即使成为对象的表面为肌肤表面以外，同样地即使未将照相机固定 在三脚架等，也能够有意识地尽可能对相同位置进行拍摄，由此得知表面状态 是因时间经过而改变还是因位置而改变，能够容易得知表面状态因时间经过所 致之变化。另外，作为肌肤之外的对象物，例如有各种植物的表面，尤其叶子 或果实的表面等，并且也可以是无机物的表面，将因成长、生病、劣化等，表 面状态会经时改变的东西作为对象。

此外，图像存储单元并非必须是1个装置，也可以由暂时保存所拍摄到的 图像的缓冲区那样的暂时图像存储单元和移动并存储暂时存储在该图像存储 单元中的图像的图像存储单元构成。此时，也可以将与所拍摄且已决定了位置 的图像比较的之前的图像数据存储在暂时图像存储单元中。并且，也可以在暂 时图像存储单元中存储与决定了位置的图像数据相比未决定位置的图像数据。

此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，上 述重叠检测单元在判定上述图像数据之间是否有互相大致一致的上述图像区 域时，提取出与上述图像数据的被上述拍摄单元拍摄到的对象物的种类对应的 特征点的位置，比较每个上述图像数据的上述特征点的配置图案，在有上述特 征点的配置图案大致一致的部分时，判定为有互相大致一致的上述图像区域。

此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，在 上述重叠检测步骤中，在判定上述图像数据之间是否有互相大致一致的上述图 像区域时，提取出与上述图像数据的被上述拍摄单元拍摄到的对象物的种类对 应的特征点的位置，比较每个上述图像数据的上述特征点的配置图案，在有上 述特征点的配置图案大致一致的部分时，判定为有互相大致一致的上述图像区 域。

根据这样的结构，提取出各图像数据中的特征点的位置，识别特征点的配 置图案，由此能够容易识别在图像数据之间是否有重叠的部分。另外，优选的 是，特征点存在于成为对象的表面的任意一个，能够根据图像数据进行识别。 例如，将成为对象的表面设为肌肤时，考虑将毛孔的中心作为特征点。此外， 若为植物的叶子，则将叶脉的分岔点作为特征点。

另外，若能够从多个叶子中确定要拍摄的叶子，则能够根据构成叶脉的粗 主脉和细侧脉之中主要由主脉的分岔点确定叶子表面的位置，在厚叶中也可以 对应于从表面难以看到侧脉的叶子。此外，若在果实的表面有图案或凹凸，则 可以根据这些决定特征点。在无机物中，例如也可以在大理石等颜色有变化的 物体中，决定特征点。

此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，将 成为上述拍摄单元的拍摄对象的上述表面设为肌肤的表面，

通过上述重叠检测单元从上述图像数据提取出的上述特征点为上述肌肤 表面上的各毛孔的预定部位。

此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，将 成为上述拍摄单元的上述拍摄对象的上述表面设为肌肤的表面，

上述重叠检测步骤中从上述图像数据提取出的上述特征点为上述肌肤表 面上的各毛孔的预定部位。

根据这样的结构，即使是作为图像缺乏成为比较对象的特征部分的肌肤图 像，也可以提取出毛孔作为特征部分，根据各毛孔的配置比较2个肌肤图像， 可找出成为互相大致相同的图像的部分，可判定各图像数据的重叠。另外，预 定部位例如是设定有毛孔的中心位置、重心位置、图像上的右端位置、左端位 置、上端位置、下端位置等的位置。在此，由于例如以坐标系的坐标设定特征 点的位置，因此若在包含所拍摄到的特征点的部分(毛孔)有面积，则将预定的 位置作为特征点。

此外，基本上，例如观看脸部肌肤时，除了鼻、眼、耳、口等以外，即使 对任何部位进行拍摄，也成为不太有特征的图像，将位置错开来对多个图像进 行拍摄时，虽然难以判定各图像的哪个部分重叠，但是可根据毛孔的配置，比 较容易判定各图像的哪个部分重叠。但是，例如，根据场所会有些微改变，但 是在肌肤大致一样地配置有毛孔，并且健康的毛孔在没有毛时呈闭合，难以识 别。因此，也可以根据肌肤的毛孔识别长出的毛，毛成为前端侧细且毛孔侧粗 的形状，因此将毛粗的端部视为毛孔，将该毛孔的预定位置设为特征点。此时， 长毛而被识别的毛孔和没有毛而未被识别的毛孔，毛孔的配置图案根据肌肤的 场所而不同。

此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，将 成为上述拍摄单元的拍摄对象的上述表面设为肌肤的表面，

通过上述重叠检测单元从上述图像数据提取的上述特征点为上述肌肤表 面上的预定尺寸以下的各斑点的预定部位。

此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，将 成为上述拍摄单元的上述拍摄对象的上述表面设为肌肤的表面，

上述重叠检测步骤中从上述图像数据提取出的上述特征点为上述肌肤表 面上的预定尺寸以下的各斑点的预定部位。

根据这样的结构，即使作为图像缺乏成为比较对象的特征部分的肌肤图像， 也可以根据作为特征点的斑点的配置图案，判定各图像数据的重叠。

在此，预定尺寸以下的斑点主要是形成在毛孔部分的较小斑点，黑色素滞 留在毛孔部分。因此，如上所述将毛孔作为特征点时，例如对于如上所述根据 毛的肌肤侧的端部识别毛孔的方法，取代将预定尺寸以下的斑点识别为毛孔的 方法，能够进行组合。若组合，则例如能够分为特征点为仅有毛的点、仅有斑 点的点、毛与斑点双方点等来比较配置图案。

此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，具 备：图像显示单元，其将存储在上述图像存储单元中的上述图像数据按照上述 图像数据的上述拍摄日期顺序进行显示，

关于上述图像显示单元，在显示画面上设定上述坐标系，将决定了上述坐 标系的位置的各图像数据配置在上述坐标系的位置并按照上述拍摄日期顺序 进行显示。

此外，在本发明的上述结构中，优选的是，上述图像显示单元保持如下的 状态：将上述图像数据按照上述拍摄日期顺序显示在最前面，并显示比显示于 最前面的该图像数据之前显示的上述图像数据不与显示于最前面的该图像数 据重叠的部分。

此外，在本发明的上述结构中，优选的是，在上述图像显示单元中，在按 照上述拍摄日期顺序显示上述图像数据时，显示该图像数据的显示范围包含具 有所显示的该图像数据的部分及没有该图像数据的部分，在没有该图像数据的 部分中有上述拍摄日期比所显示的该图像数据之前或之后的上述图像数据时， 生成根据上述拍摄日期之前或之后的上述图像数据进行插补而得的图像数据， 在显示于上述显示范围的没有上述图像数据的部分显示进行插补而得的上述 图像数据。

此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，具 备：图像显示步骤，将存储在上述图像存储单元中的上述图像数据按照上述图 像数据的上述拍摄日期顺序进行显示，

在上述图像显示步骤中，在显示画面上设定上述坐标系，将决定了上述坐 标系的位置的各图像数据配置在上述坐标系的位置并按照上述拍摄日期顺序 进行显示。

此外，在本发明的上述结构中，优选的是，在上述图像显示步骤中保持如 下的状态：将上述图像数据按照上述拍摄日期顺序显示在最前面，并显示比显 示于最前面的该图像数据之前显示的上述图像数据不与显示于最前面的该图 像数据重叠的部分。

此外，在本发明的上述结构中，优选的是，在上述图像显示步骤中，在按 照上述拍摄日期顺序显示上述图像数据时，显示该图像数据的显示范围包含具 有所显示的该图像数据的部分及没有该图像数据的部分，在没有该图像数据的 部分中有上述拍摄日期比所显示的该图像数据之前或之后的上述图像数据时， 生成根据上述拍摄日期之前或之后的上述图像数据进行插补而得的图像数据， 在显示于上述显示范围的没有上述图像数据的部分显示进行插补而得的上述 图像数据。

根据这样的结构，将图像数据按照拍摄顺序直接显示为动态图像或幻灯片 播放时，因各图像数据的位置偏移，成为接近严重手抖的显示，但是通过将各 图像数据配置在其坐标位置并依序显示图像数据，并不会形成为严重手抖状态 的显示，可成为充分识别肌肤变化的显示。另外，作为显示方法，优选的是， 在显示与拍摄顺序为前的肌肤图像至少一部分重叠并拍摄顺序为后的肌肤图 像时，拍摄顺序为前的肌肤图像的重叠的部分被删除而显示拍摄顺序为后的肌 肤图像，但是拍摄顺序为前的肌肤图像不重叠的部分成为直接显示肌肤图像的 状态。

此时，成为在1个显示画面中同时显示拍摄时期不同的肌肤图像的状态， 但是若显示的肌肤图像数较多，则在拍摄时期为较旧的肌肤图像重叠较多新的 肌肤图像，所显示的部分几乎消失，所显示的肌肤图像进行切换。此外，依次 显示拍摄时期为后的肌肤图像时，在该肌肤图像的周围残留有拍摄时期比所显 示的肌肤图像前的肌肤图像的显示，将新显示的肌肤图像与从其周围之前被显 示的肌肤图像进行比较，由此能够容易地识别肌肤状态的经时变化。

另外，也可以在可显示比肌肤图像的肌肤的拍摄范围为更广的肌肤的范围 的状态下，限定实际显示的肌肤范围的显示范围规定单元。此时，优选的是， 设定所拍摄到的肌肤图像可显示最多的显示范围。此外，此时的显示范围也可 以是比肌肤图像的拍摄范围为更窄的范围。

此外，在依次显示于设定了图像数据的显示范围时，各显示范围全体的图 像数据(以下称为显示用图像数据)例如由具有图像数据的部分和没有图像数 据的部分构成。此时，具有图像数据的部分显示该图像数据和显示图像数据重 叠范围，没有图像数据的部分生成根据拍摄顺序比所显示的图像数据之前的图 像数据以及之后的图像数据进行插补而得的插补图像数据，在没有显示用图像 数据的图像数据的部分配置该插补图像数据。

此时，各显示用图像数据由插补图像数据的部分和所拍摄到的图像数据的 部分构成。此外，一旦生成显示用图像数据之后，例如也可以考虑将之前的显 示用图像数据利用为插补为比显示的图像数据插补为之前的图像数据。此时， 可使用包含之前的插补处理部分的显示用图像数据及比应显示的图像数据之 后的图像数据来生成插补图像数据，可容易进行插补处理。

发明效果

根据本发明的表面状态测定分析信息管理系统及表面状态测定分析信息 管理方法，为掌握肌肤状态的经时变化，尽可能对肌肤的相同范围定期拍摄来 掌握肌肤状态变化时，即使在所拍摄到的各肌肤图像中所拍摄到的肌肤的范围 有位置偏移，也能够掌握各肌肤图像的相对位置，由此能够更加明确掌握相同 肌肤的位置的经时变化。

附图说明

图1是表示本发明的实施方式的表面状态测定分析信息管理系统的概要 框图。

图2是表示转换镜头的一例的概要图。

图3是表示上述表面状态测定分析信息管理系统的框图。

图4是表示上述表面状态测定分析信息管理系统的数据管理服务器的框 图。

图5是用于说明上述数据管理服务器的用户数据用数据库的图。

图6是用于说明上述数据管理服务器的测定数据用数据库的图。

图7是用于说明上述表面状态测定分析信息管理系统中的持续性肌肤拍 摄方法的图。

图8是用于说明上述表面状态测定分析信息管理系统中的持续性肌肤拍 摄方法的图。

图9是根据所拍摄的毛孔的配置图案，用于说明2个图像数据重叠的图。

图10是用于说明作为图像数据的幻灯片播放的显示方法的图。

图11(a)和图11(b)是用于说明作为图像数据的幻灯片播放的其他显示方法 的图。

图12是用于说明上述表面状态测定分析信息管理系统中的登记拍摄点追 加、变更处理的流程图。

图13是用于说明上述表面状态测定分析信息管理系统中图像中心的位置 坐标决定处理的流程图。

图14是用于说明上述表面状态测定分析信息管理系统中图像中心的位置 坐标决定处理中的未定义图像的位置决定处理的流程图。

图15是用于说明上述表面状态测定分析信息管理系统中图像数据的显示 处理方法的图。

图16是用于说明上述表面状态测定分析信息管理系统中图像数据的其他 显示处理方法的图。

图17是用于说明通过插补生成在显示处理中所显示的显示用画面数据的 显示用画面数据的生成处理的图。

图18是用于说明进行图像数据的幻灯片播放显示的智能手机的画面结构 的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

在该实施方式的表面状态(肌肤状态)测定分析信息管理系统及表面状态 (肌肤状态)测定分析信息管理方法中，以低成本(例如免费或较为便宜的会费) 对表面状态测定分析信息管理系统的会员即肌肤状态测定装置的用户提供由 肌肤状态测定装置的测定数据取得自己的肌肤状态的分析结果的服务，由此请 用户认识自己的肌肤状态。

此时，通过以低成本得知肌肤状态，来使肌肤状态测定装置的销售数增加， 并且促使用户频繁进行肌肤状态的测定，根据这些测定数据来取得分析结果， 从多个用户频繁地收集测定数据。在该情况下，请用户使用包含化妆品的肌肤 保养用品或肌肤保养装置，来掌握肌肤状态改善的情形，由此促进肌肤保养用 品或肌肤保养装置的销售。

此外，若收集到多数肌肤状态的测定资料，则可请化妆品制造商或销售公 司(化妆品公司)以收费方式将所收集到的数据利用在各种肌肤保养用品的开 发。此时，不仅测定数据，通过附加用户正在使用的肌肤保养用品或肌肤保养 装置、甚至用户的大概年龄或居住地区或年收入或职业等附带数据，对测定数 据附加附加值，而能够更有效地利用测定数据。由此，除了购买肌肤状态测定 装置等的用户外，还可以从利用上述测定数据的化妆品公司等数据的二次利用 者获得利益。

如图1所示，该实施方式的表面状态测定分析信息管理系统具备：可连接 肌肤状态测定装置1的作为用户客户端的智能手机3；经由因特网4(网络)能 够与智能手机3相连接的数据管理服务器5；以及作为契约者客户端6的化妆 品公司等合作公司的计算机系统。

智能手机3具备：内置数字摄像头；作为存储由数字摄像头所拍摄到的图 像数据22(图标于图9、图10)或其他数据或应用程序等的存储单元(存储装置) 的闪存；显示图像等的显示器；以及执行OS或应用程序的控制部。如后所述， 显示器将拍摄并存储的图像数据22显示为动画或幻灯片播放。

肌肤状态测定装置1也可以是例如与智能手机3或PC等用户客户端USB 连接或无线连接的肌肤用照相机(肌肤拍摄单元)。肌肤用照相机具有由未图示 的拍摄镜头和照明用LED所构成的光学系，具备：检测由该光学系所得的图 像的传感器部11、控制部12以及USB(UniversalSerialBus，通用串行总线) 接口13。照明用LED例如能够射出2色光，可切换地照射肤色光(黄色比白色 强的光)及白色光。若照射肤色光，则可清楚拍摄肌肤的状态，且肌肤纹理(肌 理)的状态分析变得较为容易。

此外，若以白色光照明时，蓝光相对比上述肤色光强，能够得到容易辨别 斑点的图像数据22。

在作为该肌肤用照相机的肌肤状态测定装置1中，能够切换纹理模式与斑 点模式来进行拍摄，并设有切换模式的切换开关。与由肌肤用照相机进行的作 为测定数据的摄像数据相关联，将表示纹理模式或斑点模式的数据输出至智能 手机3。

另外，在斑点拍摄用的白色光的LED侧使用偏光方向正交的2块偏光板， 在纹理拍摄用的肤色的LED是不使用偏光板(第1偏光板)的结构。通过使用2 块偏光方向正交的偏光板，将照明光偏光，并且使被肌肤反射的照明光再次通 过偏光板来进行拍摄，由此能够减少肌肤表面的反射光，成为主要拍摄在有斑 点的肌肤表层部内反射的反射光的状态。此外，肤色的分析也可以通过颜色校 正例如使用肤色光的LED。

另外，作为肌肤状态测定装置1的肌肤照相机与智能手机3的数据通信并 不限定于USB，也可以使用其他有线的串行或并行通信、无线的蓝牙(注册商 标)或WiFi或NFC(NearFieldCommunication，近距离无线通信)等。

此外，以肌肤状态测定装置1，除了上述肌肤用照相机以外，既可以是例 如测定经表皮水分蒸散量的公知的蒸散计，也可以是测量肌肤的黑色素 (Melanin)量的黑色素计。

此外，虽然不是直接测定肌肤状态的装置，但是也可以将测定紫外线(UV) 的装置(UV检测仪)作为环境测定传感器而与智能手机3相连接。另外，在观 看紫外线对肌肤的影响时，优选的是UV检测仪分别可连续输出有关黑色素生 成的UV-A及引起炎症的UV-B作为各自独立的数值数据。

此外，若肌肤状态测定装置1为用于拍摄肌肤的肌肤用照相机时，也可以 使用内置在智能手机3内的数字摄像头。在该情况下，使用具备如下部件的镜 头模块：使用智能手机3的数字摄像头用于拍摄肌肤的转换镜头；以及控制照 明用的上述LED及偏光板、LED的亮灯的控制部。在该情况下，所拍摄到的 图像数据22被存储在智能手机3中，因此智能手机3与镜头模块不需要进行 数据通信，但是例如也可以通过与上述控制部的通信，从智能手机3侧控制 LED的亮灯。

在图2中表示具备这样的转换镜头的智能手机3的一例。

在该例中，具备：智能手机3；以及具有由2枚透镜81a、81b构成的转 换镜头81及拍摄照明用LED82的镜头模块80，其中，2枚透镜81a、81b被 安装在智能手机3的摄像头72上用于放大近拍肌肤。

智能手机3具备：对被摄体进行拍摄的摄像头72；存储被摄像头72所被 拍摄到的图像数据或其他数据的闪存74；以及控制摄像头72或闪存74、智能 手机3的各种电子部件的控制部73。

镜头模块80具备：上述转换镜头81及LED82、驱动LED82的LED驱动 电路84、收纳这些的壳体80a。在壳体80a内，转换镜头81的二枚透镜81a、 81b被支持在镜筒(barrel)90a，在摄像头72的主透镜(省略图示)之前，以使摄 像头72的主透镜的光轴与二枚透镜81a、81b的光轴大致一致的方式进行配置。

此外，壳体80a在镜筒90a的前侧(被摄体侧)具备镜头壳体90。关于镜头 壳体90，前端面被设为拍摄作为被摄体的肌肤时与肌肤碰触的碰触部90b，在 碰触部90b与肌肤碰触的状态下遮住外光。此外，在碰触部90b中形成有开口 部80c，拍摄肌肤面对开口部80c的部分。

镜筒90a在支持由透镜81a及透镜81b构成的转换镜头81的状态下，被 固定在壳体80a内的镜头壳体90的基端侧(安装在摄像头72的一侧)。此外， 在壳体80a内支持电路基板83，其中，电路基板83具有朝向镜头壳体90的 碰触部90b的开口部80c照射拍摄用照明光的LED82及驱动该LED82的LED 驱动电路84。

此外，在电路基板83上例如具备1个LED82，但是例如也可以设置成多 个LED82从各自不同的位置照明肌肤。此外，镜头模块80具备：具备向LED82、 LED驱动电路84等供给电力的电池的电源电路88以及电源开关(省略图示)。

上述方式是智能手机与转换镜头的组合的例子，但是也可以通过光学系的 高功能化，将上述转换镜头的功能组入在智能手机内部。

此外，作为照明，并非使用专用的LED，而在使用太阳光或室内灯等外 光的情况下，也可以使用由透明镜筒及被安置在该镜筒上的转换镜头所构成的 镜头模块。此时，由于没有需要电力的LED等结构，因此最低限度有碰触肌 肤的镜筒及设在镜筒上的镜头即可。

上述用户客户端基本上为智能手机3，例如为具备根据笔记型个人计算机、 平板型(pad型)个人计算机等的程序来进行处理的通用运算处理装置(例如 CPU)的装置。作为用户客户端，优选的是通过无线电话线路或其他无线通信 线路与作为网络的因特网4相连接且可便携的机器。

作为用户客户端的智能手机3，例如可使用便携用无线电话线路作为无线 通信，并且可使用无线LAN(WiFi)，使用这些无线通信能够与作为网络的因特 网4连接，而成为无线便携式终端(无线便携客户端)。

此外，在智能手机3中，例如可执行下载并安装的应用软件(以下简称为 专用应用软件5j(图标于图3))，在该实施方式中，将作为专用应用软件5j的肌 肤状态测定用应用软件从数据管理服务器5下载至智能手机3中。

在智能手机3所执行的专用应用软件5j的功能如图7所示，具有4个功 能。即，诊断美容、保养美容、生活美容、化妆美容这4个功能。诊断美容能 够使用经由USB接口13与智能手机3相连接的各种测定装置(传感器)来进行 各种测定。各测定装置能够连接于被输入了专用应用软件5j的智能手机3的 USB端子来利用。此外，通过更换各种测定装置，能够进行基于各不同的传 感器的测定，主要能够测定肌肤状态。各种该测定装置为上述肌肤状态测定装 置1。

此外，可以将各种测定装置的测定结果传送至数据管理服务器5并存储， 并且也可以根据测定结果来分析肌肤状态。

在保养美容中，可以将各种肌肤保养装置与智能手机3连接来使用。通过 与智能手机3相连接，可留下使用历史，通过设为能够使智能手机3与数据管 理服务器5进行数据通信的状态，也可以进行各种肌肤保养装置的控制。

相对于诊断美容主要以肌肤为对象，生活美容以日常生活为对象，可将检 查紫外线量或检查口臭的机器连接在智能手机3的USB端子。化妆美容主要 进行有关化妆等的信息提供。

另外，图7表示作为智能手机3的显示手段的显示画面3a、3b、3c，如 后所述，显示画面3显示主菜单，显示画面3b显示从化妆菜单选择出的诊断 美容菜单，显示画面3c显示从诊断美容菜单选择出的肌肤诊断菜单。另外， 肌肤诊断菜单的BMI是Body·Mass·Index的简称，以体重(kg)÷身高(m)÷身 高(m)而算出，表示肥胖程度。此外，美白是根据肌肤图像进行的判定，肌肤 弹力、肌肤水分、肌肤油分被具备各自的测定用传感器的肌肤状态测定装置1 所测定。

关于被智能手机3的控制部32(运算处理装置)执行的肌肤状态测定用专用 应用软件5j，如上所述将使用作为肌肤状态测定装置1的智能手机3的数字摄 像头31及镜头模块所被摄像到的图像数据22(肌肤图像数据)存储在闪存中， 并且，输出至因特网4上的数据管理服务器5。此外，具有作为分析结果显示 单元功能：接收从数据管理服务器5发送的例如分析测定数据的结果的分析结 果数据，并显示于智能手机3的显示器上。

此外，上述专用应用软件5j进行用于成为利用数据管理服务器5的经营 者所管理的表面状态测定分析信息管理系统的会员(用户)的用户数据(个人信 息)的输入即会员登记、进行对未包含用户数据之中的可特定个人的预定个人 信息的附带数据的输入即问卷调查的响应。

此外，专用应用软件5j进行能够阅览如后所述被存储在数据管理服务器5 中的上述各用户数据、测定数据、针对测定数据的分析结果数据的请求。

此外，专用应用软件5j具有如下功能：在从数据管理服务器5接收到所 请求的数据的情况下，将这些数据显示在显示器中。

如图1所示，数据管理服务器5具备：基本用于存储上述用户数据的用户 数据用数据库51；用于存储肌肤状态测定装置1进行的测定数据的测定数据 用数据库52；用于从测定数据取得分析结果的数据分析用数据库53；以及契 约者用数据库54。

更详细而言，如图3及图4所示，数据管理服务器5具备：控制部5k， 其具有用于作为服务器发挥功能的CPU等。在该控制部5k中进行各种处理， 如后所述，具有：比较所拍摄到的图像数据22之间，辨认是否具有肌肤上的 位置重叠的部分的作为重叠检测单元的功能；以及决定具有肌肤上的位置重叠 的部分的各个图像数据22的相对位置的作为位置决定单元的功能。

此外，在数据管理服务器5中，用户数据用数据库51被分为多个，作为 用户数据用数据库51具备顾客(用户)个人信息管理数据库5a、使用化妆品历 史数据库5d、修整病历数据库5o。

此外，数据管理服务器5作为测定数据用数据库52具备：肌肤历史数据 库(肌肤图像存储单元)5b、拍摄点数据库5c、详细诊断结果数据库5e，。

此外，数据管理服务器5具备肌肤基准值数据库5g作为数据分析用数据 库53。此外，数据管理服务器5具备数据二次利用者访问权管理数据库5h作 为契约者用数据库54。该数据二次利用者访问权管理数据库5h设定有利用者 (契约者，例如化妆品公司等进行肌肤保养用品开发的公司)的顾客ID、利用者 用户ID及利用者密码，由此可进行数据二次利用者的认证。

此外，在数据二次利用者访问权管理数据库5h中与利用者ID关联地登记 有利用者检索级别及利用者访问级别的数据、收费信息。另外，收费信息是数 据二次利用者进行数据检索或可访问数据的取得时的收费数据，根据收费信息， 对利用者请求数据的使用费。此外，使用费根据检索级别及访问级别而不同， 可检索的关键词(检索项目)越多使用费越高，访问级别越高使用费越高。另外， 根据检索级别可检索项目受到限制，通过访问级别可访问的数据受到限制，级 别越高限制越少。

此外，数据管理服务器5除了上述数据库51～54以外，还具备：机器信 息数据库5i，其以可以通过多个智能手机3使用1个肌肤状态测定装置1来加 以利用的方式管理相同产品序列编号的装置。另外，产品序列编号是可通过预 定的算法识别地生成的字符串。通过作为该字符串的序列编号，可判别是否为 可在该表面状态测定分析信息管理系统中使用的肌肤状态测定装置1，并且， 在各肌肤状态测定装置1中为不同的唯一的字符串。

在机器信息数据库5i中，使上述各肌肤状态测定装置1的产品序列编号 与顾客ID相对应。如上所述进行序列编号的认证，在认证了各肌肤状态测定 装置1的情况下，与连接有各装置的智能手机3对应的顾客ID关联地登记被 认证的序列编号。此时，例如可以3人为止，即3台智能手机3共享并使用一 个肌肤状态测定装置1。

此外，数据管理服务器5除了上述数据库51～54以外，还具备：用于校 正肌肤用照相机(图像数据22)的校正用数据库5m以及登记有市面销售的各种 化妆品的登记化妆品数据库5p。

在校正用数据库5m中，例如表12所示，在肌肤用照相机，作为预定条 件下的拍摄，从测试图表的图像数据22，将明亮度的排名、3色配色的校正排 名关联起来登记。

登记化妆品数据库5p登记市面销售的化妆品的数据，存储后述的化妆品 分类、制造商名、品牌名(商品名)、容量、商品代码(JAN码)等，并且登记价 格、成分、推荐使用量(ml/1次)、被制造商公开的产品资料。

如图5的用户数据用数据库51的顾客个人信息管理数据库5a所示，顾客 个人信息管理数据库5a存储顾客ID、个人用户ID、个人密码、姓名、出生年 月日、年龄、性别、住址1(国)、住址2(都道府县)、住址3(市镇村(区))、住址 4(门牌号(大楼名称房间号码))、邮件地址、收费信息(信用卡信息等)，作为用 户使用智能手机3输入的数据。

另外，顾客ID是与个人的用户ID相对应地，在数据管理服务器5侧被附 加的ID，个人用户ID是以用户不会与其他用户的个人用户ID重叠为条件而 设定的ID。此外，个人密码与个人用户ID对应地被使用于用户的认证。另外， 作为与各用户1对1对应的ID，使用顾客ID和个人用户ID这2个ID，但是 既可以用1个ID来兼作这些ID，也可以仅使用顾客ID来作为用户ID，还可 以使用个人用户ID来作为用户ID。

但是，在该实施方式中，在各数据库中存储有与用户相关联的数据时，全 部以顾客ID进行管理，用顾客ID检索分别存储有与各用户相关联的数据的各 数据库，由能够检索并取得与各用户相关联的数据。因此，在顾客个人信息管 理数据库5a中，也与每个顾客ID关联地登记有各用户的数据。另外，如上所 述也可以使用个人用户ID来取代顾客ID。

此外，如图5所示，在顾客个人信息管理数据库5a中还存储从连接于智 能手机3的肌肤状态测定装置1输入的产品序列编号。另外，产品序列编号被 数据管理服务器5认证后存储，若产品序列编号已被登记在顾客个人信息管理 数据库5a中，则不进行产品序列编号的认证。

如图5所示，在使用化妆品历史数据库5d中，与顾客ID关联地按各化妆 品分类(种类)登记有肌肤保养用品(化妆品)的历史数据。另外，该历史数据是 登记用户所购买的化妆品的数据，经由智能手机3登记用户所购买的化妆品(所 使用的化妆品)的商品代码。该商品代码是能够确定化妆品的化妆品确定信息。 另外，在此作为商品代码示出了以条形码使用的JAN(JapaneseArticleNumber， 日本商品编码)代码。

在使用化妆品历史数据库5d中，如表5d1所示，登记有历史资料中表示 各化妆品分类(种类)的编号、商品代码、使用开始日以及使用结束日。

在表5d1中，作为一例，表示化妆品分类为洗面奶的情况，登记1作为洗 面奶的商品分类的代码号，在商品代码附带存储有使用开始日、使用结束日。 另外，若为使用中(未输入使用结束时)，不登记使用结束日。

此时，在智能手机3的显示中，也可以根据登记有化妆品信息的登记化妆 品数据库5p所登记的数据，与各化妆品分类相对应地以下拉式菜单等一览显 示化妆品的商品名(+制造商名等)，从中选择开始使用的化妆品。由此，与登 记化妆品数据库5p的化妆品名相关联的商品代码被登记在使用化妆品历史数 据库5d中，并且登记使用开始日作为输入日。同样地，有已结束使用的化妆 品时，也可以从智能手机3的专用应用软件5j指示用户进行输入。

此时，也可以通过下拉式菜单等一览显示已开始使用的化妆品的商品名等 数据，用户选择已结束使用的化妆品的商品名等。此时，也输入所选择的化妆 品的商品代码，并且登记输入日作为使用结束日。另外，作为使用化妆品的输 入方法，也可以输入条形码，或输入以关键词检索登记化妆品数据库5p并提 取出的化妆品的数据。

此外，关于使用结束日，同一分类的化妆品被新登记在使用化妆品历史数 据库5d中时，也可以询问用户是否结束使用已登记的同一分类的化妆品，根 据该回答来登记该化妆品的使用结束日。或者，在登记化妆品数据库5p中， 按化妆品登记化妆品的容量(ml)及推荐使用量(ml/次)，在数据管理服务器5或 智能手机3中，从使用开始日起每天加算(积算)对一天的化妆品的使用次数乘 以推荐使用量所得的值，并且与化妆品容量相比较，若每天加算的值超过容量 时，或超过容量的90％等容量的预定比例时，专用应用软件5j通知用户正在 使用的化妆品是否已用完、或者剩余量是否变少，向用户询问是否已结束使用， 根据该回答来登记使用结束日。

此外，此时，也可以显示催促购买剩余量变少的化妆品的消息，或将剩余 量变少的商品的化妆品的销售网页URL显示为链接该网页的状态。

此外，也可以与至今所使用的化妆品将用完或剩余量变少的情形相对应地， 进行介绍与剩余量少的化妆品相同分类的其他化妆品的显示。此时，也可以将 该化妆品的制造商或销售公司的该化妆品的网页URL显示为链接该网页的状 态。

化妆品分类如图5的表5d2所示，例如是洗面奶、卸妆乳、化妆水、乳液、 乳霜、美容液、美白液、其他等，将这些的各分类与上述分类编号对应起来。 另外，化妆品分类为一例，也可以进行不同分类的分法。

在修整病历数据库5o中，如图5所示，与用户的顾客ID相关联地，例如 用户任意登记每天、早晚使用的化妆品。在上述使用化妆品历史数据库5d中， 登记化妆品的使用开始日及使用结束日，但是在修整病历数据库5o中，也可 以登记每天、早晚使用的化妆品。在后述调度器(Scheduler)功能之下，输入 所使用的化妆品的数据，且传送至数据管理服务器5。

由此，在修整病历数据库5o中登记顾客ID、日期、作为时间段的早或晚、 例如作为使用化妆品数据的上述商品代码。

例如，如图5的表5o1所示，在修整病历数据库5o中登记日期及早或晚 的时间段、所使用的化妆品商品代码。关于该商品代码，登记在使用化妆品历 史数据库5d中的化妆品被显示在智能手机画面上，可从所显示的化妆品选择 输入实际使用的化妆品。

在图6所示的测定数据用数据库52的肌肤历史数据库5b中，与顾客ID、 数据输入日期时间、数据编号相关联地登记从各肌肤状态测定装置1输入的测 定数据(输入肌肤图像、输入蒸散计数据、输入黑色素计数据)。此外，与该测 定数据相关联地登记各简易诊断(分析)结果的数据作为分析结果存储单元。另 外，例如在30分钟以内等预定时间范围内，从多种肌肤状态测定装置1输入 了测定数据时，进行综合简易诊断，并登记该综合简易诊断的结果数据。此外， 对测定数据进行了详细诊断时，通知详细诊断的结果之后，在详细诊断结果数 据库5e中与顾客ID和测定日期时间相关联地登记详细诊断的结果数据，在肌 肤历史数据库5b中登记对详细诊断结果数据库5e的该写入数据的储存地址。

另外，本说明书中的诊断一词并非限定于医疗行为，也包含非医疗行为， 在包含各种分析等广泛涵义下使用。

另外，简易诊断例如将预先积蓄的测定数据与作为诊断结果数据的肌肤状 态的排名预先对应起来登记在肌肤基准值数据库5g中，在肌肤基准值数据库 5g中对作为测定结果的测定数据，从肌肤基准值数据库5g的测定数据选择近 似的测定数据，将与该测定数据关联起来的排名作为简易诊断结果来输出。该 处理通过作为肌肤状态分析手段的数据管理服务器5的简易诊断程序5f来进 行。此外，如肌肤用照相机那样，若测定数据为图像数据22，则将作为测定 数据的图像数据22二值化，根据通过周知的图像识别所识别出的被二值化的 图像数据22的图案，来分析肌肤状态。

另外，若使用肌肤用照相机，作为输入肌肤图像，如表5b1所示，是以肤 色光的LED照明所拍摄到的纹理诊断用图像、以白色光的LED照明所拍摄到 的斑点诊断用图像、使用接近自然光的LED照明所摄像到的肌肤图像或以上 述白色光或肤色光的LED进行拍摄时通过白平衡(例如自动白平衡)来重现颜 色的肌肤图像。肌肤图像例如用于判定肌肤颜色(因日晒或暗沈等所造成的颜 色差异)。另外，在该实施方式中，肌肤颜色的判定是在详细诊断中进行，而 不是在简易诊断中进行。对上述3种的肌肤图像，可使各智能手机3对应不同 照相机的不同画质以便登记各个画质数据。

另外，在该画质数据中还登记各拍摄时的颜色补正用数据，由此还可以省 略用于登记画质校正用数据的校正用数据库5m。

画质数据用于补正使用智能手机3的内置数字摄像头时的各智能手机3 的机型的不同而导致的画质的不同。例如，在拍摄纹理诊断用图像、斑点诊断 用图像、肌肤图像等时，使用内置于智能手机3的数字摄像头31时，由于智 能手机3的机型而画质不同，因此专用应用软件5j将各智能手机3的每个机 型的画质数据传送至肌肤历史数据库5b。在此，画质数据例如是分辨率。作 为分辨率，例如既可以是拍摄元件的有效像素数，也可以是所拍摄到的图像数 据22的像素数。

此外，也可以是数字摄像头的拍摄元件的尺寸和像素数。在进行诊断/分 析时，将各图像转换成预先设定的诊断/分析项目的画质数据来进行诊断/分析。 例如，对于作为肌肤诊断对象的画质数据，若肌肤图像为低分辨率，则通过插 补或超分辨技术来进行高分辨化且进行诊断分析，相反地若为高分辨率，则将 像素进行抽减等来进行低像素化，且进行诊断分析。

此外，关于对肌肤历史数据库5b的登记图像，也可以按纹理诊断用图像、 斑点诊断用图像、肌肤图像预先决定画质，在用户发送图像时，转换成由智能 手机3的专用应用软件5j或数据管理服务器5的程序决定的画质，登记在肌 肤历史数据库5b中。此时，作为肌肤历史数据库5b的项目，画质数据并非是 必须的。

此外，在肌肤历史数据库5b中，登记数据输入日期时间中通过内置于智 能手机3的GPS测定到的位置信息(测定地点)作为GPS数据。此外，从天气 信息网站取得上述GPS的测定地点的天气信息(气象数据)并登记。另外，数据 输入日期时间是进行了肌肤的各测定的日期时间，但也可以是存储了简易诊断 结果的日期时间。各项目的数据通过进行肌肤测定而被自动输入。

关于测定条件标志，例如GPS数据离平常的测定地点较远时，例如在至 上次为止的多次测定中，相对于在同县或同市连续进行测定，从离预定距离以 上的测定地点输入了肌肤的测定数据时，对在该测定地点测定到的测定数据或 简易诊断结果设定标志(测定条件标志)。另外，除了测定地点以外，若天气信 息的气温或湿度与在预定范围或输入日期时间的测定地点的平均气温或平均 湿度的差超出预定范围，则也可以对测定数据或简易诊断结果设定标志。

设定有该标志的测定数据或简易诊断结果除了进行求出各数据的平均等 的统计处理的情况以外，例如设定有标志的数据未包含在进行统计处理时的母 群体。即，在离经常在的场所较远的场所时，或气象条件大幅不同时，由于会 有环境条件大幅不同的情况，因此有可能测定结果成为异常值，为了防止异常 值影响统计结果，从统计处理的母群体中将设定有标志的数据除外。

在肌肤图像简易诊断结果(表5b2)中登记如上所述所求出的作为纹理、斑 点、皱纹的简易诊断结果的点数(排名)或偏差值。此外，根据这些纹理、斑点、 皱纹的诊断结果，或肌肤图像中的颜色(因干燥或肌肤粗糙所造成的红斑等)、 或因特应性皮炎所致的湿疹的有无，或因干燥所致的纹理混乱，选择肌肤类型。 另外，肌肤类型也可以通过详细诊断来决定。

此外，关于详细诊断，测定数据是在例如作为合作企业的化妆品公司服务 器(化妆品公司A服务器61、化妆品公司B服务器61)进行而得的数据，化妆 品公司服务器成为肌肤状态分析手段。基本上，与简易诊断同样地，从将测定 数据与分析结果数据关联起来的详细诊断系统62所包含的数据库中，选择与 在肌肤状态测定装置1所得的测定数据近似的测定数据，输出与该测定数据相 关联的分析结果数据。但是，在详细诊断中，例如所登记的测定数据数及分析 结果数据比简易诊断时多，在详细诊断用数据库中成为更加细微分类的状态， 得到比简易诊断更详细的分析结果。此外，也可以在详细诊断用中通过各化妆 品公司独自的算法选择登记在数据库中的测定数据，得到与之相对应的分析结 果。另外，在分析除了肌肤颜色以外的图像数据22时，例如，将预定阈值进 行二值化，通过白与黑的面积比或白或黑的图案等来分析肌肤状态。

化妆品公司服务器具备：根据上述详细诊断结果，决定向用户推荐的化妆 品的推荐化妆品决定部63；以及根据详细诊断结果，决定用于建议肌肤的保 养方法或有效于肌肤保养的保养用品等的建议内容的建议决定部64。

详细诊断结果数据库5e将上述详细诊断结果与顾客ID关联起来登记，登 记进行了详细诊断日子即诊断日期时间(也可以包含请求详细诊断的测定数据 的测定日期时间)及详细诊断结果的数据。此外，与详细诊断结果对应的登记 所选择的建议数据或推荐化妆品(肌肤保养用品)的数据。

但是，在该表面状态测定分析信息管理系统及表面状态测定分析信息管理 方法中，在使用肌肤图像的分析中，可定期进行拍摄来取得肌肤图像，由此得 知肌肤状态的经时变化。作为经时变化的显示方法，将拍摄图像作为动态图像 或幻灯片播放而输出较为有效。但是，为了实现这些，若在肌肤用照相机或智 能手机3的数字摄像头安装上述镜头模块而大致定期拍摄肌肤，则很难在每次 拍摄时对相同范围进行拍摄。

例如，若在智能手机3的内置数字摄像头安装转换镜头来进行拍摄，则在 拍摄时难以自身观看智能手机3的显示器，例如难以使用镜子来观看智能手机 3的显示器来确定肌肤状的位置。

即，在肌肤上并没有成为肌肤上的位置基准的特征部分，例如即使在可清 楚看到肌肤拍摄位置的状态下，也无法判断是否对与上次拍摄的场所相同的场 所进行拍摄的可能性高。但是，对斑点进行拍摄时，以斑点为基准，每次能够 对大致相同位置进行拍摄的可能性变高，但是即使如此也难以每次对相同位置 进行拍摄。

此外，在智能手机3通过USB接口13等与肌肤用照相机连接时，使用 USB线缆，使肌肤用照相机相对智能手机3移动，因此可一边直接观看智能 手机3的显示器，一边决定肌肤上的拍摄位置，但是若没有如上所述作为明确 目标的特征部分，则难以每次对相同位置定期拍摄。如上所述，在智能手机3 直接安装肌肤镜头的方式中，更难以进行同一部分的拍摄。

此外，若每次拍摄时肌肤上的拍摄位置大幅偏移时，难以得知肌肤状态的 变化是因时间经过所造成的变化还是因位置不同所造成的变化。在该实施方式 中，作为解决如上所示的问题的方法，若设定拍摄点(point)，对该拍摄点依 序拍摄时，作为通过算出所被拍摄到的图像数据22的相对位置可掌握图像上 的肌肤状态不同是因时间经过所造成还是因位置不同所造成，提高肌肤状态的 分析精度，并且按照摄顺序显示图像数据22作为幻灯片播放(动态图像)时， 根据各图像数据22的相对位置来进行显示，由此在各幻灯片(帧(frame))的画 面上的各部位显示相同的肌肤的位置。即，在各幻灯片中，相同毛孔(图示于 图9、图10)20在任何幻灯片均被显示在相同位置。

以下说明若决定成为上述拍摄对象的肌肤的拍摄点，并且在该拍摄点依序 拍摄多个图像，则算出所被拍摄到的各图像数据22的相对位置的处理及根据 该相对位置进行图像数据22的显示的处理的概要。

在该表面状态测定分析信息管理系统中，当定期对被摄体进行拍摄时，首 先，若将被摄体设为脸部肌肤，则在脸部全体的图像上设定表示肌肤上的拍摄 范围的中心的拍摄点，在拍摄时等，例如图8的智能手机3的显示画面3e、 3f、3g所示，可在脸部全体的图像上确认拍摄点(在图面上，包围作为拍摄张 数的数值的圆圈)。另外，脸部的图像既可以是对实际用户脸部进行拍摄后的 实际图像，也可以是根据实际图像而图解后的绘画。或者，若脸部的图像为绘 画，则也可以预先存储多种脸部绘画，从多种脸部绘画中选择要使用的绘画。

关于拍摄点，将脸部图像的例如成为2个外眼角相连接的线段中央的点设 为脸部全体坐标系的原点位置，以XY坐标系或极坐标系显示各拍摄点的位置。 在此，例如使用极坐标系，将连接外眼角的线段作为坐标的角度(偏角)的基准。 另外，该脸部全体坐标系用于在脸部的图像上显示拍摄点。

若用户在上述脸部图像上通过触摸等来设定拍摄点，则算出并存储脸部全 体坐标系上的坐标。用户对所决定的拍摄点进行拍摄时，在脸部图像上指定根 据上述坐标所显示的脸部全体坐标系上的拍摄点并进行拍摄。

因此，用户在拍摄时在脸部图像上确认拍摄点，可在拍摄时抑制拍摄部位 成为与拍摄点分离的位置的情况。

在所被拍摄的图像数据22中，设定以图像数据22上的中心位置为原点的 极坐标系，算出在图像数据22所拍摄的毛孔20的位置。另外，若使用正交坐 标系并且图像数据22的图像的形状为矩形时，也可将原点设为图像左端的下 端。

将在设定拍摄点之后最初拍摄到的图像数据22的上述各毛孔20的坐标位 置存储为与下次指定相同的拍摄点并被拍摄的图像数据22的毛孔20的配置图 案的比较用毛孔数据。若输入下次被拍摄的图像数据22，则同样地算出以图 像数据22上的中心为原点的极坐标系中的各毛孔20的坐标，生成登记了这些 坐标的毛孔坐标表。

另外，在该阶段，毛孔数据和毛孔坐标表是将各自的图像数据22的中心 为原点的毛孔20的坐标的表，但是毛孔坐标表为1个图像数据22的毛孔20 的坐标，相对于此，毛孔数据是依序追加登记决定了中心位置的图像数据22 的毛孔20的坐标的数据。

基本上，如图9所示最初被拍摄到的图像数据22(以符号21a为中心的图 像)与下个被拍摄到的图像数据22(以符号21b为中心的图像)即使如箭头24所 示有偏移，一部分区域重叠的可能性高。由此，在进行比较的2个图像数据 22的毛孔20的配置图案中产生大致一致的部分。该毛孔20的配置图案相一 致的部分为在2个图像数据22相重叠的部分。此时，将最初被拍摄到的图像 数据22设为基准图像，设定以该基准图像的中心为原点的拍摄点坐标系。另 外，后面叙述在最初被拍摄到的图像数据22和下个被拍摄到的图像数据22 中没有毛孔20的配置图案相一致的部分的情况。

如上所示与成为基准图像的图像数据22相重叠的图像数据22的毛孔20 的坐标系被转换成上述拍摄点坐标系的坐标，与被登记在毛孔数据中的毛孔 20的坐标不相重叠的毛孔20的坐标被追加在毛孔数据中。此外，求出拍摄点 坐标系中的图像数据22的中心位置21b的坐标(图像中心的位置坐标)，决定 图像数据22的位置。之后，在每次输入所被拍摄到的图像数据22时，求出毛 孔坐标表，与毛孔数据相比较，若有毛孔20的配置图案相一致的部分，则如 上所述转换毛孔坐标表的坐标，并且追加登记被转换成毛孔数据的毛孔20的 坐标，并且决定图像数据22的中心位置的拍摄点坐标系中的坐标。

另外，在将图像数据22中的图像外形设为圆形，但是也可以设为矩形。 此外，即使是一次被判定为在毛孔坐标表没有毛孔数据与毛孔20的配置图案 相一致的部分的图像数据22，也在毛孔数据中追加登记毛孔20的坐标，根据 被追加登记的毛孔数据，产生毛孔20的配置图案相一致的部分的可能性，因 此，每次在毛孔数据中追加登记毛孔20的坐标时，将没有与毛孔数据中的毛 孔20的配置图案相一致的毛孔20的配置图案的图像数据22的毛孔坐标表与 毛孔数据进行比较。此时，若有毛孔20的配置图案相一致的部分，则将该图 像数据22的毛孔20的坐标如上所述进行坐标转换而追加登记在毛孔数据中， 并且决定该图像数据22的图像中心的位置坐标。

如上所示，是在相同拍摄点被拍摄到的图像数据22且有毛孔数据与毛孔 20的配置图案相一致的部分的图像数据22被决定相对位置。即，如图10所 示、在各图像数据22中，若有毛孔数据中的毛孔20的配置与毛孔20的配置 相一致的部分，则决定拍摄点坐标系中的位置。由此，得知各图像数据22的 拍摄日期时间及作为各图像数据22的相对位置的图像中心的位置坐标，在分 析肌肤状态时，防止将明显不同位置的肌肤状态误认为大致相同位置的肌肤状 态，能够更高精度高地判定肌肤状态。

在进行幻灯片播放的显示时，例如若将以符号26表示的矩形范围设为显 示图像数据22的显示画面的位置，则能够在该显示画面设定上述拍摄点坐标 系，使各图像数据22显示在其图像中心为拍摄点坐标系所对应的坐标。此时， 相同的毛孔20即使在不同的图像数据22中也被显示在大致相同的位置。此时， 在各幻灯片中会有图像欠缺的部分，但是被一次显示的图像残留至被覆盖为止， 由此在图像欠缺的部分显示之前的图像数据22，形成为容易观看的画面显示。

此时，例如将照相机固定在三脚架等上，在进行微速度拍摄之后，形成快 转再生的图像。另外，也可以根据前后的图像数据22来插补各幻灯片的图像 欠缺部分。

接着，说明在如上所述的相同拍摄点对多个图像进行拍摄并且进行再生的 处理所使用的各数据与各数据库的关系。首先，按每个用户可登记的最大拍摄 点的数量(最大登记拍摄点数量)如图5所示，在入会时被登记在顾客个人信息 管理数据库5a中。另外，用户可登记的拍摄点例如免费会员与收费会员等那 样，根据会员种类可变更的设定，例如免费会员仅可设定1个拍摄点，收费会 员可设定3个拍摄点。此外，也可以按照拍摄点的数量而分别产生不同的费用。 拍摄点的数量可任意设定，也可以按照各种条件决定用户可利用的拍摄点的数 量。

决定拍摄点并被拍摄到的图像数据22如图6所示，被登记在肌肤历史数 据库5b的输入肌肤图像的项目(表5b1)中。另外，在图像数据22有纹理诊断 用图像、斑点诊断用图像、肌肤图像，在求出图像数据22的位置时，也可以 使用这些图像数据22的种类中的任意一个，但例如尚未使用肌肤图像。另外， 在进行1个拍摄点的拍摄时，由于拍摄上述纹理、斑点、肌肤这3种图像数据 22，因此若决定1种的图像数据22的位置(图像中心的位置坐标)，则其他种 类的图像数据22的图像中心的位置坐标也被决定。

上述脸部全体坐标系中的拍摄点的坐标如图6的表5b1所示，在肌肤历史 数据库5b的输入肌肤图像的项目中作为拍摄点(中心坐标)与各图像相对应地 被登记，可检索各图像数据22是对哪一个拍摄点进行拍摄。

此外，根据与同一拍摄点的其他图像数据22(肌肤图像数据)的关联性，求 出以各拍摄点为目标所拍摄到的各图像数据22的中心位置，该各图像数据22 的中心位置作为“图像中心的位置坐标”被登记在肌肤历史数据库5b的输入 肌肤图像的项目(表5b1)中。由此，可知在相同拍摄点被依序拍摄到的图像数 据22的相对位置。

在此，“图像中心的位置坐标”的坐标系并非是脸部全体坐标系，而是针 对该拍摄点决定基准图像时以基准图像的中心为原点的上述拍摄点坐标系。若 利用极坐标，则可将基准图像的水平设为角度的基准。此外，若决定各图像数 据22的位置，则并不一定必须按照拍摄顺序决定位置。因此，对于决定了图 像中心的位置坐标的图像数据22，将位置决定标志设为开(ON)，在图像中 心的位置坐标尚未决定的图像数据22中使位置决定标志保持关(OFF)。该位 置决定标志被登记在肌肤历史数据库5b的输入肌肤图像的项目(表5b1)中。另 外，在对相同拍摄点进行了拍摄的图像数据22中，除了上下左右的位置偏移 之外也有旋转方向的位置偏移，因此基本上基准图像中的水平成为坐标的角度 (偏角)的基准，其他图像数据22根据毛孔数据与毛孔20的配置图案相一致的 区域来决定图像数据22的角度。

在拍摄点数据库5c中，与顾客ID关联起来存储拍摄点的登记数量(登记 拍摄点数量)。该拍摄点的登记数量并非为上述最大值，而是在最大值的范围 内用户已经登记的拍摄点的数量，是由0至最大值的任何值。

在拍摄点数据库5c中，与顾客ID关联起来与被登记的各拍摄点相对应地 登记拍摄点的中心坐标作为脸部全体坐标系的坐标。此外，在拍摄点数据库 5c中，与拍摄点的中心坐标(脸部全体坐标系)关联起来登记被登记(拍摄)的图 像数据的个数、登记有拍摄点的日期、基准图像的数据编号以及上述毛孔数据。 基准图像的数据编号是在测定各测定数据时对作为各测定数据的每个图像数 据22附加而被登记在肌肤历史数据库5b中的数据编号之中的成为基准图像的 图像数据22的数据编号。

毛孔数据是与毛孔坐标表相同的坐标的表，表示该拍摄点的拍摄点坐标系 中的各图像数据22的各毛孔20的位置的坐标系如图6的表5b4所示，以极坐 标的向径(radial)(rn)与偏角(θn)登记。另外，如上所述在图像数据22之间，配 置图案相一致的毛孔20作为相同的毛孔20而被登记坐标。

接着，参照图7、图8、图12的流程图，说明关于拍摄点的登记的登记拍 摄点的追加/变更处理。登记拍摄点的追加/变更处理是以智能手机3进行的处 理，但是根据智能手机3中的登记拍摄点的追加/变更处理被追加或变更的拍 摄点的中心坐标被传送至数据管理服务器5，数据管理服务器5在拍摄点数据 库5c中重新登记追加或变更后的拍摄点的中心坐标。另外，在拍摄点的变更 中，通过一起进行拍摄点的追加和拍摄点的删除，来取代被删除的拍摄点而登 记被追加的拍摄点。

如图7所示，在智能手机3中，使专用应用软件5j启动而使显示在显示 画面3a中所示的主菜单时，在选项中可选择诊断美容作为用于进行基于肌肤 状态测定装置1的测定的选项。选择诊断美容，显示在显示画面3b中所示的 诊断美容菜单。在诊断美容菜单中，可选择使用肌肤状态测定装置1的肌肤诊 断，若选择肌肤诊断，则显示在显示画面3c中所示的肌肤诊断菜单，可选择 肌肤诊断照相机(肌肤用照相机)作为肌肤状态测定装置1，若选择肌肤诊断用 照相机，则显示在图8的显示画面3d中所示的拍摄种类菜单，可选择拍摄的 种类。

在此，拍摄的种类有2种，可选择持续肌肤拍摄及定点(pinpoint)拍摄。持 续肌肤拍摄是在肌肤上设定拍摄点，对所设定的拍摄点定期地拍摄。此外，在 定点拍摄中，不进行持续性的拍摄，针对所拍摄的肌肤图像接受简易诊断。另 外，简易诊断也在持续肌肤拍摄的情况下进行。在定点拍摄中，尝试对肌肤的 在意部分进行拍摄并接受简易诊断。此外，也可以利用在请用户的朋友尝试接 受肌肤的简易诊断的情况。

在智能手机3中，判定在拍摄种类菜单中是否选择了持续肌肤拍摄(步骤 S1)。

在未选择持续肌肤拍摄而选择了定点拍摄时，接着以肌肤用照相机对肌肤 进行拍摄，将所拍摄到的图像数据22传送至数据管理服务器5而接受基于图 像数据22的简易诊断。

在选择了持续肌肤拍摄时，从数据管理服务器5下载拍摄点数据库5c的 数据，在有已经被登记在拍摄点数据库5c中的拍摄点时，根据拍摄点数据库 5c的所登记的拍摄点的中心坐标、在该拍摄点拍摄到的图像个数、该拍摄点 的登记日，如图8的显示画面3e所示，在脸部的图像上显示拍摄点、拍摄点 的登记日、在拍摄点的拍摄张数，并且显示登记拍摄点的追加/变更按键。即， 生成显示画面3e并显示(步骤S2)。另外，若拍摄点未被登记时，虽然显示无 拍摄点的脸部的图像，但是也可以向步骤S5转移。

另外，如上所述在脸部的图像上设定有将链接2个外眼角而得的线段的中 央点作为原点的极坐标系(脸部全体坐标系)，在拍摄点数据库5c存储有脸部全 体坐标系的极坐标作为拍摄点。

判定是否触摸了所显示的拍摄点的1个(步骤S3)。

若没有触摸所显示的拍摄点，则判定否触摸了登记拍摄点的追加/变更按 键(步骤S4)。

若触摸了所显示的拍摄点，则结束该处理，显示图8的显示画面3g。在 显示画面3g中，在脸部的图像上仅显示被触碰的拍摄点，催促对该拍摄点进 行拍摄，向拍摄处理转移。若触摸了登记拍摄点的追加/变更按键，则显示图8 的显示画面3f(步骤S5)。

在显示画面3f中，在基本上与显示画面3e相同的图像中显示催促新拍摄 点的输入的显示。作为新拍摄点的输入，判定用户是否触摸了显示画面3e上 的脸部的图像(步骤S6)。

在被触碰时，求出被触摸到的位置的上述脸部的图像上的坐标系的位置 (脸部全体坐标系)(步骤S7)。

此外，判定是否为设定有现状拍摄点的登记数的上限値，例如3个(步骤 S8)，若少于3个时，即在可重新登记拍摄点时，在已下载的拍摄点数据库5c 中，设定新拍摄点的项目，在该拍摄点的项目中登记拍摄点的中心坐标及今天 的日期作为登记日，将所拍摄到的肌肤图像个数设为0(步骤S9)。

此外，将被覆盖的拍摄点数据库5c传送至数据管理服务器5，并且生成 基于被覆盖的拍摄点数据库5c的显示画面3e并显示(步骤S10)，返回至步骤 S3。另外，在数据管理服务器5中，以将拍摄点数据库5c置换成所接收到的 拍摄点数据库5c的方式进行更新。

是被设定现状的拍摄点的登记数的上限值时，由于无法重新增加拍摄点， 因此显示使用户输入指示要删除的拍摄点或取消拍摄点的输入的显示画面(步 骤S11)。

用户触摸被显示在与显示画面3f相同的显示画面上的取消按键或触摸要 删除的拍摄点来进行指示。

在智能手机3中，判定是否触摸了要删除的拍摄点(步骤S12)。

在没有触摸拍摄点时，判定是否触摸了取消按键(步骤S13)。

在触摸了取消按键时，显示未显示新拍摄点的原本的显示画面3e并返回 至步骤S3。

在触摸了拍摄点时，根据被触摸的拍摄点的坐标例如1～3的拍摄点的编 号，从由数据管理服务器5下载下来的拍摄点数据库5c删除被触摸的拍摄点 的项目的数据(步骤S14)，向步骤S9转移，将之前触摸的点作为新拍摄点，如 上所述登记在拍摄点数据库5c中，并传送至数据管理服务器5。

在该处理中，在步骤S3中，最终触摸了这次要拍摄的拍摄点时，如上所 述结束处理并向拍摄处理转移。

在拍摄处理中，例如进行上述肌肤的纹理的拍摄、肌肤的斑点的拍摄、肌 肤颜色的拍摄，将所拍摄到的图像数据22从智能手机3传送至数据管理服务 器5。

此时，从智能手机3与所拍摄到的各图像数据22(纹理诊断图像、斑点诊 断图像、肌肤图像)一起将顾客ID、数据输入日期时间(拍摄日期时间)、GPS 数据(测定地点)、各图像数据22的画质数据(例如，所拍摄到的照相机的分辨 率)、拍摄点的坐标、位置决定标志(关(OFF))传送至数据管理服务器5。

在接收到这些数据的数据管理服务器5中，将这些数据与顾客ID关联起 来登记在肌肤历史数据库5b中。另外，此时尚未决定图像中心的位置坐标且 未被登记。位置决定标志保持关(OFF)。此外，根据各图像数据22进行简易 诊断处理，将简易诊断结果传送至智能手机3，并显示在智能手机3的显示器 中。此外，简易诊断结果被登记在肌肤历史数据库5b的肌肤图像简易诊断结 果中。

在智能手机3中，在肌肤拍摄后，显示简易诊断结果并成为结束一连串处 理的状态，例如在专用应用软件5j中，在显示出简易诊断结果的状态下，向 专用应用软件5j的其他项目的显示画面转移或结束专用应用软件5j。

另一方面，在数据管理服务器5中，当登记了基于持续肌肤拍摄的图像数 据22时，在上述简易诊断结果向智能手机3的传送结束之后，进行图像中心 的位置坐标决定处理。

以下，参照图13及图14所示的流程图，说明在数据管理服务器5中进行 的图像中心的位置坐标决定处理。

如上所述，从智能手机3进行接收并被登记在肌肤历史数据库5b的输入 肌肤图像的项目(表5b1)，使用肌肤(纹理、斑点、颜色)的图像数据22，根据 图像识别分析毛孔20的位置，例如求出以图像数据22的图像的中心为原点的 极坐标系中的各毛孔20的坐标，生成登记有这些毛孔20的坐标的毛孔坐标表 (步骤S21)。

例如，被拍摄到的图像数据22从智能手机3被传送至数据管理服务器 5，在数据管理服务器5中，使用所接收到的图像数据22来进行简易诊断。之 后，检测出图像数据22上的毛孔20的位置。毛孔20的位置检测通过检测比 毛孔20更容易识别的肌肤上的毛(汗毛)来进行。关于识别出的毛的端部，前 端侧细，在毛孔20侧即基端侧粗。

因此，可将识别出的毛粗侧的端部识别为毛孔20。另外，在未长毛的状 态下正常闭合的状态的毛孔20变得难以识别，因此在此识别长毛的毛孔20 的毛的基端部，将这些作为毛孔20。

另外，即使未长毛也呈打开状态的毛孔20与闭合的毛孔20相比较较容易 识别，识别打开的毛孔20(仅识别可识别的毛孔20)，也能够与长毛的毛孔20 同样地决定坐标上的位置。另外，肌肤上的毛孔20的排列具有大致的规则性， 若识别所有毛孔20并存储位置，则具有难以形成图像上的特征点的问题，通 过仅识别长毛的毛孔20或打开的毛孔20，在毛孔20的配置图案中容易产生 差异，根据毛孔20的图案容易确定各肌肤图像相重叠的部分。也可以将为预 定的直径以下的大小且色素沉着的部分(相对周围的颜色，颜色变深的部分)的 中心识别为毛孔20。此外，在毛孔20部分滞留黑色素而产生较小斑点时，也 可以将预定尺寸以下的斑点识别为毛孔20。

接着，判定是否为所选择出的拍摄点的第一次拍摄(步骤S22)。即，判定 拍摄点数据库5c中的选择出的拍摄点的图像个数是否为1。

若为第一次拍摄，则将毛孔坐标表登记在拍摄点数据库5c所对应的拍摄 点的毛孔数据中(步骤S23)。此时，位置决定标志保持关(OFF)。毛孔数据是 为确定各图像数据22的位置所使用的毛孔20的坐标表。毛孔数据中的各毛孔 20的坐标是以上述基准图像的中心位置为原点的拍摄点坐标系的坐标。但是， 在此为并未决定基准图像且没有决定了位置的图像数据22的状态，将登记有 假设以第一次拍摄的图像数据22的中心为原点的坐标系的毛孔20的坐标的毛 孔坐标表作为毛孔数据，登记在拍摄点数据库5c所对应的拍摄点。若为第一 次拍摄，则由于没有与毛孔数据相比较的毛孔坐标表，因此结束处理。

在步骤S22中，若判定为不是所选择的拍摄点的第一次拍摄，即若拍摄点 数据库5c中被选择的拍摄点的图像个数为2以上，则判定是否有与所生成的 毛孔坐标表的毛孔20的配置图案及毛孔数据的毛孔20的配置图案相一致的部 分(步骤S24)。此时，通过预定的图像识别算法，判定在2个图像数据22中是 否有毛孔20的配置图案大致一致的部分。

例如，在毛孔数据及毛孔坐标表中，判定是否有与毛孔20的配置图案类 似的部分，判断在这些2个图像数据22中有对肌肤上的相同范围进行了拍摄 的部分(肌肤图像彼此相重叠的部分(成为相同的部分))。在该判定中，还考虑 因根据肌肤照相机对皮肤的按压力的不同而皮肤表面鼓起所造成的毛孔坐标 的变化、因拍摄环境不同所造成的可识别的毛孔20的变化等，以容许值以上 的一致率来判断同一配置图案的存在。

接着，判定在所比较的毛孔数据和毛孔坐标表中是否有毛孔20的配置图 案相一致的区域(步骤S25)。若在毛孔数据和毛孔坐标表中没有毛孔20的配置 图案相一致的区域，则判定是否已经决定了基准图像(步骤S26)。此时，参照 拍摄点数据库5c的拍摄点的基准图像的项目来进行判断，但是也可以在与拍 摄点相对应的图像数据22中判断是否有位置决定标志为开(ON)的图像数据 22。若未决定基准图像，则向步骤S23转移，将所生成的毛孔坐标表作为毛孔 数据而登记在拍摄点数据库5c中。此时，删除之前的毛孔数据，并对毛孔数 据进行更新存储。

即，在之前所拍摄到的图像数据22的毛孔坐标数据即毛孔数据与下次所 拍摄到的图像数据22的毛孔坐标数据中发现毛孔图案相一致的区域为止，在 每次接收图像数据22时，将所生成的毛孔坐标表更新存储为毛孔数据。此时 由于尚未决定图像数据22的相对位置，因此对应的位置决定标志保持关(OFF) 并结束处理。

若在步骤S26中被判定为已经决定了基准图像，则将与该图像数据22相 对应的肌肤历史数据库5b的输入肌肤图像的项目的位置决定标志保持为关 (OFF)(步骤S27)，跳转至步骤S33向未定义图像的位置决定处理转移。

在步骤S25中，若在所比较的毛孔数据与毛孔坐标表有毛孔20的配置图 案相一致的区域，则判定是否已经决定基准图像(步骤S28)。该判定方法如上 所述。若未决定基准图像数据22，则将在这次被接收且生成了毛孔坐标数据 的该拍摄点中的第N个图像数据之前接收并登记有毛孔数据的第N-1个图像 数据22作为基准图像，将与在该拍摄点的第N-1个图像相对应的数据编号登 记在相对应的拍摄点数据库5c的拍摄点的基准图像的项目中(步骤S29)。此时， 将上一个拍摄到的第N-1个图像数据22的位置决定标志设为关(ON)，并且 将作为毛孔数据中所使用的毛孔20的坐标的坐标系的拍摄点坐标系的原点决 定为基准图像中所决定的图像数据22的图像中心。

另外，此时所存储的毛孔数据是与以第N-1个图像数据22的中心为原点 的毛孔坐标表中的坐标系的坐标相同的数据，毛孔数据保持原样的状态。

在步骤S28中判定为已决定了基准图像时，或进行步骤S29的处理时， 将具有毛孔数据与毛孔20的配置图案相一致的区域的本次的拍摄图像即第N 个图像数据22的图像中心的坐标转换成拍摄点坐标系的坐标。将拍摄点坐标 系中的该第N个图像数据22的图像中心的坐标，登记在肌肤历史数据库5b 的输入肌肤图像中(表5b1)。并且，将肌肤历史数据库5b的输入肌肤图像(表 5b1)的位置决定标志设为关(ON)(步骤S30)。由此决定纹理、斑点、肌肤的 第N个图像数据22的图像中心的拍摄点坐标系中的位置。

接着，将如上所述决定图像中心的第N个图像数据22的各毛孔20的坐 标转换成拍摄点坐标系的坐标系(将基准图像的中心作为原点)(步骤S31)。即， 对所生成的毛孔坐标表的坐标的坐标系的原点即图像数据22的图像中心进行 坐标转换以便成为拍摄点坐标系的图像中心的坐标。由此，图像数据22上的 各毛孔20的坐标成为与毛孔数据中的毛孔20的坐标相同的拍摄点坐标系的坐 标。

接着，将如上所述被转换成拍摄点坐标系的坐标的第N个图像数据22的 毛孔20的坐标追加登记在毛孔数据中(步骤S32)。此时，如上所述毛孔数据的 毛孔20与配置图案相一致的毛孔20的坐标系已经被登记在毛孔数据中，因此 将配置图案不相一致的毛孔20的坐标追加登记在毛孔数据中。

接着，进行未定义图像的位置决定处理(步骤S33之后的处理)。选择全部 肌肤历史数据库5b的输入肌肤图像(表5b1)的位置决定标志设为关(OFF)的 图像数据22(步骤S33)。接着，对所选择的位置决定标志为关(OFF)的各图 像数据进行以下处理。在该处理中，对每个位置决定标志为关(OFF)的图像 数据进行循环处理，对位置决定标志为关(OFF)的图像数据逐一地进行相同 处理。

在此，将位置决定标志为关(OFF)的图像数据的数设为n，对至第1～n 个为止的图像数据分别进行处理。此外，设为i＝1～n，开始依次处理第i个图 像数据的循环处理(步骤S34)。另外，若没有位置决定标志为关(OFF)的图 像数据，则结束处理。

生成这些被选择的图像数据22之中第i个图像数据22所对应的毛孔坐标 表，并与被记录在拍摄点数据库5c的该拍摄点的毛孔数据相比较(步骤S35)。 在此，通过上述毛孔数据的追加登记，毛孔数据中的毛孔20的坐标增加，即 使是到现在为止没有毛孔数据与毛孔20的配置图案相一致的区域的图像数据 的毛孔坐标表，也有可能产生毛孔数据与毛孔20的配置图案相一致的区域。

比较的结果，判定是否有毛孔数据与毛孔20的配置图案相一致的区域的 毛孔坐标表(毛孔的配置图案是否与局部相一致)(步骤S36)，若有，则求出与 该毛孔坐标表相对应的图像数据22的图像中心的拍摄点坐标系中的坐标，登 记在肌肤历史数据库5b中，并且将肌肤历史数据库5b的位置决定标志设为开 (ON)(步骤S37)。

接着，将第i个图像数据的毛孔的坐标表转换成基准图像的坐标系即拍摄 点坐标系。即，转换成与毛孔数据中的各毛孔的位置的坐标相同的坐标系(步 骤S38)。将转换后的第i个图像数据22的毛孔坐标表的坐标追加登记在拍摄 点数据库5c所对应的拍摄点的项目的毛孔数据中(步骤S39)。在i加上1并重 复从步骤S34开始的循环处理(步骤S40)。但是，若成为i＝n之后，再进行步 骤S35至步骤S39的处理，则结束处理。

另外，该处理是在数据管理服务器5侧进行而不是在智能手机3进行，因 此可在不同于智能手机侧的处理的其他背景下执行。因此，也可以到发现有互 相重叠的区域的2个以上的图像数据22为止，在每次经由用户的智能手机3 输入所拍摄到的图像数据22时，将已经存储且未决定位置的所有图像数据22 所对应的毛孔坐标表与新输入的图像数据22的毛孔坐标表进行比较。

如上所示，根据毛孔数据发现具有互相重叠的部分的图像数据22时，可 在相同坐标系上的位置表示这些图像数据22上的毛孔20。作为坐标系，使用 上述拍摄点坐标系，决定各图像的图像中心的位置作为坐标。此外，毛孔20 的坐标被转换成拍摄点坐标系的坐标而被统一，且被登记在毛孔数据中。该坐 标转换考虑到因基于肌肤照相机对皮肤的按压力的不同而皮肤表面鼓起所造 成的毛孔坐标的变化来进行转换。具体而言，作为图像以图像中心为基准而放 大/缩小，例如若为极坐标，则进行对向径r乘以倍率的处理。

如上所示在被确定了互相的相对位置的图像数据22中，可掌握因位置不 同所造成的肌肤状态的不同。例如，若为没有位置信息的图像数据22，则有 可能产生拍摄到部分肌肤粗糙的图像数据22及因位置偏移而未拍摄到肌肤粗 糙的图像数据22。

此时，有可能看起来肌肤粗糙像突然发生或看起来肌肤粗糙像突然治好， 成为肌肤状态的经时变化极为难以得知的状态。

与此相对，在该实施方式中，由于可掌握各图像数据22所示的肌肤位置 的不同，因此例如仅在部分图像数据22中拍摄到肌肤粗糙时，可根据拍摄到 肌肤粗糙的图像数据22观察肌肤粗糙的经时变化。因此，可减少观看未拍摄 到肌肤粗糙的图像数据22而判断肌肤粗糙为良好的错误。即，可更高精度地 判定肌肤状态的经时变化。

此时，若对作为契约者客户端6的化妆品公司等的合作公司的计算机系统 提供数据，则有可能被提供在合作公司容易使用的数据，提供合作公司想要的 数据。由此，有可能作为合作公司的契约增加或扩大收费的数据的使用量。

此外，若详细诊断图像数据22，则不会成为反复肌肤粗糙消失或发生的 显示，可详细分析以一定程度长期间观察肌肤状态的结果，可进行更为详细的 肌肤诊断。

此外，可将被登记为这些历史的图像数据22显示在智能手机3的显示器 中，但是此时也可以显示为：在显示画面上设定拍摄点用坐标系，在该坐标系 上，各图像数据22的图像中心的坐标位置成为被登记在肌肤历史数据库5b 中的图像中心的坐标位置。

接着，参照图15的流程图及图10，说明用于使上述图像数据22显示在 智能手机3的显示画面中的肌肤图像的显示处理。

在图10中，在拍摄点坐标系的坐标上显示应显示的图像数据22。即，根 据位置决定标志为开(ON)的图像数据22的图像中心的坐标，在拍摄点坐标 上配置各图像数据22的状态。不显示位置决定标志为关(OFF)的图像数据 22。各图像数据22按照登记顺序被显示为幻灯片播放，但是所被显示的图像 数据22如图10所示，显示被设定在拍摄点坐标系上的画面显示对象范围(显 示范围26：对应智能手机3的显示器)的部分。

换言之，在拍摄点坐标上设定显示范围26，由此显示范围26中的各像素 的位置能够通过拍摄点坐标的坐标来表示，成为在显示范围26设定有拍摄点 坐标的状态。

被配置在该显示范围26内的图像数据22按照登记顺序与图像中心的坐标 位置相对应地被显示为幻灯片播放。

此时，如图15的流程图所示，输入使图像数据22显示的拍摄点、全部图 像数据22之中所显示的图像数据22的登记日的期间、作为幻灯片播放而显示 时的图像数据22的显示间隔(步骤S41)。例如，若拍摄点有3个，则选择其中 的1个拍摄点来进行输入。此外，输入所显示的图像数据22的登记日的期间， 如从去年1月1日至今年1月1日等，或到今天为止的一年份等。由此，在所 指定的期间内所登记的图像数据22成为显示的对称。

此外，幻灯片播放的显示间隔系是在按照顺序显示各图像数据22时，从 显示之前的图像数据22之后至显示接下来的图像数据22为止的间隔，若缩短 该间隔，则成为如动态图像般的显示。

根据成为显示对象的图像数据22来决定作为画面显示对象范围(坐标)的 显示范围26(步骤S42)。例如，根据决定位置的图像数据22的图像中心的坐 标位置，设定显示范围26作为成为显示对象的图像数据22。此时，将图像中 心最为密集的范围或包含图像数据22最多重叠的部分的范围设为显示范围26。 另外，也可以设定显示范围26内的各图像数据22的显示倍率。

接着，在拍摄点坐标上，以各图像数据22的图像中心被配置在该图像中 心的坐标上的方式，按照登记顺序将图像数据22覆盖而显示(步骤S43)。

另外，图像数据22若其一部分区域与显示范围26相重叠，则显示为图像 中心未进入显示范围26。另外，该处理例如在智能手机3进行，但是也可以 在通过智能手机3进行步骤S41的输入处理之后，将所输入的数据传送至数据 管理服务器5，在数据管理服务器5中生成显示范围26内的显示用数据后， 将所生成的显示用数据传送至智能手机3，在智能手机3将显示用数据显示在 显示器中。

此时，根据所拍摄到的实际肌肤上的相对位置，按照拍摄顺序(登记顺序) 显示图像数据22。因此，在显示画面的相同坐标位置，基本上显示肌肤上的 相同坐标位置(相对坐标)的图像数据22，因此在显示中不会成为例如黑痣在画 面上下左右移动的状态，在大致停止的状态下黑痣显示于显示画面上的大致相 同位置。因此，有可能不与部分时间经过对应地显示有残留旧图像，但是肌肤 状态的变化被快转观看。

图18表示根据上述图15的流程图，在智能手机3的显示画面上以时间序 列显示肌肤图像的途中的智能手机3的显示画面。在图18中，在显示画面中 存在肌肤图像的显示区域和其上方的日期时间及点数的显示区域。在日期时间 和点数的显示区域中，显示与覆盖在肌肤图像的显示区域的图像数据相对应的 拍摄日期时间、肌肤图像简易诊断结果的纹理点数或斑点点数。

接着，参照图16和图17的流程图以及图11，说明其他图像数据22的显 示处理方法。在上述显示处理方法中，显示图像数据22作为各幻灯片(帧)， 但是各幻灯片的图像数据22以外的部分不覆盖之前的幻灯片地显示。即，各 幻灯片的图像数据22以外的部分被处理为透明的状态，在没有1个幻灯片的 图像数据22的部分保持不覆盖之前的显示地被显示。

与此相对，在该显示方法中，在各幻灯片中，在有图像数据22的区域配 置图像数据22，在没有图像数据22的区域，从前后的图像数据22通过插补 生成图像数据22并被配置。因此，此时，各幻灯片由图像数据22和插补后的 图像数据构成。

在显示处理中，步骤S51与上述步骤S41同样地进行，步骤S52与上述 步骤S42同样地进行。接着，与决定了在所输入的登记日的期间内的位置的各 图像数据22对应地，根据适当的图像数据和被其前后的图像数据插补后的图 像数据生成作为显示在智能手机3的显示器的幻灯片(帧)的画面数据(步骤 S53)。另外，后面叙述生成画面数据的处理。

接着，将以上述被输入的显示间隔生成的画面数据以按照该画面数据所包 含的图像数据的登记日的从旧到新的顺序进行显示(步骤S54)。此时，如上述 显示处理所示并没有旧的图像数据到什么时候均被显示的可能性，由于在被显 示在显示画面上的各幻灯片中没有无图像数据的部分，因此成为更容易观看的 幻灯片播放(动态图像的显示)。另外，显示处理在智能手机3进行，但是生成 画面数据的处理在数据管理服务器5进行，所生成的画面数据被传送至智能手 机3。

如图17的流程图及图11(a)、图11(b)所示，当生成包含第N个图像数据 22的第N个画面数据41时，识别地决定画面数据41的没有图像数据22的非 拍摄区域(步骤S61)。实际上，在已设定拍摄点坐标的幻灯片(画面数据41) 上与中心位置的坐标对应地配置图像数据22，将所配置的图像数据22以外的 区域设为非拍摄区域。另外，在此，第N-1个画面数据40是已生成的数据。 另外，第N-1个画面数据40的生成方法与第N个画面数据的生成方法相同， 能找图像数据22的登记顺序，依序根据图像数据22生成画面数据40、41、 42。

接着，在进行画面数据41之中不具有第N个图像数据22a的非拍摄区域 的插补时，使用已生成的第N-1个画面数据40、第N+1个之后的图像数据22 之中与非拍摄区域重叠的图像数据22b、22c。另外，在此，图像数据22b、22c 例如是第N+1个图像数据22b及第N+2个图像数据22c，但是也有可能是之 后的图像数据22。即，根据第N-1个画面数据40及第N+1个之后的图像数据 22之中与非拍摄区域重叠的图像数据22b、22c，通过使用了第N个画面数据 41的插补处理，生成非拍摄区域的图像(步骤S62)，将第N个图像数据22a与 插补后的图像数据22进行合成来生成第N个画面数据41(步骤S63)。另外， 在插补处理中，可以使用公知的算法。

在生成第N个画面数据41之后，生成第N+1个画面数据42，因此将第 N+1个画面设为第N个(步骤S64)，若有尚未处理的图像数据22(步骤S65)， 则返回至步骤S61。另外，若如上所述在所选择的期间生成与所登记的图像数 据22对应的画面数据40、41、42，则结束生成画面数据40、41、42的处理。

在该显示处理方法中，也可以如图18所示，在也可以智能手机3的显示 画面上设置肌肤图像的显示区域、其上方的日期时间及点数的显示区域，在肌 肤图像的显示区域显示与显示中的画面数据相对应的图像数据的拍摄日期时 间、肌肤图像简易诊断结果的纹理点数或斑点点数。

另外，在该实施方式中，使用毛孔20的坐标位置作为图像数据22的肌肤 上的位置重叠的部分的图像识别的特征部分，但是除此之外，也可以使用毛孔 20的形状作为图像识别的特征。例如，作为毛孔20的形状，将毛孔20的面 积或毛孔20的直径设为特征部分，在观看毛孔20的配置时，例如分为大的毛 孔20及小的毛孔20，若小的毛孔20与大的毛孔20的位置相一致时，也可以 不识别为位置相一致。由此，由于毛孔20的配置图案相似，因此可减少实际 上肌肤上的位置不重叠却被误识别为重叠的比例。

此外，作为用于找到图像数据22之间的重叠区域的图像识别的特征部分， 也可以使用斑点的形状。此时，例如在斑点的图像数据22中，决定阈值，对 二值化成颜色浅的部分和颜色深的部分而成为能够容易识别斑点形状的状态， 即提取出斑点形状的状态，在2个图像数据22中，将颜色浅的部分之间或颜 色深的部分之间的形状进行比较，若有形状近似的部分，则也可以判定为有相 一致的区域，决定2个图像数据22的相对位置。

此外，也可以在将肌肤照相机配置在肌肤上的相同位置的状态下，进行斑 点图像、纹理图像、肌肤图像的拍摄时，在肌肤图像中通过毛孔20的配置求 出图像数据22的图像中心的位置坐标时，将该图像中心的位置坐标应用于在 与肌肤图像相同的位置拍摄到的纹理图像或斑点图像。此外，也可以使用纹理 图像或斑点图像，根据毛孔20的配置求出图像数据22的图像中心的位置坐标。 此外，同样地，将斑点的形状设为图像识别的特征部分，在求出斑点图像的图 像中心的位置坐标时，也可以将该图像中心的位置坐标应用于在与斑点图像相 同的位置拍摄到的纹理图像或肌肤图像。在本说明书中，使用简易诊断/详细 诊断的词句，但是这些词句并非局限于医生进行的诊断，是包含广义下的判定 的概念。

符号说明

1肌肤状态测定装置(肌肤用照相机、智能型手机+镜头模块：肌肤拍摄 单元)

3智能手机(肌肤图像显示单元)

5数据管理服务器

5b肌肤历史数据库(肌肤图像存储单元)

5k控制部(重叠检测单元、位置决定单元)

20毛孔

22图像数据