一种基于深度学习的服装色彩认知系统及其认知方法

摘要

本发明公开了一种基于深度学习的服装色彩认知方法及其认知方法，包括以下步骤：(a)给定一张图片，首先通过构建卷积神经网络模型，像素级分割得到图片中所包含的服装主体；(b)将服装主体的分割掩码进行二值化处理后，以得到每个服装主体的RGB区域；(c)利用图像颜色空间技术，由RGB颜色空间转换到对光照等影响更不敏感的HSV颜色空间；(d)对于HSV空间的颜色区域，采用EM聚类算法，得到服装的色彩分布情况；(e)利用构建的大规模标准服装颜色色卡体系，对提取的颜色色块映射得到颜色名，实现了对图片中各服装主体色彩的精确认知。实现了更精确的服装主体定位以及颜色提取，基于构建的更全面的颜色色卡对照表，最终达到服装色彩精确认知的目的。

说明书

技术领域

本发明涉及深度学习领域，特别涉及一种基于深度学习的服装色彩认知系统及其认知方法。

背景技术

数字化时代智能设备的普及、亚马逊、阿里、京东等电商平台的发展以及微信、Facebook、Instagram等社交网站和时尚平台的流行，服装及服装相关时尚类、商品类图像快速增长。对于这些仅包含图片或附属少量文本信息的非结构化数据，如何快速获取海量图片中能直观表达出视觉特征，是商品图片语义理解分析的一项基础但又很具有挑战性的问题。而颜色特征作为服装图像的智能分析中最能直观呈现的视觉特征之一，是服装及服装相关领域中表达视觉特征的重要语言之一，是服装图像分析的重要组成部分，具有十分重要的行业意义。

现有技术方案往往只是采用传统图像处理方法，很难精确识别服装主体的色彩。比如，对整张图片采用像素值统计分析，根据RGB值的均值比例情况，来作为颜色结果；或者仅采用传统k-means聚类方法，对整张图片聚类分析，根据各聚类占据的分布情况，判断服装区域的色彩比例；另外，也有些方法采用服装检测技术裁剪出服装矩形框区域，再结合k-means聚类，分析服装区域的颜色。此外，还有一些利用传统图像处理算法的颜色分析方法。

但是，由于颜色特征是对于服装等相关领域的图像理解的最直观的视觉特征，以往的分析方法大多借助传统图像算法，如RGB颜色空间，统计分析各像素值数量，判断整张图像的颜色情况；或者利用颜色直方图分析方法以及其它机器学习算法来认知服装图像的色彩信息。这种分析方法实际上是对整张图像进行分析，同时提取了服装区域和非服装区域的像素信息，难以准确的服装区域进行色块提取和色彩认知。而且采用RGB颜色空间的服装色彩提取方法，很容易受光照等外界因素的影响。此外，传统方案的颜色色卡较为受限，一般基于通用色卡，而并非完全适用于服装领域。

发明内容

本发明要解决的技术问题是提供一种基于深度学习的服装色彩认知系统及其认知方法，能够结合传统图像处理与机器学习技术，实现了更精确的服装主体定位以及颜色提取，基于构建的更全面的颜色色卡对照表，最终达到服装色彩精确认知的目的，进而推动服装认知分析、服装与肤色的搭配等应用领域的进一步发展。

为了解决上述技术问题，本发明的技术方案为：

一种基于深度学习的服装色彩认知方法，包括以下步骤：

(a)给定一张图片，首先通过构建卷积神经网络模型，像素级分割得到图片中所包含的服装主体；

(b)将服装主体的分割掩码进行二值化处理后，结合原图以得到每个服装主体的RGB区域；

(c)利用图像颜色空间技术，由RGB颜色空间转换到对光照等影响更不敏感的HSV颜色空间；

(d)对于HSV空间的颜色区域，采用EM聚类算法，得到服装的色彩分布情况；

(e)利用构建的大规模标准服装颜色色卡体系，对提取的颜色色块映射得到颜色名,最终，实现了对图片中各服装主体色彩的精确认知。

根据上述方法，在步骤(a)中，构建卷积神经网络模型还包括以下步骤：

(a1)编码器部分采用了预训练的深度残差(ResNet)网络和空洞空间金字塔池化(Atrous Spatial Pyramid Pooling)，后者为模型提供了多尺度信息，提取辨别性特征(通常是低分辨率的)；

(a2)解码器部分将解码器所学习的低分辨率特征，语义地映射到对应的高分辨率像素空间；

(a3)网络模型训练采用多任务的最小化交叉熵目标损失函数，计算预测图片的每个服装像素的预测概率分布与标注的真实概率分布之间的距离，最终采用优化训练完成的卷积神经网络模型。

根据上述方法，在步骤(c)还包括以下步骤：

(c1)将原始输入图像分为服装区域和非服装区域，以进行背景滤除，得到仅包含服装区域的RGB图像；

(c2)再结合传统图像颜色空间原理，将图片由RGB颜色空间转换到HSV颜色空间，最终得到服装区域的HSV空间表征。

根据上述方法，在步骤(c1)之后，对于已去除非服装区域的RGB图像，将其颜色表达转换到HSV颜色空间，具体公式如下：

V＝max{R，G，B} (3)

其中，H是角度的色相角，S表示饱和度。

根据上述方法，在步骤(d)还包括以下步骤：

(d1)首先采用EM聚类算法对HSV服装区域进行聚类，得到多个聚类中心；接着计算各聚类中心间的距离，评估聚类中心的颜色相似度；

(d2)如果聚类中心间的聚类小于阈值，则合并该聚类；否则保留该聚类作为一个颜色色块提取结果。

根据上述方法，在步骤(e)所构建的大规模标准服装颜色色卡体系可以映射到至少2700种标准颜色色卡及颜色名体系。

采用上述技术方案，基于编码器解码器网络服装主体定位，像素级定位服装区域，去除非服装区域的影响；基于HSV空间的服装区域颜色提取，可实现更鲁棒的色彩分析，避免光照等外界因素的影响；较大规模的服装颜色标准色卡名，更全面的覆盖了服装色彩体系。

附图说明

图1为本发明中基于深度学习的服装色彩认知系统的原理图；

图2为本发明中服装掩码与颜色空间转换流程图；

图3为本发明中颜色色块提取及颜色名映射技术流程图；

图4为本发明中系统整体设计框架图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供一种实施原理。具体的实施原理如下所示：

给定一张服装图片，首先通过构建卷积神经网络模型(CNN)，像素级分割得到图片中所包含的服装主体；

然后，将服装主体的分割掩码进行二值化处理后，结合原图以得到每个服装主体的RGB区域；

接着，利用图像颜色空间技术，由RGB颜色空间转换到对光照等影响更不敏感的HSV颜色空间；对于HSV空间的颜色区域，采用EM聚类算法，得到服装的色彩分布情况；利用构建的大规模标准服装颜色色卡体系，对提取的颜色色块映射得到颜色名；

最终，实现了对图片中各服装主体色彩的精确认知。

根据上述实施原理，本发明提供了一种具体的实施例。上述原理应用于服装主体定位系统中，其中所述服装定位主要基于深度学习技术，构建类似于UNet的编码器-解码器(encoder-decoder)卷积网络模型，通过模型训练，实现图片中服装区域的像素级定位。

其中，网络主要采用卷积操作、池化操作、转置卷积操作。编码器部分采用了预训练的ResNet网络和空洞空间金字塔池化(Atrous Spatial Pyramid Pooling)，后者为模型提供了多尺度信息，提取辨别性特征(通常是低分辨率的)；解码器部分将解码器所学习的低分辨率特征，语义地映射到对应的高分辨率像素空间。网络模型训练采用多任务的最小化交叉熵目标损失函数，计算预测图片的每个服装像素的预测概率分布与标注的真实概率分布之间的距离。采用优化训练完成的卷积模型，给定一张服装图片，有效的实现了对图片服装像素级定位识别的效果，得到服装区域的分割掩码图(mask)。

进一步地，如图2所示的服装掩码与颜色空间转换的流程。具体地，该部分主要利用了传统图像处理技术。一般情况下，数字图像是基于传统RGB颜色空间的，但是其可肉眼分辨的眼色具有非线性，且R、G、B三个颜色分量容易受到光照变化等因素的影响而改变，两个相近的颜色，其R、G、B值可能相差非常大。因此，RGB颜色空间并不适用于描述颜色的直观的可辨别特征，进行颜色分析。

相比较而言，根据颜色的直观特性所提出HSV(Hue,Saturation,Value)颜色空间，三个颜色分量分别独立表示色调(H)、饱和度(S)和明度(V)，更接近于人类视觉感官系统以及对色彩的认知；而且，HSV颜色空间对光照等外部因素具有不敏感性的特点，更适宜于对服装颜色的可靠分析。

基于此，首先利用基于深度学习的服装定位系统得到的服装主体区域掩码图，将原始输入图像分为服装区域和非服装区域，以进行背景滤除，得到仅包含服装区域的RGB图像；再结合传统图像颜色空间原理，将图片由RGB颜色空间转换到HSV颜色空间，最终得到服装区域的HSV空间表征。

具体地，对于已去除非服装区域的RGB图像，将其颜色表达转换到HSV颜色空间如下：

V＝max{R，G，B} (3)

其中，H∈[0，360)是角度的色相角.S∈[0，1]表示饱和度.

如图3所示的HSV服装区域颜色色块提取及颜色名映射模块的流程，其主要利用了机器学习中的EM聚类算法。具体的是，首先采用EM聚类算法对HSV服装区域进行聚类，得到K个聚类中心；接着计算各聚类中心间的距离，评估聚类中心的颜色相似度；如果聚类中心间的聚类小于阈值，则合并该聚类；否则保留该聚类作为一个颜色色块提取结果。

基于图像处理技术和数据采集及标注技术，本服装色彩认知系统构建了囊括现阶段最全的标准颜色色卡比对库，颜色色块可以映射到超过2700种标准颜色色卡及颜色名体系。对于颜色色块聚类所提取的颜色色块结果，采用KNN机器学习算法，在HSV空间寻找与之最解决的RGB颜色映射，并最终输出颜色RGB色块及颜色名。全面、精确地描述服装色彩。

根据上述系统内容，使用本服装颜色认知系统进行服装视觉分析，具有智能化、自动化、操作简单的优点，使用人员只需要给定待分析的服装图片，即可自动、准确地得到其对应的色彩分析结果。本系统对于光照、背景等影响具有不敏感性，更适宜于真实场景中服装图片的色彩分析。

本系统有针对性的更适用于时尚领域、电商领域以及服饰相关领域，但也具有泛化能力，能够快速迁移到其它目标主体的色彩认知分析，如箱包、肤色等。本色彩分析系统，对于图片中的服装定位、色块提取以及色卡等精度方面，都相比于以往方法提升了数倍，更加准确的提取了服装的色彩信息，最终让颜色分析的工业使用更加高效、精准、更贴近人类视觉系统对色彩的感知。

根据如图4所示的系统架构，本发明进一步地提供了一种基于深度学习的服装色彩认知方法，包括以下步骤：

(a)给定一张图片，首先通过构建卷积神经网络模型，像素级分割得到图片中所包含的服装主体；

(b)将服装主体的分割掩码进行二值化处理后，结合原图以得到每个服装主体的RGB区域；

(c)利用图像颜色空间技术，由RGB颜色空间转换到对光照等影响更不敏感的HSV颜色空间；

(d)对于HSV空间的颜色区域，采用EM聚类算法，得到服装的色彩分布情况；

(e)利用构建的大规模标准服装颜色色卡体系，对提取的颜色色块映射得到颜色名,最终，实现了对图片中各服装主体色彩的精确认知。

根据上述方法，在步骤(a)中，构建卷积神经网络模型还包括以下步骤：

(a1)编码器部分采用了预训练的深度残差(ResNet)网络和空洞空间金字塔池化(Atrous Spatial Pyramid Pooling)，后者为模型提供了多尺度信息，提取辨别性特征(通常是低分辨率的)；

(a2)解码器部分将解码器所学习的低分辨率特征，语义地映射到对应的高分辨率像素空间；

(a3)网络模型训练采用多任务的最小化交叉熵目标损失函数，计算预测图片的每个服装像素的预测概率分布与标注的真实概率分布之间的距离，最终采用优化训练完成的卷积神经网络模型。

根据上述方法，在步骤(c)还包括以下步骤：

(c1)将原始输入图像分为服装区域和非服装区域，以进行背景滤除，得到仅包含服装区域的RGB图像；

(c2)再结合传统图像颜色空间原理，将图片由RGB颜色空间转换到HSV颜色空间，最终得到服装区域的HSV空间表征。

根据上述方法，在步骤(c1)之后，对于已去除非服装区域的RGB图像，将其颜色表达转换到HSV颜色空间，具体公式如下：

V＝max{R，G，B} (3)

其中，H是角度的色相角，S表示饱和度。

根据上述方法，在步骤(d)还包括以下步骤：

(d1)首先采用EM聚类算法对HSV服装区域进行聚类，得到多个聚类中心；接着计算各聚类中心间的距离，评估聚类中心的颜色相似度；

(d2)如果聚类中心间的聚类小于阈值，则合并该聚类；否则保留该聚类作为一个颜色色块提取结果。

根据上述方法，在步骤(e)所构建的大规模标准服装颜色色卡体系可以映射到至少2700种标准颜色色卡及颜色名体系。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。