一种基于颜色先验的图像色彩软分割方法及系统

摘要

本发明涉及图像分割技术领域，具体涉及一种基于颜色先验的图像色彩软分割方法及系统。该方法包括预先定义颜色参考点为索引值；对随机采样后的图像利用KD‑Tree算法和所定义的颜色参考点进行颜色提取，获得索引张量；统计并筛选索引张量内各个索引值的像素点数量，生成与原图像相同大小的颜色图像。建立深度神经网络模型，将图像标注信息、图像数据和颜色图像输入网络模型中，输出网络输出图像；将网络输出图像经过规整得到图像的色彩软分割图像。本发明通过定义色彩和使用KD‑Tree算法对图像颜色的提取可以对网络提供鲜明的颜色特征，更好的分割图像数据。

说明书

技术领域

本发明涉及图像分割技术领域，具体涉及一种基于颜色先验的图像色彩软分割方法及系统。

背景技术

图像色彩软分割是突破了物体边缘的限制，从色彩角度来考虑像素的相关性，这比语义软分割在某些特定场景下更加适用。

对于现有的技术而言，大多都需要人为的对每一张图片进行先验的颜色域定义，这极大耗费了人力，使得成本过高；而对于其他方法如聚类得到颜色，通常来说得到的颜色是不精确的，且聚类方法需要设置超参数，无法适应不同域的图像颜色提取，同样也会耗费大量的人力去进行调整参数。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于颜色先验的图像色彩软分割方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于颜色先验的图像色彩分割方法，所述方法包括：

根据预设的N种颜色参考点设置N个索引值；

获取待分割图像，利用所述N个索引值对所述待分割图像进行标注获得标注信息；

对所述待分割图像数据进行随机采样处理；

利用KD-Tree算法和所述颜色参考点对随机采样后的所述待分割图像进行颜色提取得到索引张量；

统计所述索引张量内各个所述索引值的像素点数量；设置第一阈值，对于数量大于所述第一阈值的索引值生成与原图像数据相同大小的颜色图像；对于小于所述第一阈值的索引值生成与原图像数据大小的纯白色图像；

将所述标注信息、所述待分割图像和所述颜色图像输入到预先训练好的深度神经网络模型得到网络输出图像；所述深度网络模型包括第一软分割编码器、第二软分割编码器和软分割解码器；所述第一软分割编码器对所述图像数据进行特征提取输出第一特征图；所述第二软分割编码器对所述颜色图像进行特征提取输出第二特征图；将所述第一特征图和所述第二特征图相乘得到第三特征图；所述软分割解码器对所述第三特征图进行采样与特征提取，网络输出图像为N个归一化的色彩RGB图像；

将所述网络输出图像值域规整到[0,255]区间，得到所述图像数据的色彩软分割图像。

进一步地，所述利用KD-Tree算法进行颜色提取时，对于颜色的细粒度提取需要对颜色空间的值进行加权，加权的具体公式为：

P(R,G,B)＝(R*x1+b1,G*x2+b2,B*x3+b3)

其中P为加权后的RGB值；x1和b1为R通道的加权值；x2和b2为G通道的加权值；x3和b3为B通道的加权值。

进一步地，对所述待分割图像进行随机采样包括以下步骤：

预设切割图像大小为(M,N)，M代表所述切割图像的长，N代表所述切割图像的宽；

在所述待分割图像上得到随机采样点，以所述随机采样点作为原点切割一定数量的图像，所述切割图像的四个点坐标分别为：

(0,0)、(0,N)、(M,0)、(M,N)

设所述切割图像的数量为L，L满足：

round为四舍五入取整函数，W所述待分割图像的长，H为所述待分割图像的宽。

本发明还提出了一种基于颜色先验的图像色彩分割系统所述系统包括：颜色定义模块、图像数据模块、随机采样模块、KD-Tree处理模块、颜色图像生成模块、深度神经网络模块和规整模块；

所述颜色定义模块用于利用调色板定义N种颜色参考点，根据所述颜色参考点种类设置N个索引值；

所述图像数据模块用于获取待分割图像，利用所述N个索引值对所述待分割图像进行标注获得标注信息；

所述随机采样模块用于对所述待分割图像进行随机采样处理；

所述KD-Tree处理模块用于利用KD-Tree算法和所述颜色参考点对随机采样后的所述待分割图像进行颜色提取得到索引张量；

所述颜色图像生成模块用于统计所述索引张量内各个所述索引值的像素点数量；设置第一阈值，滤除数量小于所述第一阈值的索引值；对于数量大于所述第一阈值的索引值生成与所述待分割图像相同大小的颜色图像；

所述深度神经网络模块包括第一软分割编码器、第二软分割编码器、相乘模块和软分割解码器；将所述标注信息、所述待分割图像和所述颜色图像作为输入，所述第一软分割编码器对所述待分割图像进行特征提取输出第一特征图；所述第二软分割编码器对所述颜色图像进行特征提取输出第二特征图；将所述第一特征图和所述第二特征图通过相乘模块相乘得到第三特征图；所述软分割解码器对所述第三特征图进行采样与特征提取，网络输出图像为N个归一化的色彩RGB图像

所述规整模块用于将所述网络输出图像值域规整到[0,255]区间，得到所述待分割图像的色彩软分割图像。

进一步地，所述KD-Tree处理模块进行颜色提取时，对于颜色的细粒度提取需要对颜色空间的值进行加权。

进一步地，所述随机采样模块通过在所述待分割图像得到随机采样点，根据预设的切割图像大小对所述待分割图像进行切割；所述切割图像和所述待分割图像的大小决定所述切割图像数量。

本发明实施例具有如下有益效果：

1.本发明实施例基于色彩空间和KD-Tree获得图像的各个颜色图像，可以为后续深度神经网络提供鲜明的颜色特征，使得深度神经网络输出的图像效果更好，色彩分割的更加突出。

2.本发明实施例所述的KD-Tree算法及图像的随机采样可以轻松快速得到图像中的颜色种类，提高算法运行速度。

3.本发明实施例提出的方法可以提取任意场景图像的颜色，颜色种类可以根据调色板自行定义，方便快捷。

4.本发明实施例通过对不同颜色的加权，可以使KD-Tree算法提取颜色更加精准多样化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于颜色先验的图像色彩分割方法流程图；

图2为本发明一个实施例所提供的筛选索引值后输出的颜色图像缩略图；

图3为本发明一个实施例所提供的一种基于颜色先验的图像色彩分割系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于颜色先验的图像色彩分割方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于颜色先验的图像色彩分割方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于颜色先验的图像色彩分割方法流程图，具体方法如下：

步骤S1：根据预设的N种颜色参考点种类设置N个索引值。

首先根据调色板对所需颜色参考点进行定义，对颜色域定义需根据任务需求定义，通常对于图像软分割来说，定义的颜色参考点越多越好。在本发明实施例中，颜色参考点的定义如下：对于每个颜色都设置相应的索引值，所定义的颜色参考点包括该颜色的RGB值、颜色名称、颜色的十六进制代码和对应的索引值。

作为一个示例，黑色参考点定义为：['0','0','0','black','#000000','4']，表示RGB为[0,0,0]且十六进制代码为#000000的黑色参考点的索引值为4。在本发明实施例中定义了爱丽丝蓝、湖绿色、海蓝色、天蓝色、黑色、蓝紫色、军蓝色和深红色8中颜色参考点。

步骤S2：获取待分割图像，利用N个索引值对待分割图像进行标注获得标注信息。

对采集的待分割图像进行标注，可以通过人为标注，对于图像每种接近的颜色进行人为提取，也可以通过ps等软件进行制作。

步骤S3：对待分割图像进行随机采样处理后，利用KD-Tree算法和颜色参考点对输入图像进行颜色提取得到索引张量。

由于直接利用KD-Tree(k-dimensional Tree，KD-Tree)对待分割图像进行处理会造成处理时间过长，因此要对待分割图像进行随机采样，经过Reshape重塑后再利用KD-Tree算法处理。具体操作如下：

1)采样的具体方法为在待分割图像内随机找点，依据随机点切割出大小为(M,N)的切割图像，M表示切割图像的长，N表示切割图像的宽。可取值M＝8、N＝8。

2)为了保证切割的图像不越界，设置采样区间P，对于大小为(W，H)的待分割图像，W待分割图像的长，H为待分割图像的宽。区间P满足：

P(x，y)＝(W-M，H-N)

3)在区间P上得到一个随机点后，以这个点为原点，切割图像的四个点坐标分别为：

(0，0)、(0，N)、(M，0)、(M，N)

4)依照上述方法切割L张图像，L依据待分割图像大小和切割图像大小决定，L满足一下关系：

其中round为四舍五入取整函数。

5)将所切割的L张切割图像进行Reshape形状重塑，重塑满足：

(L，M，N，3)-＞(L*M*N，3)

至此可以得到L张具有代表性的切割图像。

利用KD-Tree算法对上述切割图像进行处理，KD-Tree是一种分割k维数据空间的数据结构，主要应用于多维空间关键数据的搜索。通过KD-Tree可以实现最邻近搜索，用来找出在树中于输入点最接近的点。利用KD-Tree进行颜色提取对色差明显的颜色如蓝色、黑色、白色等提取效果好。对于颜色的细粒度提取如暗红色、淡红色等需要对颜色空间的值进行加权才能达到更好的效果，加权公式如下：

P(R，G，B)＝(R*x1+b1，G*x2+b2，B*x3+b3)

其中，P即为加权后的RGB值；x1和b1为R通道的加权值；x2和b2为G通道的加权值；x3和b3为B通道的加权值。

KD-Tree具体搜索过程如下：

1)从树的根节点开始，递归的向下移动，如果输入点在分区面左边则进入左子节点，在右边则进入右子节点。

2)一旦移动到叶节点，将该节点当做当前最佳点。

3)解开递归，并对每个经过的节点运行以下步骤：如果当前所在点比当前最佳点更靠近输入点，则将其变为当前最佳点；检查另一边子树有没有更近的点，如果有则从该节点往下找。

4)当根节点搜索完毕后完成最邻近搜索。

在本发明实施例中，随机采样后的L张切割图像经过重塑Reshape操作后的图像作为KD-Tree算法的输入。通过最近邻搜索得到索引张量，形状为[L*M*N,1]。在本发明实施例中L取为20，M＝N＝8，经过KD-Tree后得到索引张量[1280,1]。

步骤S4：统计并筛选索引张量内各个索引值的像素点数量，生成与原图像相同大小的颜色图像。

以上述定义的8种颜色为例，对索引张量进行后续处理：

1)统计各个索引值的像素点数量，因为定义了8种颜色参考点，所以图像索引值只会出现0-7的任意整数。统计结果：{0:50,1:150,2:200,3:300,4:200,5:180,6：0，7:200}

2)设置第一阈值，在本发明实施例中阈值设置为M*N＝64，实施者可根据实际情况自行设置。滤除数量小于第一阈值的索引，即结果为：

{1:150,2:200,3:300,4:200,5:180,7:200}。

3)对于数量大于第一阈值的索引值，通过填充操作生成与原图像相同大小的颜色图像。在本发明实施例中最终生成6张颜色图像，每张颜色都不同。对于数量小于第一阈值的索引值，进行纯白颜色的生成，即RGB值为[255,255,255]。如图2所示，图2为8张颜色图像的缩略图，其中0,6索引值的颜色图像都为纯白色，天蓝色颜色比较接近白色，实际RGB值不同。

步骤S5：将标注信息、待分割图像和颜色图像输入到预先训练好的深度神经网络模型中得到网络输出图像。

建立深度神经网络模型，深度网络模型包括第一软分割编码器、第二软分割编码器和软分割解码器。

将标注信息、待分割图像和颜色图像作为深度神经网络的输入进行训练具体训练过程如下：

1)将待分割图像、颜色图像、标签数据经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便于模型更好的进行收敛。在本发明实施例中，提取的颜色图像为6张颜色图像，其索引值为[1,2,3,4,5,7]，纯白颜色图像的索引值为[0,6]。按索引值依次将6种颜色图像和2种纯白图像通过联合操作(Concatenate)处理，得到一个具有24通道的张量，然后再进行归一化操作。

2)标签数据经过独热编码和归一化的图像端到端地训练第一软分割编码器、第二软分割编码器和软分割解码器。第一软分割编码器对归一化的待分割图像进行特征提取输出第一特征图。第二软分割编码器对归一化的颜色图像进行特征提取，输出第二特征图。将第一特征图和第二特征图相乘得到第三特征图。软分割解码器对第三特征图进行采样与特征提取，输出图像为N个归一化的色彩RGB图像。

3)损失函数可采用常用的回归任务损失函数。优选的，在本发明实施例中采用均方差作为损失函数。

4)当测试集loss不在有下降的趋势时停止网络的训练。

优选的，本发明实施例中采用特征提取编码器直接进行搭建软分割编码器，解码器最终卷积层的卷积核个数应与颜色域定义的颜色个数一致，网络卷积优选为深度可分离卷积，该卷积存在两种卷积方式：深度卷积和逐点卷积，可以很好地对特征进行映射提取。

优选的，训练过程中可采用数据增强处理提高模型的泛化能力，如几何变换方法、颜色变换方法等。可使用随机增广(RandAugment)的方法，该方法可以将数据增广所产生的增量样本空间大大缩小，使得可与训练过程捆绑一气完成。给定训练图像n种变换形式，该方法就能表示k

步骤S6：规整网络输出图像得到图像的色彩软分割图像。

将网络输出的图像值域规整到[0,255]区间，即可得到待分割图像的色彩软分割图像。

综上所述，本发明实施例提出的方法基于色彩空间和KD-Tree获得图像的各个颜色图像，将颜色图像和待分割图像一起送入深度神经网络中可以为网络提供鲜明的颜色特征，使得网络输出图像效果更好。且颜色种类经过自定义设置，可以提取任意场景图像的颜色，方便快捷，避免了因为调整大量参数而费时费力的问题。

请参阅图3，其示出了本发明一个实施例提供的一种基于颜色先验的图像色彩分割系统框图，本系统包括：颜色定义模块101、图像数据模块102、随机采样模块103、KD-Tree处理模块104、颜色图像生成模块105、深度神经网络模块106和规整模块107。

颜色定义模块101用于利用调色板定义N个特定的颜色参考点，根据颜色参考点种类设置N个索引值。

图像数据模块102用于获取待分割图像，利用N各特定颜色参考点对待分割图像进行标注获得标注信息。

随机采样模块103用于对待分割图像进行随机采样处理。

KD-Tree处理模块104用于利用KD-Tree算法和颜色参考点对随机采样后的待分割图像进行颜色提取得到索引张量。

颜色图像生成模块105用于统计索引张量内各个所述索引值的像素点数量；设置第一阈值，滤除数量小于所述第一阈值的索引值；对于数量大于第一阈值的索引值生成与原待分割图像相同大小的颜色图像。

深度神经网络模块106包括第一软分割编码器201、第二软分割编码器202、相乘模块203和软分割解码器204；将标注信息、待分割图像和颜色图像作为输入，第一软分割编码器201对待分割图像进行特征提取输出第一特征图；第二软分割编码器202对颜色图像进行特征提取输出第二特征图；将第一特征图和第二特征图通过相乘模块203相乘得到第三特征图；软分割解码器204对第三特征图进行采样与特征提取，网络输出图像为N个归一化的色彩RGB图像。

规整模块107用于将网络输出图像值域规整到[0,255]区间，得到待分割图像的色彩软分割图像。

优选的，KD-Tree处理模块104进行颜色提取时，对于颜色的细粒度提取需要对颜色空间的值进行加权，可以获得更多种类的颜色，使颜色提取效果更好。

优选的，随机采样模块103通过在待分割图像得到随机采样点，根据预设的切割图像大小对待分割图像进行切割；切割图像和待分割图像的大小决定所述切割图像数量。最终获得多张切割图像进行颜色提取，可以让KD-Tree处理模块104在处理时更加快速，节省运行时间，减少运行负担。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。