基于深度稠密网络与边缘距离图加权的图像协同分割方法

摘要

本发明公开了一种基于深度稠密网络与边缘距离图加权的图像协同分割方法，属于计算机图像协同分割技术领域。本方法利用距离图中的距离信息，对图像不同区域进行不同程度的加权，并通过计算预测距离图与真实距离图的交并比设计损失函数，有效应对图像分割中存在的边缘区域误判问题，使分割出来的结果更准确。通过搭建深度神经网络在U形孪生网络的解码器部分添加稠密连接，实现特征重利用，有效提高分割精度。本方法可在三维物体前景抠取等应用场景下快速、高精度、高可靠的实现图像协同分割，获得令人满意的目标前景。

说明书

技术领域

本发明涉及一种基于深度稠密网络与边缘距离图加权损失函数的图像协同分割方法，属于计算机视觉中的图像协同分割技术领域。

背景技术

图像协同分割，是指从一组相关图像中分割出共同和显著的目标的技术。该技术在交互式图像分割、三维重建、目标共定位等方面，都有着重要的应用前景。

传统的协同分割方法，主要利用手工制作的特征和先验知识，存在鲁棒性低、泛化能力差等问题，难以取得高精度的分割结果。近年来，随着深度学习技术的不断发展，为了提高图像协同分割性能，引入深度学习技术，以数据驱动的方式学习图像的视觉表达，取得了良好的效果，但仍然存在许多问题和不足。

在使用深度学习实现图像分割的方法中，神经网络的网络结构设计和损失函数改良分别是提高图像分割精度的两个重要途径。当前广泛使用的U形卷积神经网络，由通过下采样提取特征的编码器和进行上采样的解码器及跳跃连接构成，是一种经典的网络设计方法。卷积网络往往越深则效果越好。然而，随着网络深度的增加，浅层特征在经过多层网络的前向传播后特征信息面临逐渐减弱和消散的问题，在网络的编码器和解码器部分添加跳跃连接也不能完全解决这个问题。

分割网络训练时所采用的学习目标即损失函数对分割结果有很大影响。Diceloss和交叉熵损失函数是当前基于深度学习的图像分割技术广泛使用的两种损失函数。交叉熵定义为对给定随机变量或事件集的两个概率分布之间的差异的度量。交叉熵损失函数可以用在大多数图像分割场景中，但其存在一个明显的缺点：当前景像素远小于背景像素的数量时，损失函数中背景像素部分占据主导，严重偏向背景，导致分割结果不理想。Diceloss直接计算了图像真实前景标记与网络预测输出的分割结果的重叠率，直接反映分割的准确度。Diceloss可用于正负样本不平衡的数据集，其专注于引导前景区域分割，一定程度上不受正负样本不平衡的影响，但是，其也存在缺点。第一，只专注于前景区域的分割而对背景区域缺少引导；第二，对难易样本没有区别处理，在二维图像上每个像素点在预测错误时的惩罚没有区别，只统计正确或错误的像素点的个数，没有加权处理。

发明内容

本发明的目的是针对现有的基于卷积神经网络的图像分割方法中存在的忽略图像边缘、分割准确率较低等问题，为克服存在的缺陷，创造性地提出一种基于U型孪生稠密神经网络及边缘距离图加权的图像协同分割方法。

本发明的创新点在于：

首先，将二值标记图转换为含有距离信息的距离图(distance map)，其值反映了每个像素点与目标边界的距离信息，值的正负号代表对应像素点为前景或者背景。通过求prediction距离图与真实距离图的交并比定义设计损失函数，实现边缘距离图加权，并将分割问题转换为距离图回归问题，有效提高分割准确率。

其次，依托于U形深度孪生网络，网络由编码器和解码器构成。编码器中包含多个卷积层，每个卷积层后接BN和激活，对输入图像进行特征提取得到特征图。解码器中使用多个反卷积块连接成一条特征放大路径，各个反卷积块的输入特征是由前面所有反卷积块的输出拼接获得，从而在解码器部分实现网络稠密连接，有效提高分割效果。

一种基于深度稠密网络与边缘距离图加权的图像协同分割方法，包括以下步骤：

步骤1：获取含有共同前景目标的原图及其对应的标记图，并进行数据预处理。

步骤2：对步骤1得到的每一张标记图，计算其对应的真实距离图。

步骤3：搭建一个U形深度稠密连接孪生网络，该深度网络包括编码器和解码器两部分。

步骤4：根据步骤1中得到的原图，输入U形深度网络，经过编码器得到对应的特征图。

步骤5：根据步骤4得到的特征图，通过U形深度网络的解码器部分，得到预测出来的prediction距离图。

步骤6：将步骤5获得的prediction距离图与步骤2中真实距离图求交并比，用1减去该交并比，得到损失项loss

步骤7：根据步骤5得到的prediction距离图和步骤1中的原始标记图，将两图通过一个拟合阶跃函数转换成掩码图，对转换得到的掩码图求均方误差损失loss

步骤8：对步骤6和步骤7得到的两个损失项加权求和，得最终的损失函数。

步骤9：使用步骤8得到的损失函数，对网络进行更新学习。

步骤10：将待分割的原图输入步骤9中学习完成的网络，得到预测结果图，对预测结果图的每个像素点进行分类，得到最终的掩码图，从而完成前景抠取过程。

有益效果

本发明所述方法，与现有方法相比，具有如下优点：

1.本方法利用距离图中的距离信息，对图像不同区域进行不同程度的加权，有效应对图像分割中存在的边缘区域误判问题，使分割出来的结果更准确。

2.本方法搭建的深度神经网络在U形孪生网络的解码器部分添加稠密连接，实现特征重利用，有效提高分割精度。

3.本方法可在三维物体前景抠取等应用场景下快速、高精度、高可靠的实现图像协同分割，获得令人满意的目标前景。

附图说明

图1是本发明方法的实施例流程图；

图2是本发明方法的分割网络结构示意图；

图3是原图、原始标签图与转换得到的距离图的示意图；

图4是待分割图像及其经本发明方法执行物体抠取得到的分割结果示意图。

具体实施方式

下面通过附图及实施例对本发明方法做进一步详细说明。

实施例

如图1所示，一种基于深度稠密网络与边缘距离图加权损失函数的图像协同分割方法，包括以下步骤：

步骤1：获取含有共同前景目标的原始图及其对应的标记图。对原图和标记图进行统一大小裁剪和灰度归一化的预处理，得到预处理后的图像。

步骤2：对步骤1得到的每一张标记图x，计算其对应的真实距离图M(x)，计算公式如下：

其中，

图3是原图、原始标签图与转换得到的距离图的一个例子示意图，其中，(a)为待分割的原始图像，图中，猫为需要抠取出来的前景目标，(b)为原始图像对应的二值标签图，(c)为二值标签图计算得到的真实距离图。

步骤3：搭建一个U形深度稠密连接孪生网络，该深度网络包括编码器和解码器两部分。

如图2所示，所搭建的网络整体结构为U形孪生网络，由编码器和解码器部分构成，并在解码器部分添加稠密连接。

本实施例中，编码器使用基于resnet50的siamese双通道网络，用于提取图片特征。

解码器部分由对应的反卷积层构成。与传统的U形深度网络不同，本发明在解码器中的反卷积层之间添加稠密连接，解码器中各卷积块的输出经过反卷积放大分辨率、BN(Batch Normalization，批归一化)和激活操作后，传递给其后的网络层，从而实现多层特征重利用。

步骤4：根据步骤1中得到的原图输入搭建的深度网络，经过网络编码器和解码器部分后，得到网络预测输出的prediction距离图。

步骤5：根据步骤4获得的prediction距离图与步骤2计算得到的真实距离图M(x)，求边缘距离加权损失函数loss

具体地，步骤5可以包括以下步骤：

步骤5.1：记p

其中，i表示对应的第i个前景像素点，j表示对应的第j个背景像素点。

步骤5.2：在步骤5.1基础上，利用真实距离图对各像素点的重要性进行加权，得到最后的loss

步骤6：根据步骤4得到的prediction距离图和步骤1中的标记图，两图通过一个相同的拟合阶跃函数转换为值在[0,1]范围内的两张掩码图，对这两图求均方误差损失loss

其中，拟合阶跃函数F(x)的计算公式为：

其中，e为自然对数。

均方误差损失为：

loss

其中，Y

步骤7：对步骤5和步骤6得到的两个损失项加权求和，得最终的损失函数loss，如公式(6)所述：

loss＝loss

其中，λ为平衡两个损失项大小的调节参数。

步骤8：使用步骤7得到的损失函数，对网络进行更新学习。

步骤9：将待分割的原图输入步骤8中学习完成的网络，得到掩码图。对掩码图的每个像素点进行分类，得到最终的分割结果，从而完成前景抠取过程。

图4是3组待分割图像及其使用本发明得到的分割结果图展示，第1、3、5列是拍摄的多张具有相同前景的待分割图像，作为分割网络的输入图，第2、4、6列则是输入图像经本发明分割网络执行物体抠取得到的分割结果示意图，由图可见分割效果良好。

通过实施本技术，可快速、高精度、高可靠、全自动地从固定背景下的多幅图片中去除背景，获得仅包含前景物体的图片。实测数据表明：通过使用本发明的技术方法，对于各种不同类型图片，图片背景去除的精确度平均达99％以上；在当前主流GPU计算服务器上，平均每幅图片的处理时间<＝1秒。

需要强调的是，对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。