一种基于图像识别技术的自动抠图方法及系统

摘要

本发明提供一种基于图像识别技术的自动抠图系统及方法，其中，方法包括：上传需要抠图的图片；通过目标物体识别模型对需要抠图的图片进行目标物体识别，获得目标物体识别图片；对目标物体识别图片进行语义分割，获得语义分割图片；在语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；在边缘光滑的语义分割图片中将目标物体抠出，完成抠图。本发明提供的一种基于图像识别技术的自动抠图系统及方法，通过图像识别技术将目标物体识别出来并进行抠图，有效解决了现有技术方案中操作复杂，处理速度慢的问题，而且成本还低。

说明书

技术领域

本发明涉及图像抠图技术领域，特别涉及一种基于图像识别技术的自动抠图方法及系统。

背景技术

抠图用于提取图像中用户感兴趣的前景物体，是图像和视频处理领域中的一项基础技术，其技术成果主要运用于图像处理、视频和影视行业的制作，并且成为至关重要的一个技术环节。

目前的抠图技术，对于高精度的抠图，通常需要依赖前期特殊的拍摄手法和人工手动选择目标物体进行抠图，这不仅操作复杂，而且处理速度慢，因此，本发明提供了一种基于图像识别技术的自动抠图方法及系统，通过图像识别技术将目标物体识别出来并进行抠图，有效解决了现有技术方案中操作复杂，处理速度慢的问题，而且成本还低。

发明内容

本发明提供了一种基于图像识别技术的自动抠图方法，通过图像识别技术将目标图像识别出来并进行抠图，有效解决了现有技术方案中操作复杂，处理速度慢的问题，而且成本还低。

本发明提供一种基于图像识别技术的自动抠图方法，包括：图片输入模块、目标识别模块、语义分割模块、边缘处理模块和自动抠图模块；

所述图片输入模块，用于上传需要抠图的图片；

所述目标识别模块，用于通过目标物体识别模型对需要抠图的图片进行目标物体识别，获得目标物体识别图片；

所述语义分割模块，用于对所述目标物体识别图片进行语义分割，获得语义分割图片；

所述边缘处理模块，用于对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；

所述自动抠图模块，用于在所述边缘光滑的语义分割图片中将目标物体抠出。

进一步地，所述系统还包括模型训练模块和缺失填充模块；

所述模型训练模块，用于在所述目标识别模块通过目标物体识别模型对需要抠图的图片进行目标物体识别之前对所述目标物体识别模型进行训练；

所述缺失填充模块，用于在所述边缘光滑的语义分割图片中将目标物体抠出之后对缺失目标物体的缺失部分进行填充。

进一步地，所述模型训练模块，包括：目标特征确定单元、目标物体标注单元和模型学习训练单元；

所述目标特征确定单元，用于确定目标物体的特征；

所述目标物体标注单元，用于在包含所述目标物体的图片中对目标物体进行标注，获得标注目标物体的图片；

所述模型学习训练单元，用于根据所述标注目标物体的图片对目标物体识别模型进行学习训练。

进一步地，所述缺失填充模块，包括：环境感知单元和缺失补充单元；

所述环境感知单元，用于在缺少目标物体的语义分割图片中，对缺失部分周围的背景进行环境感知学习；

所述缺失补充单元，用于将感知到的缺失部分周围的背景补充到缺失部分中。

进一步地，所述边缘处理模块，包括：边缘获取单元、特征拟合单元和光滑处理单元；

所述边缘获取单元，用于在语义分割图片中获取目标物体的边缘特征点的信息；

所述特征拟合单元，用于对所述边缘获取单元获取的边缘特征点进行曲线拟合，获得特征点之间的拟合线性关系；

所述光滑处理单元，用于根据所述特征点之间的拟合线性关系在语义分割图片对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片。

一种基于图像识别技术的自动抠图方法，包括：

上传需要抠图的图片；

通过目标物体识别模型对所述需要抠图的图片进行目标物体识别，获得目标物体识别图片；

对所述目标物体识别图片进行语义分割，获得语义分割图片；

在所述语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；

在所述边缘光滑的语义分割图片中将目标物体抠出，完成抠图。

进一步地，所述目标物体识别模型在对所述需要抠图的图片进行目标物体识别之前还对目标物体识别模型进行学习训练；

在所述边缘光滑的语义分割图片中将目标物体抠出之后还对缺少目标物体的语义分割图片进行缺失部分填充。

进一步地，所述对目标物体识别模型进行学习训练的过程包括：

确定目标物体的特征；

在包含所述目标物体的图片中对目标物体进行标注，获得标注目标物体的图片；

根据所述标注目标物体的图片对目标物体识别模型进行学习训练；获得优化的目标物体识别模型。

进一步地，所述对缺少目标物体的语义分割图片进行缺失部分填充的过程包括：

在缺少目标物体的语义分割图片中，对缺失部分周围的背景进行环境感知学习；

将感知到的缺失部分周围的背景补充到缺失部分中。

进一步地，所述在所述语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片的过程中，包括：

在语义分割图片中获取目标物体的边缘特征点的信息；

根据目标物体的边缘特征点的信息对边缘特征点进行曲线拟合，获得特征点之间的拟合线性关系；

根据所述特征点之间的拟合线性关系在语义分割图片对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；

其中，在对目标物体边缘进行光滑处理之后针对光滑的目标物体边缘进行锐化处理，包括如下步骤：

首先，在边缘光滑的目标物体的光滑边缘两侧获取相对应的位置的像素值；

然后，根据下述公式判断是否需要进行锐化处理；

F＝abs{[(∑a

上述公式中，F表示锐化判断值，abs表示取正值函数，a

最后，依照判断结果对目标物体边缘进行锐化处理。

本发明至少具有如下有益效果：

本发明提供的一种基于图像识别技术的自动抠图系统，在实现自动抠图的过程中，通过目标识别模块利用目标物体识别模型对图片中的目标物体进行选中，避免人工进行目标物体选中，不仅节省目标物体选中的时间，提高选中目标物体的速度以及提高抠图的速度，而且不需要人工选中目标物体还节省了人力和物力的同时节省了抠图的成本，并且目标物体识别模型识别效率较高，能够在短时间能对大量图片进行目标物体识别有效提高了抠图的效率，此外，在上述进行抠图的过程中，无需人为进行复杂的操作，使得抠图过程简单化，并且不容易出现抠图错误，影响抠图的品质，提升了抠图的精准度。

本发明提供的一种基于图像识别技术的自动抠图系统，通过对目标物体识别模型学习训练使得优化的目标物体识别模型在对需要抠图的图片进行识别时，一旦出现目标物体就能够识别出来，提高了目标物体识别的准确性，同时也提高了目标物体识别的效率。

本发明提供的一种基于图像识别技术的自动抠图系统，通过缺失填充模块将目标物体抠出之后对缺少目标物体的语义分割图片进行缺失部分填充，使得缺少目标物体的语义分割图片仍然看起来很完整，避免目标物体扣图后给原来的图片上留下一片空白在缺少目标物体的图片上显得格外突兀，通过缺失部分填充对目标物体抠图后造成的空白部分进行填充，提升了缺少目标物体的图片的观感。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明所述的基于图像识别技术的自动抠图系统的一种结构示意图；

图2为本发明所述的基于图像识别技术的自动抠图系统的又一种示意图；

图3为本发明所述的基于图像识别技术的自动抠图系统中模型训练模块的示意图；

图4为本发明所述的基于图像识别技术的自动抠图系统中缺失填充模块的示意图；

图5为本发明所述的基于图像识别技术的自动抠图方法的一种流程示意图；

图6为本发明所述的基于图像识别技术的自动抠图方法的又一种流程示意图；

图7为本发明所述的一种基于图像识别技术的自动抠图方法中S20的具体流程示意图；

图8为本发明所述的一种基于图像识别技术的自动抠图方法中S6的具体流程示意图；

图9为本发明所述的一种基于图像识别技术的自动抠图方法的一种整体流程示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种基于图像识别技术的自动抠图系统，包括：图片输入模块、目标识别模块、语义分割模块、边缘处理模块和自动抠图模块；

所述图片输入模块，用于上传需要抠图的图片；

所述目标识别模块，用于通过目标物体识别模型对需要抠图的图片进行目标物体识别，获得目标物体识别图片；

所述语义分割模块，用于对所述目标物体识别图片进行语义分割，获得语义分割图片；

所述边缘处理模块，用于对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；

所述自动抠图模块，用于在所述边缘光滑的语义分割图片中将目标物体抠出。

上述技术方案中，基于图像识别技术的自动抠图系统中包括：图片输入模块、目标识别模块、语义分割模块、边缘处理模块和自动抠图模块；通过图片输入模块上传需要抠图的图片；通过目标识别模块利用目标物体识别模型对需要抠图的图片进行目标物体识别，获得目标物体识别图片；通过语义分割模块对目标物体识别图片进行语义分割，获得语义分割图片；通过边缘处理模块对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；通过自动抠图模块在边缘光滑的语义分割图片中将目标物体抠出，进而完成抠图。通过上述技术方案，在实现自动抠图的过程中，通过目标识别模块利用目标物体识别模型对图片中的目标物体进行选中，避免人工进行目标物体选中，不仅节省目标物体选中的时间，提高选中目标物体的速度以及提高抠图的速度，而且不需要人工选中目标物体还节省了人力和物力的同时节省了抠图的成本，并且目标物体识别模型识别效率较高，能够在短时间能对大量图片进行目标物体识别有效提高了抠图的效率，此外，在上述进行抠图的过程中，无需人为进行复杂的操作，使得抠图过程简单化，并且不容易出现抠图错误，影响抠图的品质，提升了抠图的精准度。通过语义分割模块进行语义分割使得图片中的目标物体与周围的背景区分开来，增加目标物体在图片中与周围环境的区分程度，进而在边缘处理模块对目标物体边缘进行光滑处理时能够快速监测到目标物体的边缘，使得边缘柔和，光滑，使得准确将目标物体选中，提高了抠图的精准度，而且光滑处理后的抠出来的目标物体边缘融合性能较好，无论放到哪里都不会显得很突兀，提高抠图精度的同时提升了目标物体的适用性。

如图2所示，本发明提供的一个实施例中，所述系统还包括模型训练模块和缺失填充模块；

所述模型训练模块，用于在所述目标识别模块通过目标物体识别模型对需要抠图的图片进行目标物体识别之前对所述目标物体识别模型进行训练；

所述缺失填充模块，用于在所述边缘光滑的语义分割图片中将目标物体抠出之后对缺失目标物体的缺失部分进行填充。

上述技术方案中，基于图像识别技术的自动抠图系统中还包括模型训练模块和缺失填充模块；通过模型训练模块在目标识别模块通过目标物体识别模型对需要抠图的图片进行目标物体识别之前对目标物体识别模型进行训练；通过缺失填充模块在边缘光滑的语义分割图片中将目标物体抠出之后对缺失目标物体的缺失部分进行填充。通过上述技术方案，模型训练模块通过对目标物体识别模型学习训练使得优化的目标物体识别模型在对需要抠图的图片进行识别时，一旦出现目标物体就能够识别出来，提高了目标物体识别的准确性，同时也提高了目标物体识别的效率。通过缺失填充模块将目标物体抠出之后对缺少目标物体的语义分割图片进行缺失部分填充，使得缺少目标物体的语义分割图片仍然看起来很完整，避免目标物体扣图后给原来的图片上留下一片空白在缺少目标物体的图片上显得格外突兀，通过缺失部分填充对目标物体抠图后造成的空白部分进行填充，提升了缺少目标物体的图片的观感。

如图3所示，本发明提供的一个实施例中，所述模型训练模块，包括：目标特征确定单元、目标物体标注单元和模型学习训练单元；

所述目标特征确定单元，用于确定目标物体的特征；

所述目标物体标注单元，用于在包含所述目标物体的图片中对目标物体进行标注，获得标注目标物体的图片；

所述模型学习训练单元，用于根据所述标注目标物体的图片对目标物体识别模型进行学习训练。

上述技术方案中，模型训练模块这设有目标特征确定单元、目标物体标注单元和模型学习训练单元；通过目标特征确定单元确定目标物体的特征，通过目标物体标注单元在包含目标物体的图片中对目标物体进行标注，获得标注目标物体的图片；通过模型学习训练单元根据标注目标物体的图片对目标物体识别模型进行学习训练。通过上述技术方案，模型训练模块能够得到优化的目标物体识别模型，进而使得优化的目标物体识别模型能够对存在目标物体的图片自动识别出目标物体，而且提高了识别的准确率。此外，在对目标物体识别模型进行学习训练时，目标物体标注单元根据目标特征确定单元确定的目标物体的特征在大量图片中标注目标物体，进行学习训练，通过大量的图片学习训练能够使得目标物体识别模型一旦遇到目标物体就能够识别出来，提高了目标物体识别模型的目标物体识别灵敏度与准确率，进而使得优化的目标物体识别模型在对需要抠图的图片进行目标物体识别时能够准确识别出目标物体。

如图4所示，本发明提供的一个实施例中，所述缺失填充模块，包括：环境感知单元和缺失补充单元；

所述环境感知单元，用于在缺少目标物体的语义分割图片中，对缺失部分周围的背景进行环境感知学习；

所述缺失补充单元，用于将感知到的缺失部分周围的背景补充到缺失部分中。

上述技术方案中，在缺失填充模块中设置有环境感知单元和缺失填充单元，通过环境感知单元感知学习在缺少目标物体的语义分割图片中缺失部分周围的背景，然后再通过缺失补充单元将感知到的缺失部分周围的背景补充到缺失部分中。通过上述技术方案缺失填充模块能够使得缺少目标物体的图片仍然是张完整的图片，避免缺失目标物体后造成图片出现一整片一整片的缺失或者空白，进而在整张图片中显得格外突兀，给人们造成视觉上的障碍，影响图片的美观以及给人们在视觉上产生观感障碍。通过缺失补充单元提升了抠图后缺失目标物体的图片的整体观感，而且缺失部分填充的颜色是通过环境感知单元对图片中缺失部分的周围环境感知学习得到，使得填充后的缺失部分与周围背景融为一体，提升了缺失目标物体的图片的观感。

本发明提供的一个实施例中，所述边缘处理模块，包括：边缘获取单元、特征拟合单元和光滑处理单元；

所述边缘获取单元，用于在语义分割图片中获取目标物体的边缘特征点的信息；

所述特征拟合单元，用于对所述边缘获取单元获取的边缘特征点进行曲线拟合，获得特征点之间的拟合线性关系；

所述光滑处理单元，用于根据所述特征点之间的拟合线性关系在语义分割图片对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片。

上述技术方案中，边缘处理模块中包含有边缘获取单元、特征拟合单元和光滑处理单元；边缘处理模块在对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片的过程中，通过边缘获取单元获取目标物体的边缘特征点的信息，在语义分割图片中得到目标物体的边缘上特征点的信息，然后通过特征拟合单元对获取的目标物体的边缘上特征点根据目标物体的边缘上特征点的信息进行曲线拟合，最后通过光滑处理单元根据曲线拟合关系对目标物体的边缘进行光滑处理，从而获得边缘光滑的语义分割图片。通过上述技术方案能使得语义分割图片中目标物体的边缘圆润光滑，避免目标物体的边缘上出现多个凸出拐角，同时也能够使得抠出来的目标物体边缘线比较光滑。

如图5所示，本发明实施例提供了一种基于图像识别技术的自动抠图方法，包括：

S1、上传需要抠图的图片；

S2、通过目标物体识别模型对所述需要抠图的图片进行目标物体识别，获得目标物体识别图片；

S3、对所述目标物体识别图片进行语义分割，获得语义分割图片；

S4、在所述语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；

S5、在所述边缘光滑的语义分割图片中将目标物体抠出，完成抠图。

上述技术方案中，在进行自动抠图时，首先，将需要抠图的图片上传到目标物体识别模型中；然后，通过目标物体识别模型对需要抠图的图片进行目标物体识别，在需要抠图的图片中将目标物体识别出来，得到目标物体识别图片；接着，对目标物体识别图片进行语义分割，获得语义分割图片；接着再在语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；最后在所述边缘光滑的语义分割图片中将目标物体抠出，完成抠图。通过上述技术方案，在对图片进行抠图时，通过目标物体识别模型对图片中的目标物体进行选中，避免在进行抠图时，还得通过人工进行目标物体选中，这样通过目标物体识别模型将目标物体自动化识别出来选择，不仅节省目标物体选中的时间，提高选中目标物体的速度以及提高抠图的速度，而且不需要人工选中目标物体还节省了人力和物力的同时节省了抠图的成本，并且目标物体识别模型识别效率较高，能够在短时间能对大量图片进行目标物体识别有效提高了抠图的效率，此外，在上述进行抠图的过程中，无需人为进行复杂的操作，使得抠图过程简单化，并且不容易出现抠图错误，影响抠图的品质，提升了抠图的精准度。通过进行语义分割使得图片中的目标物体与周围的背景区分开来，增加目标物体在图片中与周围环境的区分程度，进而在对目标物体边缘进行光滑处理时能够快速监测到目标物体的边缘，使得边缘柔和，光滑，使得准确将目标物体选中，提高了抠图的精准度，而且光滑处理后的抠出来的目标物体边缘融合性能较好，无论放到哪里都不会显得很突兀，提高抠图精度的同时提升了目标物体的适用性。

如图6所示和图9所示，本发明提供的一个实施例中，所述目标物体识别模型在对所述需要抠图的图片进行目标物体识别之前还包括S20、对目标物体识别模型进行学习训练；

在所述边缘光滑的语义分割图片中将目标物体抠出之后还包括S6、对缺少目标物体的语义分割图片进行缺失部分填充。

上述技术方案中，目标物体识别模型在对所述需要抠图的图片进行目标物体识别之前还进行学习训练，通过对目标物体识别模型使得目标物体识别模型在对需要抠图的图片进行识别时，一旦出现目标物体就能够识别出来，提高了目标物体识别的准确性，同时也提高了目标物体识别的效率。在边缘光滑的语义分割图片中将目标物体抠出之后对缺少目标物体的语义分割图片进行缺失部分填充，使得缺少目标物体的语义分割图片仍然看起来很完整，避免目标物体扣图后给原来的图片上留下一片空白在缺少目标物体的图片上显得格外突兀，通过缺失部分填充对目标物体抠图后造成的空白部分进行填充，提升了缺少目标物体的图片的观感。

如图7所示，本发明提供的一个实施例中，所述S20、对目标物体识别模型进行学习训练的过程包括：

S201、确定目标物体的特征；

S202、在包含所述目标物体的图片中对目标物体进行标注，获得标注目标物体的图片；

S203、根据所述标注目标物体的图片对目标物体识别模型进行学习训练；获得优化的目标物体识别模型。

上述技术方案中，目标物体识别模型在对需要抠图的图片进行目标物体识别之前通过学习训练进行优化，首先确定目标物体的特征，然后根据目标物体的特征在图片中针对目标物体进行标注，得到标注目标物体的图片；最后根据标注目标物体的图片对目标物体识别模型进行学习训练；获得优化的目标物体识别模型。通过上述技术方案能够使得优化的目标物体识别模型能够对存在目标物体的图片自动识别出目标物体，而且提高了识别的准确率。此外，在对目标物体识别模型进行学习训练时，通过大量的图片进行学习训练能够使得目标物体识别模型一旦遇到目标物体就能够识别出来，提高了目标物体识别模型的目标物体识别灵敏度与准确率，进而使得优化的目标物体识别模型在对需要抠图的图片进行目标物体识别时能够准确识别出目标物体。

如图8所示，本发明提供的一个实施例中，所述S6、对缺少目标物体的语义分割图片进行缺失部分填充的过程包括：

S61、在缺少目标物体的语义分割图片中，对缺失部分周围的背景进行环境感知学习；

S62、将感知到的缺失部分周围的背景补充到缺失部分中。

上述技术方案中，在所述边缘光滑的语义分割图片中将目标物体抠出之后对缺少目标物体的语义分割图片进行如下处理：首先对缺失部分周围的背景进行环境感知学习，获取目标物体也就是缺少目标物体的语义分割图片中缺失部分周围的图像信息，然后将感知到的缺失部分周围的背景补充到缺失部分中，使得缺失部分与缺失部分周围的背景保持一致，且融为一体。通过上述技术方案能够使得自动抠图后缺少目标物体的语义分割图片仍然是张完整的图片，避免缺失目标物体后造成原图片出现一整片一整片的缺失或者空白，并且在整张图片中显得格外突兀，给人们造成视觉上的障碍，影响图片的呈现以及给人们的视觉观感，通过缺失部分填充提升了抠图后缺失目标物体的图片的整体观感，而且缺失部分填充的颜色是通过对图片中缺失部分的周围环境感知学习得到，使得填充后的缺失部分与周围背景融为一体，提升了缺失目标物体的图片的观感。

本发明提供的一个实施例中，所述在所述语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片的过程中，包括：

在语义分割图片中获取目标物体的边缘特征点的信息；

根据目标物体的边缘特征点的信息对边缘特征点进行曲线拟合，获得特征点之间的拟合线性关系；

根据所述特征点之间的拟合线性关系在语义分割图片对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片；

其中，在对目标物体边缘进行光滑处理之后针对光滑的目标物体边缘进行锐化处理，包括如下步骤：

首先，在边缘光滑的目标物体的光滑边缘两侧获取相对应的位置的像素值；

然后，根据下述公式判断是否需要进行锐化处理；

F＝abs{[(∑a

上述公式中，F表示锐化判断值，abs表示取正值函数，a

最后，依照判断结果对目标物体边缘进行锐化处理。

上述技术方案中，在所述语义分割图片中对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片的过程中，首先在语义分割图片中获取目标物体的边缘特征点的信息；然后根据目标物体的边缘特征点的信息对边缘特征点进行曲线拟合，获得特征点之间的拟合线性关系；最后再根据特征点之间的拟合线性关系在语义分割图片对目标物体边缘进行光滑处理，获得边缘光滑的语义分割图片。通过上述技术方案将语义分割图片中目标物体的边缘上比较突出的拐点进行曲线拟合，获得目标物体的边缘特征点之间的曲线关系，进而将目标物体的边缘特征点通过曲线衔接起来，使得目标物体的边缘光滑圆润，同时使得抠出来的目标物体边缘线比较光滑。此外在对目标物体边缘进行光滑处理之后针对光滑的目标物体边缘进行锐化处理，通过计算锐化判断值以及获得锐化判断结果来决定是否进行锐化处理，使得锐化处理的过程只在目标物体边缘存在明显像素差值的情况下进行，不仅节省时间，而且还能够提高效率，进而能够使得抠出来的目标物体的边缘清晰，消除目标物体边缘模糊不清的情况。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。