首页> 中国专利> 图像中目标对象的识别方法、装置、终端设备及存储介质

图像中目标对象的识别方法、装置、终端设备及存储介质

摘要

本发明公开了一种图像中目标对象的识别方法、装置、终端设备及存储介质,所述方法包括:获取待识别图像;将所述待识别图像输入至预设的图像目标识别模型中,以使所述图像目标识别模型识别所述待识别图像中是否包含预设目标对象;其中,所述图像目标识别模型基于原始图像中预设目标对象的第一主体图像、预设目标对象的第一边缘过渡区域图像、与所述第一主体图像对应的语义标注图像以及与所述第一边缘过渡区域图像对应的语义标注图像,通过预设的神经网络训练而成。通过实施本发明实施例能够提高在少样本的情况下,提高图像中目标对象识别的准确性。

著录项

  • 公开/公告号CN113837236A

    专利类型发明专利

  • 公开/公告日2021-12-24

    原文格式PDF

  • 申请/专利权人 广东智媒云图科技股份有限公司;

    申请/专利号CN202111013970.1

  • 发明设计人 邓立邦;

    申请日2021-08-31

  • 分类号G06K9/62(20060101);G06K9/46(20060101);G06K9/34(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构44202 广州三环专利商标代理有限公司;

  • 代理人郭浩辉;许羽冬

  • 地址 511458 广东省广州市南沙区双山大道5号1410房

  • 入库时间 2023-06-19 13:49:36

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-11-15

    授权

    发明专利权授予

说明书

技术领域

本发明涉及图像处理技术领域,尤其涉及一种图像中目标对象的识别方法、装置、终端设备及存储介质。

背景技术

在人工智能图像识别领域中,现有的图像目标识别模型在训练时,需要采集目标对象在不同场景、不同角度下的图像,然后对各图像中的目标对象与背景进行分割后,基于所分割的目标对象的主体图像进行训练。采用上述方案需要采集大量的样本,在缺少大量样本数据的情况所构建图像目标识别模型,在目标识别时准确性较差。

发明内容

本发明实施例提供一种图像中目标对象的识别方法、装置、终端设备及存储介质,能够提高在少样本的情况下,提高图像中目标对象识别的准确性。

本发明一实施提供了一种图像中目标对象的识别方法,包括:

获取待识别图像;

将所述待识别图像输入至预设的图像目标识别模型中,以使所述图像目标识别模型识别所述待识别图像中是否包含预设目标对象;

其中,所述图像目标识别模型基于原始图像中预设目标对象的第一主体图像、预设目标对象的第一边缘过渡区域图像、与所述第一主体图像对应的语义标注图像以及与所述第一边缘过渡区域图像对应的语义标注图像,通过预设的神经网络训练而成。

在这一实施例中,将目标对象的主体图像以及边缘过渡区域图像进行提取作为训练样本,目标对象的主体图像可以表征目标对象本身的颜色、形状以及纹理等特征,而边缘过渡区域图像可以表征目标对象的边缘与图像背景接壤部分所体现的特征,进而使得即使在少样本甚至单样本的情况下所训练出来的模型依旧能够根据目标对象本身的特征,以及目标对象的边缘与图像背景接壤部分的特征,基于这两方面的特征实现对目标对象的精准识别,提高在少样本甚至单样本的情况下图像目标识别的准确性。

在一个优选的实施例中,所述图像目标识别模型的构建方法包括:

获取所述原始图像中预设目标对象的第一主体图像以及第一边缘过渡区域图像;

获取与所述第一主体图像对应的语义标注图像,得到第二主体图像;获取与所述第一边缘过渡区域图像对应的语义标注图像,得到第二边缘过渡区域图像;

将所述第一主体图像、所述第一边缘过渡区域图像、所述第二主体图像以及所述第二边缘过渡区域图像,输入至预设的GAN神经网络中,对所述GAN神经网络中的生成器和判别器进行交替迭代训练,并将训练完成后的生成器作为所述图像目标识别模型。

在这一实施例中,基于GAN神经网络进行对抗训练,相比与其他生成模型只用到了反向传播,而不需要复杂的马尔科夫链,从而降低了模型的训练难度。

在一个优选的实施例中,所述生成器包括:若干层级的隐藏层;

在训练所述生成器时,从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集;将所述特征向量集分别输入至各层级的隐藏层中,对所述生成器中的各隐藏层进行训练;

其中,当待训练的隐藏层为第一层隐藏层时,根据所述特征向量集以及所述特征向量集在第一层隐藏层的影响权重,对所述待训练的隐藏层进行训练;

当所述待训练的隐藏层不为第一层隐藏层时,根据所述特征向量集、所述特征向量集在所述待训练的隐藏层的影响权重以及上一层隐藏层的输出结果,对所述待训练的隐藏层进行训练。

与传统的GAN神经网络不同,在传统的GAN神经网络中,第一层隐藏层根据输入样本进行训练,并将生成的结果传递至第二层隐藏层,紧接着第二层隐藏层根据第一层隐藏层的生成结果进行训练,然后将生成的结果传递至第三层隐藏层,依次类推;采样这种方式进行训练,在少样本的场景下,中间层级的隐藏层会出现训练不充分或过拟合的问题。为此,在本发明这一实施例中,对GAN神经网络中生成器的网络结构进行更改,将输入层所提取的样本的特征向量按各预设的影响权重输入至各个隐藏层中,中间各个隐藏层可以根据上一隐藏层的输出结果以及样本的特征向量进行训练,解决了少样本或单样本的情况下,中间隐藏层由于缺乏训练样本导致训练不充分或过拟合的问题,进一步提高了模型的效果。

在一个优选的实施例中,所述从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集,具体包括:

从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的颜色像素矩阵,生成颜色像素矩阵集,将所述颜色像素矩阵集作为所述特征向量集。

在一个优选的实施例中,所述获取与所述第一主体图像对应的语义标注图像,得到第二主体图像;获取与所述第一边缘过渡区域图像对应的语义标注图像,得到第二边缘过渡区域图像,具体包括:

按预设的颜色对所述第一主体图像以及所述第一边缘过渡区域图像进行语义标注,获得所述第二主体图像以及所述第二边缘过渡区域图像。

在一个优选的实施例中,通过预设的图像分割模型,对所述原始图像中预设目标对象进行分割,获得所述第一主体图像。

在一个优选的实施例中,通过预设的图像分割模型,对所述原始图像中预设目标对象进行分割,获得所述第一主体图像,可降低了人工动分割的复杂性。

在一个优选的实施例中,将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向外扩展第一预设比例后所增加的图像区域,与将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向内收缩第二预设比例后所减少的图像区域进行组合,获得所述预设目标对象的第一边缘过渡区域图像。

在一优选的实施例中,所述第一预设比例的取值范围为[10%,50%];所述第二预设比例的取值范围为[10%,50%]。

在这一实施例中,取目标对象边缘向外扩展至少10%以及向内收缩不大于50%的区域,作为边缘过渡区域;图像背景与预设目标对象边缘接壤部分的特征,在这个区域内能够得到很好体现,因此提取这一范围内的图像区域作为第一边缘过渡区域,使得训练出来模型能够更加精准的识别出目标对象,进一步提高目标对象的识别效果。

在上述方法项实施例的基础上,本发明对应提供了装置项实施例;

本发明一实施例提供了一种图像中目标对象的识别装置,包括:待识别图像获取模块以及目标对象识别模块;

所述待识别图像获取模块,用于获取待识别图像;

所述目标对象识别模块,用于将所述待识别图像输入至预设的图像目标识别模型中,以使所述图像目标识别模型识别所述待识别图像中是否包含预设目标对象;其中,所述图像目标识别模型基于原始图像中预设目标对象的第一主体图像、预设目标对象的第一边缘过渡区域图像、与所述第一主体图像对应的语义标注图像以及与所述第一边缘过渡区域图像对应的语义标注图像,通过预设的神经网络训练而成。

在一个优选的实施例中,还包括模型构建模块;

所述模型构建模块,所述模型构建模块,用于获取所述原始图像中预设目标对象的第一主体图像以及第一边缘过渡区域图像;

获取与所述第一主体图像对应的语义标注图像,得到第二主体图像;获取与所述第一边缘过渡区域图像对应的语义标注图像,得到第二边缘过渡区域图像;

将所述第一主体图像、所述第一边缘过渡区域图像、所述第二主体图像以及所述第二边缘过渡区域图像,输入至预设的GAN神经网络中,对所述GAN神经网络中的生成器和判别器进行交替迭代训练,并将训练完成后的生成器作为所述图像目标识别模型。

在一个优选的实施例中,所述生成器包括:若干层级的隐藏层;

在训练所述生成器时,从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集;将所述特征向量集分别输入至各层级的隐藏层中,对所述生成器中的各隐藏层进行训练;

其中,当待训练的隐藏层为第一层隐藏层时,根据所述特征向量集以及所述特征向量集在第一层隐藏层的影响权重,对所述待训练的隐藏层进行训练;

当所述待训练的隐藏层不为第一层隐藏层时,根据所述特征向量集、所述特征向量集在所述待训练的隐藏层的影响权重以及上一层隐藏层的输出结果,对所述待训练的隐藏层进行训练。

在一个优选的实施例中,所述从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集,具体包括:

从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的颜色像素矩阵,生成颜色像素矩阵集,将所述颜色像素矩阵集作为所述特征向量集。

在一个优选的实施例中,所述获取所述第一主体图像的语义标注图像,得到第二主体图像;获取所述第一边缘过渡区域图像的语义标注图像,得到第二边缘过渡区域图像,具体包括:

按预设的颜色对所述第一主体图像以及所述第一边缘过渡区域图像进行语义标注,获得所述第二主体图像以及所述第二边缘过渡区域图像。

在一个优选的实施例中,通过预设的图像分割模型,对所述原始图像中预设目标对象进行分割,获得所述第一主体图像。

在一个优选的实施例中,将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向外扩展第一预设比例后所增加的图像区域,与将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向内收缩第二预设比例后所减少的图像区域进行组合,获得所述预设目标对象的第一边缘过渡区域图像。

在一个优选的实施例中,所述第一预设比例的取值范围为[10%,50%];所述第二预设比例的取值范围为[10%,50%]。

在上述方法项实施例的基础上本发明对应提供了一终端设备项实施例;

本发明一实施例提供了一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,实现本发明任意一项所述的图像中目标对象的识别方法。

在上述方法项实施例的基础上,本发明对应提供了一存储介质项实施例;

本发明一实施例提供了一种存储介质,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时,控制所述存储介质所在的设备执行本发明任意一项所述的图像中目标对象的识别方法。

通过实施本发明实施例具有如下有益效果:

本发明实施例提供了一种图像目标对象的识别方法、装置、终端设备及存储介质,所述图像目标识别方法,基于预设的图像目标识别模型进行图像目标识别,生成预设图像风格的重构图像。相比与现有的GauGAN图像目标识别模型,本发明在训练图像目标识别模型时,不仅获取了图像中目标对象的主体图像,还获取了目标对象的边缘过渡区域图像。边缘过渡区域图像能够表征目标对象边缘与图像背景接壤部分的特征。这样即使在少样本的情况下,所训练出的图像目标识别模型能够基于图像中目标对象的主体特征,以及边缘区域的特征进行识别,从而提高目标识别的准确性。

附图说明

图1是本发明一实施例提供的图像中目标对象的识别方法的流程示意图。

图2是本发明一实施例提供的原始图像的示意图;

图3是本发明一实施例提供的原始图像中预设目标对象的第一主体图像;

图4是本发明一实施例提供的原始图像中预设目标对象的第一边缘过渡区域图像;

图5是本发明一实施例提供的语义标注图像中语义目标对象的第二主体图像;

图6是本发明一实施例提供的语义标注图像中语义目标对象的第一边缘过渡区域图像;

图7是本发明一实施例所提供的狗的边缘毛发纹理示意图。

图8是本发明一实施例提供的生成器的结构示意图;

图9是本发明一实施例提供的另一生成器的结构示意图;

图10是本发明一实施例提供的又一生成器的结构示意图;

图11是本发明一实施例提供的图像中目标对象的识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,本发明一实施例提供了一种图像中目标对象的识别方法,至少包括如下步骤:

步骤S1:获取待识别图像;

步骤S2:将所述待识别图像输入至预设的图像目标识别模型中,以使所述图像目标识别模型识别所述待识别图像中是否包含预设目标对象;其中,所述图像目标识别模型基于原始图像中预设目标对象的第一主体图像、预设目标对象的第一边缘过渡区域图像、与所述第一主体图像对应的语义标注图像以及与所述第一边缘过渡区域图像对应的语义标注图像,通过预设的神经网络训练而成。

对于步骤S101:获取一待识别图像,待识别图像可以是用户输入的,也可以是从其他设备中获取,紧接按后续步骤对待识别图像进行目标对象识别,判断待识别图像中是否包含预设目标对象。

对于步骤S102:首先对图像目标识别模型进行说明:

训练样本的获取:模型的训练样本为原始图像中预设目标对象的第一主体图像、预设目标对象的第一边缘过渡区域图像、与所述第一主体图像对应的语义标注图像以及与所述第一边缘过渡区域图像对应的语义标注图像;如图2所示的原始图像,将图像中的“狗”作为预设目标,然后对原始图像中的狗进行图像分割,分割出整体图像得到图3所示的第一主体图像,然后对原始图像狗和图像背景接壤部分进行分割,得到图4所示的第一边缘过渡图像,紧接着对第一主体图像和第二主体图像进行语义标注获得如图5所示的第二主体图像,以及如图6所示的第二边缘过渡区域图像;

模型从第一主图像和第二主体图像中可学习到狗狗整体图像的纹理、颜色、形状特征;而从第一边缘过渡区域图像和第二边缘过渡区域图像中可以学习到狗狗的边缘与其背景环境衔接处的特征,实则是获得狗狗的边缘与背景环境的关系,例如说,狗狗的边缘是毛发,而获取到狗狗的边缘过渡区域图像后会发现其边缘并不是一个完全流畅的边缘直线,而是会随着毛发的纹理有一定的镂空位置,具体如图7所示,从图7可以看出,狗的毛发边缘并不是一条直线,而是由于许多细小的毛发的存在,导致边缘存在许多镂空部位。,这样模型就能够对狗狗边缘的形状特征、狗狗边缘的颜色、纹理等其他特征也会一并学习。所以当把边缘过渡区域图像输入至模型进行学习时,模型就能够识别狗狗的边缘与背景环境的关系,从而能够更加准确的识别出狗这个目标。

在一个可选的实施例中,所述获取与所述第一主体图像对应的语义标注图像,得到第二主体图像;获取与所述第一边缘过渡区域图像对应的语义标注图像,得到第二边缘过渡区域图像,具体包括:按预设的颜色对所述第一主体图像以及所述第一边缘过渡区域图像进行语义标注,获得所述第二主体图像以及所述第二边缘过渡区域图像。即在这一实施例中,可以通过预设的按颜色:例如绿色对第一主体图像以及所述第一边缘过渡区域图像进行语义标注。在实际操作过程中可以利用绘图工具手动对第一主体图像和第一边缘过渡区域进行上色,获得上述第二主体图像以及上述第二边缘过渡区域图像。此外在一些可选的实施例中,可以将原始图像直接通过现有的图像语义分割模型如Labelme模型,进行自动化语义标注,形成与原始图像对应的语义标注图像,然后从语义标注图像中分割出上述第二主体图像以及第二边缘过渡区域图像。

在一个可选的实施例中,通过预设的图像分割模型,对所述原始图像中预设目标对象进行整体分割,获得所述第一主体图像。在这一实施例中可基于现有的图像分割模型对原始图像中预设目标对象的整体分割,来获得上述第一主体图像;此外在其他可选的实施例中,还可以通过人工手动分割或通过photoshop等软件的魔法棒等辅助功能,对原始图像中预设目标对象的主体图像进行分割。

在一个优选的实施例中,将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向外扩展第一预设比例后所增加的图像区域,与将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向内收缩第二预设比例后所减少的图像区域进行组合,获得所述预设目标对象的第一边缘过渡区域图像。优选的所述第一预设比例的取值范围为[10%,50%];所述第二预设比例的取值范围为[10%,50%]。在这一实施例中,取预设目标对象边缘向外扩展至少10%以及向内收缩不大于50%的区域,作为边缘过渡区域;图像背景与预设目标对象边缘接壤部分的特征,在这个区域范围内能够得到很好体现,因此提取这一范围内的图像区域作为第一边缘过渡区域,使得训练出来模型能够更加精准的识别出目标对象,进一步提高目标对象的识别效果。同样在一些可选的实施例中第一边缘过渡区域的分割也可以通过手动的方式按上述规则进行分割。

需要说明的是,若将原始图像直接通过现有的图像语义分割模型如Labelme模型,进行自动化语义标注,形成与原始图像对应的语义标注图像,然后从语义标注图像中分割出上述第二主体图像以及第二边缘过渡区域图像。则,第二主体图像也可以通过现有的图像分割模型进行分割或手动分割;第二边缘过渡区域图像也可以按与第一边缘过渡区域相同的分割规则进行手动分割或自动分割。

模型的构建:在一个优选的实施例中,所述图像目标识别模型的构建方法包括:

获取所述原始图像中预设目标对象的第一主体图像以及第一边缘过渡区域图像;获取与所述第一主体图像对应的语义标注图像,得到第二主体图像;获取与所述第一边缘过渡区域图像对应的语义标注图像,得到第二边缘过渡区域图像;将所述第一主体图像、所述第一边缘过渡区域图像、所述第二主体图像以及所述第二边缘过渡区域图像,输入至预设的GAN神经网络中,对所述GAN神经网络中的生成器和判别器进行交替迭代训练,并将训练完成后的生成器作为所述图像目标识别模型。

在上述各个图像获取完毕之后,将上述第一主体图像、第二主体图像、第一边缘过渡区域图像以及第二边缘过渡区域图像输入至GAN神经网络中进行交替迭代训练;GAN神经网络包括生成器和判别器,在训练时,生成器以第一主体图像以及第一边缘过渡区域图像作为输入进行训练,判别器以第二主体图像和第二边缘过渡区域图像以及生成器所生成输出的结构作为输入进行训练,然后再根据判别器的判别结果,对生成器的网络参数进行调整,最终将训练完成的生成器作为本发明的图像目标识别模型。

优选的,在训练生成器时,从第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集,根据特征向量集对生成器进行训练。在训练判别器时,从第二主体图像、所述第二边缘过渡区域图像以及生成器所输出的图像中提取图像的特征向量,生成第二特征向量集,根据第二特征向量集对判别器进行训练。示意性的,提取各图像的颜色像素矩阵作为各图像的特征向量。上述颜色像素矩阵包括但不限与以下任意一种:灰度值像素矩阵或RGB像素矩阵。

为了进一步的提高在少样本甚至单样本的情况下模型目标对象识别的准确性,在本发明的一个优选的实施例中对GAN神经网络中生成器的结构进行了改进;

如图8所示,在一个优选的实施例中,所述生成器包括:若干层级的隐藏层;

在训练所述生成器时,从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集;将所述特征向量集分别输入至各层级的隐藏层中,对所述生成器中的各隐藏层进行训练;

其中,当待训练的隐藏层为第一层隐藏层时,根据所述特征向量集以及所述特征向量集在第一层隐藏层的影响权重,对所述待训练的隐藏层进行训练;

当所述待训练的隐藏层不为第一层隐藏层时,根据所述特征向量集、所述特征向量集在所述待训练的隐藏层的影响权重(即权重系数)以及上一层隐藏层的输出结果,对所述待训练的隐藏层进行训练。

与传统的GAN神经网络不同,在传统的GAN神经网络中,第一层隐藏层根据输入样本进行训练,并将生成的结果传递至第二层隐藏层,紧接着第二层隐藏层根据第一层隐藏层的生成结果进行训练,然后将生成的结果传递至第三层隐藏层,依次类推;采样这种方式进行训练,在少样本的场景下,中间层级的隐藏层会出现训练不充分或过拟合的问题。为此,在本发明这一实施例中,对GAN神经网络中生成器的网络结构进行改进,采用长记忆模型,将输入层所提取的样本的特征向量按各预设的影响权重输入至各个隐藏层中,中间各个隐藏层可以根据上一隐藏层的输出结果以及样本的特征向量进行训练,解决了少样本或单样本的情况下,中间隐藏层由于缺乏训练样本导致训练不充分或过拟合的问题,进一步提高了模型的效果。需要说明的是各隐藏层所对应的影响权重系数可以根据实际情况进行设定,各隐藏层的影响权重可以相同也可以不同。

在实际情况中,有的生成器网络结构中一各层级的隐藏层可能由多个子网络构成,如图9所示,第二层隐藏层,包括了第二层隐藏层1、第二层隐藏层2以及第二层隐藏层3;此时同样的输入层会将特征向量输入至第二层隐藏层则可以理解为,分别输入至第二层隐藏层的各个子网络,即将特征向量分别输入图9所示的第二层隐藏层1、第二层隐藏层2以及第二层隐藏层3,以使第二层隐藏层1、第二层隐藏层2以及第二层隐藏层3根据特征向量、各自的影响权重以及第一层隐藏层的输出结果进行训练。

优选的,为了进一步避免模型的过拟合效果,当本发明的生成器的网络结构以图9所示的网络结构进行构成时,可采用现有的丢弃法(Dropouts),随机将上一层隐藏层与下一层隐藏层的某一子网络的连接断开,不将上一层隐藏层的输出,输入至所断开的子网络,避免模型的过拟合现象;示意性的如图10所示,将第一层隐藏层与第二层隐藏层中的第二层隐藏层2的连接断开,则第二层隐藏层2在训练时只需根据输入层输入的特征向量以及其对应的影响权重系数进行训练。在训练完上述图像目标识别模型后,在使用模型时,将上述待识别图像输入至图像目标识别模型,判断生成器所生成的输出图像中是否包含与标注第二主体图像和第二边缘过渡区域图像颜色一致的图像区域,如果有,则判定上述待识别图像中存在预设目标对象。

本发明上述所提供的图像中目标对象的识别方法运用范围广泛,可以在海关安检场景中配合安检仪,教会机器识别新型可疑物。在海关安检场景中,若发现了新型的可疑物,一般而言,样本数量极少但又急需让机器学会识别该物品,以便大范围快速排查是否有相似可疑物及其所在位置,因此非常适合采用本发明所提供的图像中目标对象的识别方法,在少样本的情况下让机器学会目标物品识别。

如图11所示,在上述方法项实施例的基础上,本发明对应提供了装置项实施例:

本发明一实施例提供了一种图像中目标对象的识别装置,包括待识别图像获取模块以及目标对象识别模块;

所述待识别图像获取模块,用于获取待识别图像;

所述目标对象识别模块,用于将所述待识别图像输入至预设的图像目标识别模型中,以使所述图像目标识别模型识别所述待识别图像中是否包含预设目标对象;其中,所述图像目标识别模型基于原始图像中预设目标对象的第一主体图像、预设目标对象的第一边缘过渡区域图像、与所述第一主体图像对应的语义标注图像以及与所述第一边缘过渡区域图像对应的语义标注图像,通过预设的神经网络训练而成。

在一个优选的实施例中,还包括模型构建模块;所述模型构建模块,用于获取所述原始图像中预设目标对象的第一主体图像以及第一边缘过渡区域图像;

获取与所述第一主体图像对应的语义标注图像,得到第二主体图像;获取与所述第一边缘过渡区域图像对应的语义标注图像,得到第二边缘过渡区域图像;

将所述第一主体图像、所述第一边缘过渡区域图像、所述第二主体图像以及所述第二边缘过渡区域图像,输入至预设的GAN神经网络中,对所述GAN神经网络中的生成器和判别器进行交替迭代训练,并将训练完成后的生成器作为所述图像目标识别模型。

在一个优选的实施例中,所述生成器包括:若干层级的隐藏层;

在训练所述生成器时,从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集;将所述特征向量集分别输入至各层级的隐藏层中,对所述生成器中的各隐藏层进行训练;

其中,当待训练的隐藏层为第一层隐藏层时,根据所述特征向量集以及所述特征向量集在第一层隐藏层的影响权重,对所述待训练的隐藏层进行训练;

当所述待训练的隐藏层不为第一层隐藏层时,根据所述特征向量集、所述特征向量集在所述待训练的隐藏层的影响权重以及上一层隐藏层的输出结果,对所述待训练的隐藏层进行训练。

在一个优选的实施例中,所述从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的特征向量,生成特征向量集,具体包括:

从所述第一主体图像以及所述第一边缘过渡区域图像中提取各图像的颜色像素矩阵,生成颜色像素矩阵集,将所述颜色像素矩阵集作为所述特征向量集。

在一个优选的实施例中,所述获取所述第一主体图像的语义标注图像,得到第二主体图像;获取所述第一边缘过渡区域图像的语义标注图像,得到第二边缘过渡区域图像,具体包括:

按预设的颜色对所述第一主体图像以及所述第一边缘过渡区域图像进行语义标注,获得所述第二主体图像以及所述第二边缘过渡区域图像。

在一个优选的实施例中,通过预设的图像分割模型,对所述原始图像中预设目标对象进行分割,获得所述第一主体图像。

在一个优选的实施例中,将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向外扩展第一预设比例后所增加的图像区域,与将所述预设目标对象沿对象边缘,按所述预设目标对象的面积向内收缩第二预设比例后所减少的图像区域进行组合,获得所述预设目标对象的第一边缘过渡区域图像。

在一个优选的实施例中,所述第一预设比例的取值范围为[10%,50%];所述第二预设比例的取值范围为[10%,50%]。

需说明的是,以上所描述的图像中目标对象的识别装置的实施例是与本发明上述各图像中目标对象的识别方法的实施例相对应的,其能够实现本发明上述任意一所述的图像中目标对象的识别方法。此外,上述图像中目标对象的识别装置的实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的图像中目标对象的识别装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。

在本发明上述方法项实施例的基础上,对应提供了一终端设备项实施例;

本发明一实施例提供了一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,实现本发明任意一项所述的图像中目标对象的识别方法,例如图1所示的方法,或者,所述处理器执行所述计算机程序时实现上述各图像中目标对象的识别装置实施例中各模块的功能。

示例性的,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器、存储器。

所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据手机的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在上述方法项实施例的基础上,本发明对应提供了存储介质项实施例;

本发明另一实施例提供了一种存储介质,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时,控制所述存储介质所在的设备执行本发明上述任意一图像中目标对象的识别方法。其中,上述存储介质为计算机可读存储介质,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号