首页> 中国专利> 用于图像识别的模型训练方法、图像识别方法和装置

用于图像识别的模型训练方法、图像识别方法和装置

摘要

本公开关于一种用于图像识别的模型训练方法、图像识别方法和装置,属于机器学习技术领域。其中,模型训练方法包括:获取目标缺陷对应的排序数据集和调整数据集,将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,并采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值。由此,使得目标神经网络分支能够检测图像特定的目标缺陷,提高了缺陷检测的准确性。

著录项

  • 公开/公告号CN112183224A

    专利类型发明专利

  • 公开/公告日2021-01-05

    原文格式PDF

  • 申请/专利权人 北京达佳互联信息技术有限公司;

    申请/专利号CN202010929868.5

  • 发明设计人 谭冲;李马丁;徐宁;

    申请日2020-09-07

  • 分类号G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);H04N19/124(20140101);H04N19/85(20140101);

  • 代理机构11201 北京清亦华知识产权代理事务所(普通合伙);

  • 代理人石茵汀

  • 地址 100085 北京市海淀区上地西路6号1幢1层101D1-7

  • 入库时间 2023-06-19 09:26:02

说明书

技术领域

本公开涉及机器学习技术领域,尤其涉及一种用于图像识别的模型训练方法、图像识别方法和装置。

背景技术

视频图像和静态图像等各种图像类型,均存在对图像质量的检测需求。通常来说,图像质量缺陷可以包括模糊、噪声和压缩编码带来的块效应等等。这些缺陷可能会导致视频图像和静态图像的图像质量下降。

相关技术中的图像识别,大都是从整体上衡量图像质量的高低,导致图像质量的评价过于粗糙,不能够准确反映图像的质量缺陷。

发明内容

本公开提供一种用于图像识别的模型训练方法、图像识别方法和装置,以至少解决相关技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的问题,提高了缺陷检测的准确性。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种用于图像识别的模型训练方法,包括:

获取排序数据集和调整数据集;其中,所述排序数据集中各第一训练图像标注有目标缺陷的缺陷等级,所述调整数据集中各第二训练图像标注有所述目标缺陷的缺陷程度值;

将所述排序数据集中具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对;

采用所述训练图像对,对所述孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示所述缺陷等级;

采用所述调整数据集,对所述经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示所述缺陷程度值。

在本公开实施例一种可能的实现方式中,所述目标缺陷包括块效应;所述获取排序数据集和调整数据集,包括:

获取多张第一源图像和多张第二源图像;

采用设置的多种量化参数,对每一张所述第一源图像分别进行压缩,以得到各第一训练图像;

采用设置的多种压缩码率,对每一张所述第二源图像分别进行压缩,以得到各第二训练图像。

在本公开实施例一种可能的实现方式中,所述采用设置的多种量化参数,对每一张所述第一源图像分别进行压缩,以得到各第一训练图像之后,还包括:

根据每一张所述第一训练图像采用的所述量化参数,确定每一张所述第一训练图像的缺陷等级。

在本公开实施例一种可能的实现方式中,所述采用设置的多种压缩码率,对每一张所述第二源图像分别进行压缩,以得到各第二训练图像之后,还包括:

将每一张所述第二训练图像输入美学评估模型或质量评估模型,以得到输出的评估值;

对每一张所述第二训练图像的所述评估值,以及所述压缩码率进行加权,以得到每一张所述第二训练图像的缺陷程度。

在本公开实施例一种可能的实现方式中,所述获取多张第一源图像和多张第二源图像,包括:

依据所述第一源图像的数量和所述第二源图像的数量之间的设定比例,从源图像集合中获取所述多张第一源图像和所述多张第二源图像。

在本公开实施例一种可能的实现方式中,所述将所述排序数据集中具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对,包括:

将所述排序数据集划分为多个训练批次,其中,一个训练批次中包含有各缺陷等级的第一训练图像;

将同一训练批次中,具有不同缺陷等级的两张第一训练图像组合,以得到所述训练图像对。

在本公开实施例一种可能的实现方式中,所述采用所述训练图像对,对所述孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示所述缺陷等级,包括:

对于同一训练批次中的各所述训练图像对,将各所述训练图像对中的两张第一训练图像分别输入孪生神经网络模型的两个神经网络分支,以得到所述两个神经网络分支的输出;

根据所述两个神经网络分支的输出之间的第一差值,与所述两张第一训练图像的缺陷等级之间的第二差值之间的差异,确定第一损失函数值;

根据所述同一训练批次中,各所述训练图像对的所述第一损失函数值,对所述两个神经网络分支调整模型参数。

在本公开实施例一种可能的实现方式中,所述采用所述调整数据集,对所述经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示所述缺陷程度值,包括:

将所述调整数据集中的第二训练图像划分为多组;

将同一组中的各第二训练图像分别输入所述目标神经网络分支,以得到所述目标神经网络分支的输出;

根据所述目标神经网络分支的输出,与所述缺陷程度值之间的差异,确定第二损失函数值;

根据所述同一组中各所述第二训练图像的第二损失函数值,对所述目标神经网络分支调整模型参数。

根据本公开实施例的第二方面,提供一种图像识别方法,包括:

获取至少一种目标缺陷对应的目标神经网络分支;其中,所述目标神经网络分支是采用如前所述的模型训练方法训练得到的;

获取待识别质量的图像;

将所述待识别质量的图像输入所述至少一种目标缺陷对应的目标神经网络分支,以得到所述至少一种目标缺陷对应的目标神经网络分支的输出;

根据所述至少一种目标缺陷对应的目标神经网络分支的输出,确定所述待识别质量的图像的质量。

根据本公开实施例的第三方面,提供一种用于图像识别的模型训练装置,包括:

获取模块,被配置为执行获取排序数据集和调整数据集;其中,所述排序数据集中各第一训练图像标注有目标缺陷的缺陷等级,所述调整数据集中各第二训练图像标注有所述目标缺陷的缺陷程度值;

组合模块,被配置为执行将所述排序数据集中具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对;

第一训练模块,被配置为执行采用所述训练图像对,对所述孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示所述缺陷等级;

第二训练模块,被配置为执行采用所述调整数据集,对所述经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示所述缺陷程度值。

在本公开实施例一种可能的实现方式中,所述目标缺陷包括块效应;所述获取模块,包括:

第一获取单元,被配置为获取多张第一源图像和多张第二源图像;

第二获取单元,被配置为采用设置的多种量化参数,对每一张所述第一源图像分别进行压缩,以得到各第一训练图像;

第三获取单元,被配置为采用设置的多种压缩码率,对每一张所述第二源图像分别进行压缩,以得到各第二训练图像。

在本公开实施例一种可能的实现方式中,该装置还包括:

第一确定单元,被配置为根据每一张所述第一训练图像采用的所述量化参数,确定每一张所述第一训练图像的缺陷等级。

在本公开实施例一种可能的实现方式中,该装置还包括:

第四获取单元,被配置为将每一张所述第二训练图像输入美学评估模型或质量评估模型,以得到输出的评估值;

第五获取单元,被配置为对每一张所述第二训练图像的所述评估值,以及所述压缩码率进行加权,以得到每一张所述第二训练图像的缺陷程度。

在本公开实施例一种可能的实现方式中,所述第一获取单元被配置为依据所述第一源图像的数量和所述第二源图像的数量之间的设定比例,从源图像集合中获取所述多张第一源图像和所述多张第二源图像。

在本公开实施例一种可能的实现方式中,所述组合模块,包括:

第一划分单元,被配置为将所述排序数据集划分为多个训练批次,其中,一个训练批次中包含有各缺陷等级的第一训练图像;

组合单元,被配置为将同一训练批次中,具有不同缺陷等级的两张第一训练图像组合,以得到所述训练图像对。

在本公开实施例一种可能的实现方式中,所述第一训练模块,包括:

第六获取单元,被配置为对于同一训练批次中的各所述训练图像对,将各所述训练图像对中的两张第一训练图像分别输入孪生神经网络模型的两个神经网络分支,以得到所述两个神经网络分支的输出;

第二确定单元,被配置为根据所述两个神经网络分支的输出之间的第一差值,与所述两张第一训练图像的缺陷等级之间的第二差值之间的差异,确定第一损失函数值;

第一调整单元,被配置为根据所述同一训练批次中,各所述训练图像对的所述第一损失函数值,对所述两个神经网络分支调整模型参数。

在本公开实施例一种可能的实现方式中,所述第二训练模块,包括:

第二划分单元,被配置为将所述调整数据集中的第二训练图像划分为多组;

第七获取单元,被配置为将同一组中的各第二训练图像分别输入所述目标神经网络分支,以得到所述目标神经网络分支的输出;

第三确定模块,被配置为根据所述目标神经网络分支的输出,与所述缺陷程度值之间的差异,确定第二损失函数值;

第二调整单元,被配置为根据所述同一组中各所述第二训练图像的第二损失函数值,对所述目标神经网络分支调整模型参数。

根据本公开实施例的第四方面,提供一种图像识别装置,包括:

第一获取模块,被配置为获取至少一种目标缺陷对应的目标神经网络分支;其中,所述目标神经网络分支是采用如前所述的模型训练装置训练得到的;

第二获取模块,被配置为获取待识别质量的图像;

输出模块,被配置为将所述待识别质量的图像输入所述至少一种目标缺陷对应的目标神经网络分支,以得到所述至少一种目标缺陷对应的目标神经网络分支的输出;

确定模块,被配置为根据所述至少一种目标缺陷对应的目标神经网络分支的输出,确定所述待识别质量的图像的质量。

根据本公开实施例的第五方面,提供了一种服务器,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现如前所述的用于图像识别的模型训练方法,或者,实现如前所述的图像识别方法。

根据本公开实施例的第六方面,提供了一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如前所述的用于图像识别的模型训练方法,或者,实现如前所述的图像识别方法。

本公开的实施例提供的技术方案至少带来以下有益效果:获取目标缺陷对应的排序数据集和调整数据集,然后将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合,以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,接着采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值,最后获取至少一种目标缺陷对应的目标神经网络分析,并获取待识别质量的图像,将该待识别质量的图像输入至少一种目标缺陷对应的目标神经网络分支,以得到至少一种目标缺陷对应的目标神经网络分支的输出,并根据至少一种目标缺陷对应的目标神经网络分支的输出,确定待识别质量的图像的质量。由此,通过这种方法,使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种用于图像识别的模型训练方法的流程图。

图2是根据一示例性实施例示出的另一种用于图像识别的模型训练方法的流程图。

图3是根据一示例性实施例示出的又一种用于图像识别的模型训练方法的流程图。

图4是根据一示例性实施例示出的又一种用于图像识别的模型训练方法的流程图。

图5是根据一示例性实施例示出的一种图像识别方法的流程图。

图6是根据一示例性实施例示出的一种用于图像识别的模型训练装置框图。

图7是根据一示例性实施例示出的一种图像识别装置框图。

图8是根据一示例性实施例示出的一种服务器框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种用于图像识别的模型训练方法的流程图,如图1所示,该用于图像识别的模型训练方法用于服务器中,包括以下步骤。

在步骤101中,获取排序数据集和调整数据集,其中,所述排序数据集中各第一训练图像标注有目标缺陷的缺陷等级,所述调整数据集中各第二训练图像标注有目标缺陷的缺陷程度值。

需要说明的是,本公开的用于图像识别的模型训练方法的执行主体为服务器。本公开实施例的用于图像识别的模型训练方法可以由本公开实施例的用于图像识别的模型训练装置执行,本公开实施例的用于图像识别的模型训练装置可以配置在任意服务器中,以执行本公开实施例的用于图像识别的模型训练方法。

还需要说明的是,影响图像质量的因素包括块效应程度、模糊程度和噪声大小等。其中,为了表述方便,将需要检测的影响图像质量的因素称为目标缺陷。也就是说,目标缺陷具体可以为块效应程度、模糊程度和噪声大小等其中的至少一个。

其中,目标缺陷包括块效应时,可以通过对源图像采用多种量化参数进行压缩,从而得到不同块效应等级的第一训练图像,基于第一训练图像构建排序数据集。此外,当源图像来源于原始视频时,先采用多种压缩码率压缩原始视频,再从压缩后的视频中解码获得图像帧,作为源图像,从而得到不同块效应程度的第二训练图像,基于第二训练图像构建调整数据集。其中,量化参数会导致压缩码率的变化,但这种变化会使得压缩码率的取值较为离散,而在获得第二训练图像时,可以使得压缩码率尽可能地密集。

目标缺陷包括模糊时,可以通过对源图像采用运动模糊、径向模糊和高斯模糊等参数,或方法以进行模糊化处理,构建排序数据集和调整数据集。对于排序数据集的构建,可以对运动模糊与高斯模糊参数确定离散程度较大的取值范围,从而模糊化后,得到不同模糊等级的图像作为排序数据集。对于调整数据集的构建,可以对运动模糊与高斯模糊参数确定离散程度较小的取值范围,从而模糊化后,得到不同模糊程度的图像作为调整数据集。

目标缺陷包括噪声时,可以通过对源图像根据功率谱密度进行加噪声处理,构建排序数据集和调整数据集。对于排序数据集的构建,可以对功率谱密度确定离散程度较大的取值范围,从而加噪声后,得到不同噪声等级的图像作为排序数据集。对于调整数据集的构建,可以对功率谱密度确定离散程度较小的取值范围,从而加噪声后,得到不同噪声程度的图像作为调整数据集。

在步骤102中,将排序数据集中具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对。

在排序数据集中,包含有多张第一训练图像,可以根据各第一训练图像标注的缺陷等级,将具有不同缺陷等级的第一训练图像两两组合,得到多个训练图像对。其中,一张第一训练图像可以和其他不同缺陷等级的多张第一训练图像分别组合,从而构成多个训练图像对。

在步骤103中,采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示缺陷等级。

作为一种可能的实现方式,孪生神经网络模型可以由卷积神经网络组成,两个网络模型分支共享参数,单个分支网络模型可以由resnet、VGG、mobileNet等常用的卷积神经网络组成。每个分支在输入不同缺陷等级的缺陷图像后都将回归出该图像缺陷等级的评估值,两张不同程度缺陷等级的图像同时输入孪生神经网络模型的两个分支,将同时获得两个不同的评估值,然后在此基础上设置排序损失函数,例如排序损失函数(Hinge Loss),并反向传递损失函数梯度,以根据该损失函数梯度更新孪生神经网络模型的参数,使得孪生神经网络模型通过学习整个排序数据集获得不同程度缺陷等级的图像特征。

在步骤104中,采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示缺陷程度值。

利用构建的调整数据集对孪生神经网络模型中的一条神经网络分支,这里称其为目标神经网络分支继续进行训练,获得最终的目标缺陷模型,调整过程采用的损失函数可以是常用的回归损失函数,例如欧式距离损失函数或者绝对损失函数等。

需要说明的是,受限于存储空间等因素,可以将排序数据集中的第一训练图像和调整数据集中的第二训练图像进行裁剪,第一训练图像和第二训练图像的裁剪尺寸可以是相同的。

如上所述,构建的目标神经网络分支,根据构建排序数据集和调整数据集时所针对的目标缺陷,可以适用于该目标缺陷的识别。例如,目标缺陷可以为块效应,当然还可通过同样的过程构建目标缺陷为噪声所对应的目标神经网络分支,以及建立目标缺陷为模糊所对应的目标神经网络分支。

本实施例提供的用于图像识别的模型训练方法,获取目标缺陷对应的排序数据集和调整数据集,然后将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,最后采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值。由此,通过这种方法,使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。

图2是根据一示例性实施例示出的另一种用于图像识别的模型训练方法的流程图,如图2所示,当目标缺陷包括块效应时,该模型训练方法用于服务器中,基于前述实施例,步骤101包括以下步骤:

在步骤1011中,获取多张第一源图像和多张第二源图像。

其中,本公开的不包含块效应的源图像数据集,可以从压缩编码前的原始视频或者图像中获取;此外,还可以利用开源的图像质量评估数据集,例如Waterloo数据集、TID2013数据集和LIVE数据集等,挑选其中的参考图像加入本公开的源数据集中,或者爬取高清图像网站,例如Flickr网站、Vimeo网站和Pexels网站等,将高清图像网站中的参考图像加入本公开的源数据集中。然后,将源数据集随机划分为源排序数据集与源调整数据集,以采用源排序数据集构建排序数据集,以及采用源调整数据集构建调整数据集,其中,源排序数据集与源调整数据集可以按照一定划分比例,例如可以设置为7:3,即源排序数据集与源调整数据集中包含图像之比为7:3。

在步骤1012中,采用设置的多种量化参数,对每一张第一源图像分别进行压缩,以得到各第一训练图像。

可利用FFmpeg软件压缩源排序图像集,获取不同块效应程度,FFmpeg(快速转换MPEG,Fast Forward Mpeg)软件采用的压缩参数中的量化参数(qp值)可以根据块效应程度设置一系列值,例如:0、18、25、30、35、40、45、51等,一般不超过51,这是由于一般视频压缩上限qp值为51。由于不同qp值进行压缩,能够使得压缩得到的第一训练图像具有不同的块效应等级,采用不同qp值压缩得到的第一训练图像构建排序图像集。

在步骤1013中,采用设置的多种压缩码率,对每一张第二源图像分别进行压缩,以得到各第二训练图像。

利用设置压缩码率的方式压缩源调整数据集中的第二源图像,设置压缩码率进行压缩的方式可以对块效应进行更加细致的程度划分,从而采用不同压缩码率进行压缩得到第二训练图像之后,基于该第二训练图像构建的调整数据集,能够涉及更加细分的块效应程度,较设置qp值的压缩方式更适合构建调整数据集。其中,该调整数据集所涉及的缺陷程度可预先设置缺陷程度与压缩码率之间的对应关系。

作为一种可能的实现方式,采用设置的多种压缩码率,对多张第二源图像所构成的视频进行压缩,以从压缩后的视频中得到各第二训练图像。

作为另一种可能的实现方式,对每一张第二源图像可以当作一个视频,先采用设置的多种压缩码率进行压缩,然后再从每一个压缩后的视频中提取得到第二训练图像。

需要说明的是,实验表明,排序数据集的缺陷等级与调整数据集的程度并不相同,调整数据集的块效应程度相较于排序数据集的等级更多、覆盖程度更大的训练模型能够更好地识别视频图像的块效应。

在本公开实施例一种可能的实现形式中,上述步骤1012之后,还可以包括步骤1014。

在步骤1014中,根据每一张第一训练图像采用的量化参数,确定每一张第一训练图像的缺陷等级。

例如,可预先设置多种不同的量化参数,一个量化参数对应一个缺陷等级。这样在对第一训练图像采用设置的量化参数进行压缩时,便可直接标注该图像的缺陷等级。

进一步的,由于标注主观的块效应调整数据集需要大量的人工成本,因此还可以在设置码率构建的调整数据集上,对调整数据集进行处理,以减少构建调整数据集带来的人工成本。即在本公开实施例一种可能的实现形式中,上述步骤1013之后,还可以包括步骤S1015和步骤S1016。

在步骤1015中,将每一张第二训练图像输入美学评估模型或质量评估模型,以得到输出的评估值。

在步骤1016中,对每一张第二训练图像的评估值,以及压缩码率进行加权,以得到每一张第二训练图像的缺陷程度。

也就是说,本公开为了减少构建调整数据集带来的人工成本,在设置压缩码率构建的调整数据集上,利用已有的图像美学或者质量评估模型例如NIMA模型(Neural ImageAssessment)结合压缩码率等级加权构建具有块效应的调整训练数据集,例如,加权值可以是压缩码率等级与NIMA分数7:3。

可以理解的是,排序数据集与调整数据集除了缺陷等级不同之外,排序数据集中对应图像的分数只有等级的量化分数,而调整数据集是生成的绝对分数(压缩码率等级与美学分数的加权值)。

本实施例提供的用于图像识别的模型训练方法,获取目标缺陷对应的排序数据集和调整数据集,然后将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合,以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,接着采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值。由此,通过这种方法,使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。另外,本实施例中还通过利用设置压缩码率的方式压缩源调整数据集中的第二源图像,能够涉及更加细分的块效应程度。此外,由于标注主观的块效应调整数据集需要大量的人工成本,因此本实施例在设置码率构建的调整数据集上,对调整数据集进行处理,并通过采用美学评估模型或质量评估模型对每一张第二训练图像进行处理,能够减少构建调整数据集带来的人工成本。

为了使得训练更加高效,还可以在前述实施例的基础上对第一阶段训练采用批训练的方式,图3是根据一示例性实施例示出的又一种用于图像识别的模型训练方法的流程图,如图3所示,包括以下步骤:

在步骤301中,获取排序数据集和调整数据集。

块效应是由于视频图像在压缩编码过程中信息丢失造成的,常出现在带宽受限的应用场景,比如说手机移动端的视频图像展示,所以本公开的不包含块效应的源图像数据集,可以从压缩编码前的原始视频或者图像中获取;当然还可以利用开源的图像质量评估数据集,例如Waterloo数据集、TID2013数据集和LIVE数据集等,挑选其中的参考图像加入本公开的源数据集中,或者爬取高清图像网站,例如Flickr网站、Vimeo网站和Pexels网站等,将高清图像网站中的参考图像加入本公开的源数据集中。然后,将源数据集随机划分为源排序数据集与源调整数据集,以采用源排序数据集构建排序数据集,以及采用源调整数据集构建调整数据集,其中,源排序数据集与源调整数据集可以按照一定划分比例,例如可以设置为7:3,即源排序数据集与源调整数据集中包含图像之比为7:3。

作为一种构建排序数据集可能的实现方式,可利用FFmpeg(快速转换MPEG,FastForward Mpeg)软件压缩源排序图像集,获取不同块效应程度,FFmpeg软件采用的压缩参数中的量化参数(qp值)可以根据块效应程度设置一系列值,例如:0、18、25、30、35、40、45和51等,一般不超过51,这是由于一般视频压缩上限qp值为51。由于不同qp值进行压缩,能够使得压缩得到的第一训练图像具有不同的块效应等级,采用不同qp值压缩得到的第一训练图像构建排序图像集。

作为另一种构建排序数据集可能的实现方式,可以通过设置压缩码率压缩源排序数据集,由于不同压缩码率能够使得块效应具有更加细致的程度划分,为了使得排序数据集中第一训练图像的块效应程度能够呈现出不同等级,可以选取若干离散的压缩码率,采用不同压缩码率压缩得到的第一图像构建排序数据集。其中,该排序数据集所涉及的缺陷等级可预先设置缺陷等级与qp参数之间的对应关系,或者缺陷等级与压缩码率之间的对应关系。

作为一种构建调整数据集可能的实现方式,可利用设置压缩码率的方式压缩源调整数据集中的第二源图像,设置压缩码率进行压缩的方式可以对块效应进行更加细致的程度划分,从而采用不同压缩码率进行压缩得到的第二训练图像之后,基于该第二训练图像构建的调整数据集,能够涉及更加细分的块效应程度,较设置qp值的压缩方式更适合构建调整数据集。其中,该调整数据集所涉及的缺陷程度可预先设置缺陷程度与压缩码率之间的对应关系。

需要说明的是,本领域技术人员还可以想到,采用人工标注的方式,对压缩得到的图像划分为第一训练图像和第二训练图像,并分别进行人工标注,即人工对第一训练图像标注缺陷等级,对第二训练图像标注缺陷程度,从而基于标注后的第一训练图像构建排序数据集,基于标注后的第二训练图像构建调整数据集。

需要说明的是,存储空间和运算资源充足的情况下,可以不必对排序数据集和调整数据集中的图像进行裁剪。在存储空间或者运算资源不足时,可以采用裁剪图像的方法,至于裁剪的程度可以根据孪生神经网络模型的规模、排序数据集中第一训练图像和调整数据集中第二训练图像的图像尺寸以及执行训练的服务器可提供的运算资源综合决定,裁剪保留的图像尺寸越大越接近原始图像输入,孪生神经网络模型训练效果越优。

在步骤302中,将排序数据集划分为多个训练批次。

其中,一个训练批次中包含有各缺陷等级的第一训练图像。

举例说明,在训练孪生神经网络模型是可以设置一个训练批次(batch)的大小,即一个训练批次中包含的第一训练图像的张数,通常一个训练批次中包含的第一训练图像的张数应当大于或等于块效应等级的个数,例如可以是块效应等级的倍数。从而使得一个训练批次覆盖尽量全面的块效应等级,提高训练效率。

在步骤303中,将同一训练批次中,具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对。

将一个训练批次中的多张第一训练图像进行两两组合,需要注意的是,在组合时需要确保组合的两张第一训练图像具有不同缺陷等级,以便后续的第一训练过程中,孪生神经网络模型能够学习到缺陷等级之间的差异。需要说明的是,同一张第一训练图像可以分别与不同缺陷等级的其他第一训练图像进行组合,得到多个训练图像对。

在步骤304中,对于同一训练批次中的各训练图像对,将各训练图像对中的两张第一训练图像分别输入孪生神经网络模型的两个神经网络分支,以得到两个神经网络分支的输出。

本步骤中,可以将同一训练批次中的各训练图像对,输入孪生神经网络模型。对于每一个训练图像对,将该训练图像对中的两张第一训练图像分别经过孪生神经网络模型不同分支获得回归分数,以便后续根据对应的缺陷等级,以及回归分数指示的缺陷等级,计算损失函数取值。

在步骤305中,根据两个神经网络分支的输出之间的第一差值,与两张第一训练图像的缺陷等级之间的第二差值之间的差异,确定第一损失函数值。

其中,第一损失函数,用于指示两个神经网络分支的输出之间的第一差值,与输入的两张第一训练图像的缺陷等级之间的第二差值之间的差异。举例而言,第一损失函数具体可以为排序损失函数(例如Hinge Loss)。

在确定出同一个训练批次中,每一个训练图像对的损失函数取值之后,根据该同一个训练批次中各训练图像对的损失函数取值,对孪生神经网络模型进行一次参数调整。这样即完成一轮批训练过程。

在步骤306中,根据同一训练批次中,各训练图像对的第一损失函数值,对两个神经网络分支调整模型参数,以完成第一阶段训练。

如此反复执行多轮批训练过程,在损失函数取值收敛到较小值时,孪生神经网络模型即完成第一阶段训练。通过这种批训练过程可以一定程度上加速网络训练,提升学习的效果。

在步骤307中,采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示所述缺陷程度值。

本实施例提供的用于图像识别的模型训练方法,获取目标缺陷对应的排序数据集和调整数据集,然后将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合,以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,接着采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值。由此,通过这种方法,使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。另外,本实施例中还通过对第一阶段训练采用批训练的方式进行处理,可以一定程度上加速网络训练,提高训练效率,提升学习效果。

为了使得训练更加高效,还可以在前述实施例的基础上对第二阶段训练采用批训练的方式,图4是根据一示例性实施例示出的又一种用于图像识别的模型训练方法的流程图,如图4所示,包括以下步骤:

在步骤401中,获取排序数据集和调整数据集。

具体过程参见步骤301,本实施例中对此不再赘述。

需要说明的是,存储空间和运算资源充足的情况下,可以不必对排序数据集和调整数据集中的图像进行裁剪。在存储空间或者运算资源不足时,可以采用裁剪图像的方法,至于裁剪的程度可以根据孪生神经网络模型的规模、排序数据集中第一训练图像和调整数据集中第二训练图像的图像尺寸以及执行训练的服务器可提供的运算资源综合决定,裁剪保留的图像尺寸越大越接近原始图像输入,孪生神经网络模型训练效果越优。

在步骤402中,将排序数据集中具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对。

具体过程参见步骤102,本实施例中对此不再赘述。

在步骤403中,采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示缺陷等级。

具体过程参见步骤103,本实施例中对此不再赘述。

在步骤404中,将调整数据集中的第二训练图像划分为多组。

需要说明的是,调整数据集中的第二训练图像的裁剪保留尺寸与第一训练阶段中涉及的第一训练图像的裁剪保留尺寸相同。

另外需要说明的是,同一个组中的第二训练图像不要求为不同块效应程度的图像。

在步骤405中,将同一组中的各第二训练图像分别输入目标神经网络分支,以得到目标神经网络分支的输出。

在该步骤中,可以将同一组中的各第二训练图像,输入目标神经网络分支。对于每一个第二训练图像,将该训练图像经过目标神经网络分支获得回归分数,以便后续根据对应的缺陷程度值,计算损失函数取值。

在步骤406中,根据目标神经网络分支的输出,与缺陷程度值之间的差异,确定第二损失函数值。

其中,第二损失函数可以是常用的回归损失函数例如欧式距离损失函数,绝对损失函数等。

在确定出同一组中,每一个训练图像的损失函数取值之后,根据该同一组中各训练图像的损失函数取值,对孪生神经网络模型进行一次参数调整。这样即完成一组训练过程。

在步骤407中,根据同一组中,各第二训练图像的第二损失函数值,对目标神经网络分支调整模型参数,以完成第二阶段训练。

如此反复执行多组训练过程,在损失函数取值收敛到较小值时,孪生神经网络模型即完成第二阶段训练。

本公开的实施例提供的用于图像识别的模型训练方法,获取目标缺陷对应的排序数据集和调整数据集,然后将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合,以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,接着采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值。由此,通过这种方法,使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。另外,本实施例中还通过对第二阶段训练采用批训练的方式来使训练更加高效。

图5是根据一示例性实施例示出的一种图像识别方法的流程图,如图5所示,该图像识别方法用于服务器中,包括以下步骤。

在步骤501中,获取至少一种目标缺陷对应的目标神经网络分支,其中,目标神经网络分支是采用如前所述的模型训练方法训练得到的。

需要说明的是,本公开的图像识别方法的执行主体为服务器。本公开实施例的图像识别方法可以由本公开实施例的图像识别装置执行,本公开实施例的图像识别装置可以配置在任意服务器中,以执行本公开实施例的图像识别方法。

还需要说明的是,影响图像质量的因素包括块效应程度、模糊程度和噪声大小等。其中,为了表述方便,将需要检测的影响图像质量的因素称为目标缺陷。也就是说,目标缺陷具体可以为块效应程度、模糊程度和噪声大小等其中的至少一个。

在该实施例中,获取块效应对应的目标神经网络分支、模糊对应的目标神经网络分支和噪声对应的目标神经网络分支中的至少一种。

在步骤502中,获取待识别质量的图像。

在步骤503中,将待识别质量的图像输入至少一种目标缺陷对应的目标神经网络分支,以得到至少一种目标缺陷对应的目标神经网络分支的输出。

在该步骤中,将待识别质量的图像输入块效对应的目标神经网络分支,便可得到块效应对应的目标神经网络分支输出的指示块效应程度值;将待识别质量的图像输入模糊对应的目标神经网络分支,便可得到模糊对应的目标神经网络分支输出的指示模糊程度值;将待识别质量的图像输入噪声对应的目标神经网络分支,便可得到噪声对应的目标神经网络分支输出的指示噪声程度值。

举例说明,针对视频图像时,通过输入视频图像帧序列便可以获得视频的块效应程度值,此时可取视频图像帧系列的块效应程度值得到最值(如最大值)或者均值作为该视频图像的块效应程度值。

在步骤504中,根据至少一种目标缺陷对应的目标神经网络分支的输出,确定待识别质量的图像的质量。

在该步骤中,在获取到待识别质量的图像的块效应程度值、模糊程度值和噪声程度值中的至少一种之后,综合这些因素的值,例如可以取不同因素的加权均值,获得待识别质量的图像的质量评估结果,根据评估结果即可确定待识别质量的图像的质量。

本公开的实施例提供的图像识别方法,获取目标缺陷对应的排序数据集和调整数据集,然后将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合,以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,接着采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值,最后获取至少一种目标缺陷对应的目标神经网络分析,并获取待识别质量的图像,将该待识别质量的图像输入至少一种目标缺陷对应的目标神经网络分支,以得到至少一种目标缺陷对应的目标神经网络分支的输出,并根据至少一种目标缺陷对应的目标神经网络分支的输出,确定待识别质量的图像的质量。由此,通过这种方法,使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。

图6是根据一示例性实施例示出的一种用于图像识别的模型训练装置框图。参照图6,该模型训练装置60包括:获取模块61、组合模块62、第一训练模块63和第二训练模块64。

获取模块61,被配置为执行获取排序数据集和调整数据集;其中,排序数据集中各第一训练图像标注有目标缺陷的缺陷等级,调整数据集中各第二训练图像标注有目标缺陷的缺陷程度值;

组合模块62,被配置为执行将排序数据集中具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对;

第一训练模块63,被配置为执行采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示缺陷等级;

第二训练模块64,被配置为执行采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示缺陷程度值。

在本公开实施例一种可能的实现方式中,目标缺陷包括块效应;获取模块61,包括:

第一获取单元,被配置为获取多张第一源图像和多张第二源图像;

第二获取单元,被配置为采用设置的多种量化参数,对每一张第一源图像分别进行压缩,以得到各第一训练图像;

第三获取单元,被配置为采用设置的多种压缩码率,对每一张第二源图像分别进行压缩,以得到各第二训练图像。

在本公开实施例一种可能的实现方式中,该装置,还包括:

第一确定单元,被配置为根据每一张第一训练图像采用的量化参数,确定每一张第一训练图像的缺陷等级。

在本公开实施例一种可能的实现方式中,该装置,还包括:

第四获取单元,被配置为将每一张第二训练图像输入美学评估模型或质量评估模型,以得到输出的评估值;

第五获取单元,被配置为对每一张第二训练图像的评估值,以及压缩码率进行加权,以得到每一张第二训练图像的缺陷程度。

在本公开实施例一种可能的实现方式中,第一获取单元,被配置为依据第一源图像的数量和第二源图像的数量之间的设定比例,从源图像集合中获取多张第一源图像和多张第二源图像。

在本公开实施例一种可能的实现方式中,组合模块62,包括:

第一划分单元,被配置为将排序数据集划分为多个训练批次,其中,一个训练批次中包含有各缺陷等级的第一训练图像;

组合单元,被配置为将同一训练批次中,具有不同缺陷等级的两张第一训练图像组合,以得到训练图像对。

在本公开实施例一种可能的实现方式中,第一训练模块63,包括:

第六获取单元,被配置为对于同一训练批次中的各训练图像对,将各训练图像对中的两张第一训练图像分别输入孪生神经网络模型的两个神经网络分支,以得到两个神经网络分支的输出;

第二确定单元,被配置为根据两个神经网络分支的输出之间的第一差值,与两张第一训练图像的缺陷等级之间的第二差值之间的差异,确定第一损失函数值;

第一调整单元,被配置为根据同一训练批次中,各训练图像对的第一损失函数值,对两个神经网络分支调整模型参数。

在本公开实施例一种可能的实现方式中,第二训练模块64,包括:

第二划分单元,被配置为将调整数据集中的第二训练图像划分为多组;

第七获取单元,被配置为将同一组中的各第二训练图像分别输入目标神经网络分支,以得到目标神经网络分支的输出;

第三确定模块,被配置为根据目标神经网络分支的输出,与缺陷程度值之间的差异,确定第二损失函数值;

第二调整单元,被配置为根据同一组中各第二训练图像的第二损失函数值,对目标神经网络分支调整模型参数。

在实际使用时,本公开实施例提供的用于图像识别的模型训练装置,可以被配置在服务器中,以执行前述用于图像识别的模型训练方法。因此,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开的实施例提供的用于图像识别的模型训练装置,通过获取模块获取目标缺陷对应的排序数据集和调整数据集,并通过组合模块将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合以得到训练图像对,然后通过第一训练模块采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,最后通过第二训练模块采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值。由此,该装置使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。此外,本公开还通过利用设置压缩码率的方式压缩源调整数据集中的第二源图像,能够涉及更加细分的块效应程度;通过采用美学评估模型或质量评估模型对每一张第二训练图像进行处理,能够减少构建调整数据集带来的人工成本;通过对第一阶段训练采用批训练的方式进行处理,可以一定程度上加速网络训练,提高训练效率,提升学习效果;还通过对第二阶段训练采用批训练的方式来使训练更加高效。

图7是根据一示例性实施例示出的一种图像识别装置框图。参照图7,该图像识别装置70包括:第一获取模块71、第二获取模块72、输出模块73和确定模块74。

其中,第一获取模块71,被配置为获取至少一种目标缺陷对应的目标神经网络分支;其中,目标神经网络分支是采用上述的模型训练装置训练得到的。

第二获取模块72,被配置为获取待识别质量的图像。

输出模块73,被配置为将待识别质量的图像输入至少一种目标缺陷对应的目标神经网络分支,以得到至少一种目标缺陷对应的目标神经网络分支的输出。

确定模块74,被配置为根据至少一种目标缺陷对应的目标神经网络分支的输出,确定待识别质量的图像的质量。

在实际使用时,本公开实施例提供的图像识别装置,可以被配置在服务器中,以执行前述图像识别方法。因此,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开的实施例提供的图像识别装置,通过第一获取模块获取目标缺陷对应的排序数据集和调整数据集,并将排序数据集中具有该目标缺陷的不同缺陷等级的两张第一训练图像组合,以得到训练图像对,并采用训练图像对,对孪生神经网络模型执行第一阶段训练,以使经过第一阶段训练的孪生神经网络模型的输出指示该目标缺陷的缺陷等级,并采用调整数据集,对经过第一阶段训练的孪生神经网络模型中的一个目标神经网络分支执行第二阶段训练,以使经过第二阶段训练的目标神经网络分支的输出指示该目标缺陷的缺陷程度值,获取至少一种目标缺陷对应的目标神经网络分析,然后,通过第二获取模块获取待识别质量的图像,通过输出模块将该待识别质量的图像输入至少一种目标缺陷对应的目标神经网络分支,以得到至少一种目标缺陷对应的目标神经网络分支的输出,并通过确定模块根据至少一种目标缺陷对应的目标神经网络分支的输出,确定待识别质量的图像的质量。由此,该装置使得目标神经网络分支能够检测图像特定的目标缺陷,解决了现有技术中仅能够对图像进行整体质量检测,而无法对特定缺陷进行检测的技术问题,提高了缺陷检测的准确性。

为了实现上述实施例,本公开还提出一种服务器。

其中,该服务器包括处理器和用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行指令,以实现如前所述的用于图像识别的模型训练方法,或者,实现如前所述的图像识别方法。

为了实现上述实施例,本公开还提出一种存储介质。

其中,该存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如前所述的用于图像识别的模型训练方法,或者,实现如前所述的图像识别方法。

为了实现上述实施例,本公开还提供一种计算机程序产品。

其中,该计算机程序由服务器的处理器执行时,使得服务器能够执行如前所述的用于图像识别的模型训练方法,或者,实现如前所述的图像识别方法。

图8是根据一示例性实施例示出的一种服务器框图。图8示出的服务器仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示,服务器10包括处理器11,其可以根据存储在只读存储器(ROM,ReadOnly Memory)12中的程序或者从存储器16加载到随机访问存储器(RAM,Random AccessMemory)13中的程序而执行各种适当的动作和处理。在RAM 13中,还存储有服务器10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O,Input/Output)接口15也连接至总线14。

以下部件连接至I/O接口15:包括硬盘等的存储器16;以及包括诸如LAN(局域网,Local Area Network)卡、调制解调器等的网络接口卡的通信部分17,通信部分17经由诸如因特网的网络执行通信处理;驱动器18也根据需要连接至I/O接口15。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分17从网络上被下载和安装。在该计算机程序被处理器11执行时,执行本公开的方法中限定的上述功能。

在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器804,上述指令可由服务器10的处理器11执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号