一种降低目标检测中样本不均衡影响的方法和系统

摘要

本发明公开了一种降低目标检测中样本不均衡影响的方法和系统，属于图像处理技术领域，样本Y0包括M个不关注的样本Y1和N个关注的样本Y2；M大于N；包括如下步骤：一：对样本Y2进行变换；获得样本Y21；二：将样本Y1和样本Y21进行叠加得到样本Y3；三：将样本Y3和样本Y0输入学习机进行训练；四：检验训练结果是否符合要求，若不符合要求，则对所述变换方式和或叠加方式和或样本Y0的类别和数量进行调整。本发明通过各种变换方式将现有样例叠加到不含此样例的其他图像上的方式，使样本少的类别获得较多有意生成的样本，从而丰富样本数量。进而观察检测效果，调整变换方式或内容，达到减少样本不均衡影响的目的。

说明书

技术领域

本发明属于图像处理技术领域，尤其涉及一种降低目标检测中样本不均衡影响的方法和系统。

背景技术

众所周知，图像处理(image processing)指的是：用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。

近年来，随着图像处理技术和智能化技术的快速发展，人们经常需要对大量的图片进行分析处理，进而获取到所需的信息，如图1所示：在图像处理中，上述大量的图片通常被定义为原始样本；在这些原始样本中，包含有大量不关注的样本Y

发明内容

针对现有技术存在的问题，本发明针提出了一种降低目标检测中样本不均衡影响的方法和系统，通过各种变换方式将现有样例叠加到不含此样例的其他图像上的方式，使样本少的类别获得较多有意生成的样本，从而丰富其样本数量。进而观察检测效果，调整变换方式或内容，达到减少样本不均衡影响的目的。

本发明的目的之一在于提供一种降低目标检测中样本不均衡影响的方法，包括如下步骤：

样本Y

步骤一：对样本Y

步骤二：将样本Y

步骤三：将样本Y

步骤四：检验训练结果是否符合要求，若不符合要求，则对所述变换方式和或叠加方式和或样本Y

优选地，在叠加过程中，对样本Y

优选地，所述变换包括图像缩放、图像翻转、图像扭曲、图像模糊、图像配色、改变透明度、增加噪点、调整对比度、调整亮度中的一种或者多种。

优选地，所述叠加包括：遮掩、合成、色彩色域变换叠加、滤波后叠加、裁剪后叠加中的一种或者多种。

优选地，所述步骤三采用深度人工神经网络进行训练。

优选地，所述深度人工神经网络包括函数F(X)，该函数F(X)的输入为样本的图像部分X，输出为样本的标签部分Y，每一次训练将全部样本的图像输入完毕并得到预测的标签

所述Loss函数如下式所述：

其中：α

m为目标检测任务中欲识别的所有目标类枚举数；

c为单个样本所在的目标类；

γ

y

p

本发明的深度人工神经网络可看做是一个函数F(X)，该函数的输入为样本的图像部分X，输出为样本的标签部分Y，每一次训练完X(即，将全部样本的图像输入完毕并得到预测的标签

Loss函数如下式所述，

其中：α

m为目标检测任务中欲识别的所有目标类枚举数。

c为单个样本所在的目标类。

γ

y

p

本发明的目的之二在于提供一种降低目标检测中样本不均衡影响系统，至少包括：

样本Y

变换模块：对样本Y

叠加模块：将样本Y

学习模块：将样本Y

判断模块：检验训练结果是否符合要求，若不符合要求，则对所述变换方式和或叠加方式和或样本Y

本发明的目的之三在于提供一种实现降低目标检测中样本不均衡影响的方法的计算机程序。

本发明的目的之四在于提供一种实现降低目标检测中样本不均衡影响的方法的信息数据处理终端。

本发明的目的之五在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行降低目标检测中样本不均衡影响的方法。

综上所述，本发明的优点及积极效果为：

使用本发明的技术方案，使得样本少的目标，也同样在训练过程中受到了足够的关注，效果显然好于原有方案。同时，由于本方案在训练后还增加了一个复检和调整的步骤，使得样本少的目标，用以确保其在训练中获得的关注是有益于检测效果的，进一步降低了不利影响，并提高了训练效率。

本发明通过将少量受关注的样本进行多种形式变换，使得少量受关注的样本数量增加，提高其占比，进而改善样本不平衡问题。

本发明采用多种变换方式叠加输出的方式，提高目标检测的结果准确度。

附图说明

图1为传统技术方案的流程图；

图2为本发明优选实施例的流程图；

图3为本发明优选实施例的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图2，一种降低目标检测中样本不均衡影响的方法，在现有数据集(样本Y

步骤一、对少量受关注的样本进行多种形式的变换；

步骤二、将变换后的样本与大量不受关注的样本进行多种形式的叠加；

步骤三、将叠加后的样本和原样本(含不受关注的样本和原本受关注的样本)一起，作为目标检测训练方法和装置的输入进行机器学习或深度学习(深度人工神经网络)训练；

本发明的深度人工神经网络可看做是一个函数F(X)，该函数的输入为样本的图像部分X，输出为样本的标签部分Y，每一次训练完X(即，将全部样本的图像输入完毕并得到预测的标签

Loss函数如下式所述，

其中：α

m为目标检测任务中欲识别的所有目标类枚举数。

c为单个样本所在的目标类。

γ

y

p

步骤四、检验训练后结果是否符合要求，若不符合要求，则对样本合成方式进行必要的调整，包括：调整变换形式、调整叠加方式和调整叠加样本的类别和数量。

在上述优选实施例中：所述关于“少量受关注的样本的多种形式的变换”，包括但不限于出于使受关注样本增大不同图片数量目的而进行的缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用，其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

在上述优选实施例中：所述关于“多种形式的叠加”，包括但不限于出于使受关注样本增大不同图片数量目的而进行的随机遮掩、合成、色彩色域变换叠加、滤波后叠加和裁剪后叠加，其叠加类别、数量、位置的变换亦在涵义之中。其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

在叠加过程中，出于使受关注样本增大不同图片数量目的，对原不受关注的样本进行各种变换后再进行与受关注样本的叠加，亦在发明的方案之中，其变换包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

请参阅图3，优选实施例二、一种降低目标检测中样本不均衡的影响的系统，包括：

变换模块、对少量受关注的样本进行多种形式的变换；

叠加模块、将变换后的样本与大量不受关注的样本进行多种形式的叠加；

学习模块、将叠加后的样本和原样本(含不受关注的样本和原本受关注的样本)一起，作为目标检测训练方法和装置的输入进行机器学习或深度学习(深度人工神经网络)训练；

判断模块、检验训练后结果是否符合要求，若不符合要求，则对样本合成方式进行必要的调整，包括：调整变换形式、调整叠加方式和调整叠加样本的类别和数量。

在上述优选实施例中：所述关于“少量受关注的样本的多种形式的变换”，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。

在上述优选实施例中：所述关于“多种形式的叠加”，包括但不限于遮掩、合成、色彩色域变换叠加、滤波后叠加和裁剪后叠加，其叠加类别、数量、位置的变换亦在涵义之中。

在叠加过程中，出于使受关注样本增大不同图片数量目的，对原不受关注的样本进行各种变换，亦在发明的方案之中，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

优选实施例三、一种实现降低目标检测中样本不均衡影响的方法的计算机程序，所述降低目标检测中样本不均衡影响的方法包括如下步骤：

步骤一、对少量受关注的样本进行多种形式的变换；

步骤二、将变换后的样本与大量不受关注的样本进行多种形式的叠加；

步骤三、将叠加后的样本和原样本(含不受关注的样本和原本受关注的样本)一起，作为目标检测训练方法和装置的输入进行机器学习或深度学习(深度人工神经网络)训练；

步骤四、检验训练后结果是否符合要求，若不符合要求，则对样本合成方式进行必要的调整，包括：调整变换形式、调整叠加方式和调整叠加样本的类别和数量。

在上述优选实施例中：所述关于“少量受关注的样本的多种形式的变换”，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。

在上述优选实施例中：所述关于“多种形式的叠加”，包括但不限于遮掩、合成、色彩色域变换叠加、滤波后叠加和裁剪后叠加，其叠加类别、数量、位置的变换亦在涵义之中。

在叠加过程中，出于使受关注样本增大不同图片数量目的，对原不受关注的样本进行各种变换，亦在发明的方案之中，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

优选实施例四、一种实现降低目标检测中样本不均衡影响的方法的信息数据处理终端。所述降低目标检测中样本不均衡影响的方法包括如下步骤：

步骤一、对少量受关注的样本进行多种形式的变换；

步骤二、将变换后的样本与大量不受关注的样本进行多种形式的叠加；

步骤三、将叠加后的样本和原样本(含不受关注的样本和原本受关注的样本)一起，作为目标检测训练方法和装置的输入进行机器学习或深度学习(深度人工神经网络)训练；

步骤四、检验训练后结果是否符合要求，若不符合要求，则对样本合成方式进行必要的调整，包括：调整变换形式、调整叠加方式和调整叠加样本的类别和数量。

在上述优选实施例中：所述关于“少量受关注的样本的多种形式的变换”，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。

在上述优选实施例中：所述关于“多种形式的叠加”，包括但不限于遮掩、合成、色彩色域变换叠加、滤波后叠加和裁剪后叠加，其叠加类别、数量、位置的变换亦在涵义之中。

在叠加过程中，出于使受关注样本增大不同图片数量目的，对原不受关注的样本进行各种变换，亦在发明的方案之中，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

优选实施例五、一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行下述的降低目标检测中样本不均衡影响的方法：

步骤一、对少量受关注的样本进行多种形式的变换；

步骤二、将变换后的样本与大量不受关注的样本进行多种形式的叠加；

步骤三、将叠加后的样本和原样本(含不受关注的样本和原本受关注的样本)一起，作为目标检测训练方法和装置的输入进行机器学习或深度学习(深度人工神经网络)训练；

步骤四、检验训练后结果是否符合要求，若不符合要求，则对样本合成方式进行必要的调整，包括：调整变换形式、调整叠加方式和调整叠加样本的类别和数量。

在上述优选实施例中：所述关于“少量受关注的样本的多种形式的变换”，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。

在上述优选实施例中：所述关于“多种形式的叠加”，包括但不限于遮掩、合成、色彩色域变换叠加、滤波后叠加和裁剪后叠加，其叠加类别、数量、位置的变换亦在涵义之中。

在叠加过程中，出于使受关注样本增大不同图片数量目的，对原不受关注的样本进行各种变换，亦在发明的方案之中，包括但不限于缩放、翻转、扭曲、模糊、改变配色方案、改变透明度、增加噪点、调整对比度、调整亮度等各种方式方法及其组合运用。其变换规则包括：1)根据应用场景采用随机算法或在指定范围随机进行变换。2)在全应用场景内枚举遍历或在指定范围内枚举遍历。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。