一种加速目标检测算法训练的数据集处理方法

摘要

一种加速目标检测算法训练的数据集处理方法，包括：（1）获取锚框类目标检测算法所需的训练用数据集；（2）数据集数据分析，提取数据集中所有标注框的特征作为待处理数据的划分依据；（3）数据集聚类，使用聚类算法，按照小、中、大三个尺度对特征进行聚类划分；（4）数据集划分；（5）模型训练，构成三阶训练体系，并按照先验知识对批处理数据簇进行分步训练；提高了深度学习数据集的训练效率，使用灵活方便，极大的加速了训练进度从而缩短训练时间。

说明书

技术领域

本发明属于计算机图像视觉深度学习技术数据集处理领域，具体涉及一种锚框类目标检测算法的数据集处理方法。

背景技术

现有加速目标检测算法训练方法目前主要有随机小批量数据加载训练法，即在训练过程中通过在数据集中随机采样生成批数据进行训练。此方法操作步骤少、使用简单，但训练所需时间长，同时由于采样过程的随机性会造成不同随机初始值训练出的算法模型精度波动大、不稳定。

发明内容

针对上述不足，本发明提供了一种加速目标检测算法训练的数据集处理方法，其特征在于，包括：

（1）获取锚框类目标检测算法所需的训练用数据集；

（2）数据集数据分析，提取数据集中所有标注框的特征作为待处理数据的划分依据。

（3）数据集聚类，将步骤（2）提取出的特征作为聚类算法的相似性距离计算依据；根据先验的目标检测网络多尺度目标通用处理规则，使用聚类算法，按照小、中、大三个尺度对特征进行聚类划分；

（4）数据集划分，以步骤（3）所得出的三个聚类中心为不同数据簇的中心对整个数据集进行划分，计算数据集中数据到三个聚类中心的距离并排序从而将数据集按照尺度变化划分为大、中、小三个数据簇；在三个数据簇内分别进行随机采样直至将数据集整理成三组批处理数据簇；

（5）模型训练，先使用容易训练的大尺度目标对整个模型网络进行有效训练，然后再使用小尺度目标进行多尺度识别推理和更高精度的区域框回归训练，并且模型训练递归执行，构成三阶训练体系，并按照先验知识对批处理数据簇进行分步训练。

本发明创造的优点：

与常规方法相比，实现了在相同数据规模下，该算法极大的缩减了深度学习模型训练过程所需的时间，同时保持了高精度性等优良特质。本发明提出的方法通过数据聚类技术利用先验知识对数据集进行划分从而生成相应批数据依次训练，优化了深度学习数据集训练策略，提高了深度学习数据集的训练效率，使用灵活方便，极大的加速了训练进度从而缩短训练时间，与此同时训练出的模型仍能保持高精度，可以很好地解决目前已有方法存在的问题。

附图说明

图1是训练流程示意图；

图2是聚类结果示意图。

具体实施方式

下面结合附图对本发明作进一步描述，应当理解，此处所描述的内容仅用于说明和解释本发明，并不用于限定本发明。

本申请的加速训练数据集处理方法，依照先验知识以及数据聚类技术对数据集处理从而生成训练用批数据。具体步骤如图1所示，如下：

（1）获取锚框类目标检测算法所需的训练用数据集，该数据集由指定识别任务类型确定；

（2）数据集数据分析。常见的目标检测任务数据集标注形式为将目标物体在一幅图像所处区域以矩形框形式标注，并以目标框的中心坐标以及框的高度、宽度作为数据存储，因此对于目前锚框类目标检测算法来说，其潜在特征为框的中心坐标，框的高、宽以及比例与面积。在本方法中，首先提取数据集中所有标注框的高度、宽度特征作为待处理数据的划分依据。对于目前深度学习算法来说，目标所处坐标位置变化对最终性能影响不大，而算法性能对目标框的比例以及面积尺度变化敏感，因此提取特征要构建尺度空间来模拟目标锚框的尺度变化。也就是说，对标注框特征的分析应将目标框的比例以及面积上的变化参数引入评价分析体系，以此表征在尺度空间中不同的目标锚框。经分析表明获取数据集内所有标注框的高

（3）数据集聚类。将步骤（2）提取出的特征作为聚类算法的相似性距离计算依据。依据预处理特征，依次将目标锚框

（3-1）选择初始化的随机三个特征样本点作为初始聚类中心

（3-2）选取二维欧氏距离函数

（3-3）针对每个类别的聚类中心

（3-4）重复上面（3-2）、（3-3）两步操作，直到达到各个质心的位置坐标不再变化，至此依照先验知识所进行的数据聚类完成，如图2所示。

（4）数据集划分。以上一步骤（3）所得出的三个聚类中心

（5）模型训练。分析目前锚框类目标检测算法可知，其主要结构为数据提取器、多尺度处理器以及目标检测器的串行结构；对于通用的多尺度目标数据集，大尺度目标的输入数据可通过简单的训练获得较高精度。而目标尺度较小的输入数据则由于目标本身的小尺度造成训练与检测的困难。依照先验知识分析数据集可知，不同尺度的同类目标特征是相似的，因此提供容易训练的大尺度目标同样会对小尺度目标的识别提供帮助。为了兼顾性能和时间，避免随机采样训练等传统思路带来的巨大的时间开销，先使用容易训练的大尺度目标对整个模型网络进行有效训练，然后在使用小尺度目标进行多尺度识别推理和更高精度的区域框回归训练，并且让这一步递归执行，以此原则构成三阶训练体系按照先验知识对批处理数据簇进行分步训练：

（5-1）对训练模型初始化处理，提供大尺度批处理数据簇中的批数据进行训练；

（5-2）待（5-1）中模型的训练损失代价下降到小于经验训练损失终止值时，（本方法中此经验训练损失终止值为

（5-3）待（5-2）中模型的训练损失代价下降到小于经验训练损失终止值时，（本方法中此经验训练损失终止值为

（5-4）在以上三个阶段的批数据训练完成后。使用此时得到的训练模型对各数据集进行评估划分，收集数据集中模型无法良好识别的数据作为难样本，按照上述流程重新制作训练数据并训练，直到模型在整个数据集上表现良好，至此训练结束。

本发明很好地解决了目前目标检测模型训练时间开销大问题，与此同时训练得出的模型精度并不会下降。通过使用若干通用数据集（例如WiderFace、COCO等）在常规目标检测模型（YOLO系列等）按照本发明上述方法进行操作得出结果，本发明无论是在检测正确率指标还是训练时间代价方面都明显优于现有训练方法。

最后应说明的是：以上所述仅为本发明的解释，并不用于限制本发明，尽管对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。