一种基于图像组合的工程机械智能识别数据集处理方法

摘要

本发明公开了一种基于图像组合的工程机械智能识别数据集处理方法，其涉及图片数据处理用于模型训练领域，旨在解决用在管道周边的模拟训练系统学习数据库太少的问题，其技术方案要点包括工程机械图片收集、图片调整、图片标注、背景图片获取、机械图片组合、背景图片组合、图片组融合和效果验证，本发明达到了大量提高管道周围模型训练系统学习数据库的效果。

说明书

技术领域

本发明涉及图片数据处理用于模型训练的技术领域，尤其是涉及一种基于图像组合的工程机械智能识别数据集处理方法。

背景技术

西气东输管道工程作为本国最重要的基建工程之一，贯穿东西9个省市，而管道安全问题更是重中之重。但管道周围经常会出现大型工程机械，对管道的安全和西气东输的稳定存在潜在威胁，为了避免大型机械对管道造成可能损伤，故采集大量工程机械图片构建数据集，为后续自动识别工作提供数据支撑。

深度学习模型训练中常常因训练图片中目标的尺度与实际场景应用中模型尺度的差异导致结果误差较大的问题。虽然类似R-CNN、Fast R-CNN的网络结构已经开始考虑解决由于目标尺度导致的分类误差，但不如从训练图片本身出发通过改变尺度来适应实际情况，从而提高模型的效果。

上述中的现有技术方案存在以下缺陷：现有的管道周围会布置多个摄像头对视频流中的图片进行监测，主要是通过模型训练对视频流中机械设备违规动作进行报警，但是现有的模型训练缺少大量的数据库作为支撑点，导致模型训练的系统无法切实有效的实施，此问题亟待解决。

发明内容

本发明的目的是提供一种基于图像组合的工程机械智能识别数据集处理方法，其具有大量提高管道周围模型训练系统学习数据库的作用。

为实现上述目的，本发明提供了如下技术方案：

一种基于图像组合的工程机械智能识别数据集处理方法，其特征在于，包括

S1、工程机械图片收集：

准备管道周边图片集，将数据集进行预处理，针对数据集中无关图片、重复图片人工剔除，对前期管道图片中分类错误的图片进行人工调整；

S2、图片调整：

人工深度调整包括将图片格式转换为jpeg格式，将图片大小调整至500kb，并对图片进行分类和重命名；

S3、图片标注：

确定图片标注标准，利用统一的标注工具人工对管道机械图片进行标注，通过确定矩形的方式，记录图片的四个坐标，框选出管道机械出现在图像中的范围，通过S1、S2和S3生成原始的管道机械训练图片，后续使用到的机械图片都选取于S3后生成的图片；

S4、背景图片获取：

从各大图片门户网站爬取，后选取图片内容大多为室内照片包括家居、办公室、会议室等；

S5、机械图片组合：

将多张机械图片按固定比例缩小，此步骤是将图片按照上下、左右的结构依次排列，获得具有多个机械图片组合成的机械图片组；

S6、背景图片组合：

选择与S5中机械图片相同数量的背景图片，将选择的多张背景图片按照上下、左右的结构依次排列，获得具有多个背景图片组合成的背景图片组；

S7、图片组融合：

调整机械图片组、背景图片组大小，保证背景图片组大于机械图片组大小，且机械图片组中的机械图片要和背景图片组中的背景图片要一一对应，然后将机械图片组插入到背景图片组中，注意两张图片组中图片不能有边缘重合，在图像融合后，管道机械的坐标也会随着图像的变化而随之改变；

S8、效果验证：

将S6中的融合生成的图片数据集用于管道周边机械设备识别模型训练中，来检验新数据对于模型的改善情况。

通过采用上述技术方案，本发明主要针对利用管道中原始图片的训练模型在实际测试中效果不佳的问题提出的针对数据尺度进行调整来获得更优的训练数据，进而优化训练模型的目标。利用已经标注完成的管道周边机械数据图片、无关干扰图片数据，通过图片组合的方式来调整工程机械在原始训练集中尺度大而且统一、像素位置固定等问题，另外也让一张图片中可以包含多个工程机械，也获得了充分的训练数据。

综上所述，本发明的有益技术效果为：

1、采用了工程机械图片收集、图片调整、图片标注、背景图片获取、机械图片组合、背景图片组合、图片组融合和效果验证，从而产生提高管道周围模型训练系统学习数据库的效果。

附图说明

图1为本发明中的流程结构示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

参照图1，为本发明公开的一种基于图像组合的工程机械智能识别数据集处理方法，包括工程机械图片收集、图片调整、图片标注、背景图片获取、机械图片组合、背景图片组合、图片组融合和效果验证主要步骤。

步骤1：程机械图片收集，管道巡视员手动采集现场图片，上报西气东输各地管道处，管道处汇总后将图片数据提交给武汉管理处，其后数据交给我方进行后续处理，图片集具体说明：根据机械类别共可以分为五类，分别为：挖掘机械、铲运机械、凿岩机械、压实机械、桩工机械；

步骤2：图片调整，因图片由各个地方管理处汇总而来，不可避免有图片被放置在多重嵌套文件夹下；部分图片为同一时刻同一地点拍摄，造成数据冗余；其次图片多采用原始命名或简单数字命名，必然造成图片集合并后文件冲突。我们针对原始图片的三个主要问题，采取了包括人工遍历文件夹进行图片归类、重复图片处理等，另外编写批处理程序对图片的命名、大小、格式进行统一；

步骤3：图片标注，标注图片本身反映出了人的喜好和特点，尤其在这种多人标注任务中，图片标注很容易出现因人而异的现象，进而导致在后续训练中出现个性化问题。因此为了避免这一问题，我们既要指定严格的数据标准，也要充分保证每个数据标注人员都深入理解了标注标准。利用统一的标注工具进行图片数据标注，在标注过程中随时对图片标注抽查，保证每张图片都是按照统一的标准下完成标注

步骤4：背景图片获取，针对图片的特点，即图片中背景绝大部分为室外场景，所以我们选择爬取室内图片作为背景来与原始机械图片进行融合。我们爬取了包括百度、必应、Google等主流图片网张的图片，选用的关键词为室内、办公室、会议室等。获取的图片在格式、大小、命名方式上差异较大，甚至部分图片内容不符合要求，我们采用步骤2的方法对图片进行统一处理，方便后续使用。

步骤5：机械图片组合，机械图片进行缩放后对应的矩阵并行排列（包括上下、左右）并形成机械图片组，然后对机械图片组中的各个机械图片对应的标注文件组合，对机械图片组中可以设定多种组合方式，本发明中行列比设定为10*5。

a、机械图片组合：经过次尝试我们选择固定机械图片的宽度为800，同时将机械图片缩放为长宽比为1：1，生成图片的效果最好；

b、标注文件融合：涉及多个标注文件需要记录当前标注文件对应的图片的位置来保证标注准确；

步骤6：背景图片组合，背景图片进行缩放后对应的矩阵并行排列（包括上下、左右）并形成背景图片组，背景图片组中的各个背景图片都要大于机械图片，背景图组中的各个背景图片位置要分别对应机械图片组中的机械图片，且背景图片中的各个背景图片的几何中心和相对应的机械图片的几何中心要重合；

步骤7：图片组融合：调整机械图片组、背景图片组的大小，保证背景图片组大于机械图片组大小，且机械图片组中的机械图片要和背景图片组中的背景图片要一一对应，然后将机械图片组插入到背景图片组中，生产新的图片组，注意两张图片组中图片不能有边缘重合，涉及多个标注文件需要记录当前标注文件对应的图片的位置来保证标注准确；

步骤8：步骤7生成的新图片组的数据集用于模型训练，将新的数据集加入到模型训练中，并测试模型的效果。

本发明通过图片组合技术，将管道周边可能出现的五大类机械设备（挖掘机械、铲运机械、凿岩机械、压实机械、桩工机械）的图片利用已经标注完成的管道周边机械数据图片、无关干扰图片数据，通过图片组合的方式来调整工程机械在原始训练集中尺度大而且统一、像素位置固定等问题，另外也让一张图片中可以包含多个工程机械，也获得了充分的训练数据，提升训练精度。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。