一种基于图像融合的工程机械智能识别数据集处理方法

摘要

本发明公开了一种基于图像融合的工程机械智能识别数据集处理方法，其涉及图片数据处理用于模型训练领域，旨在解决用在管道周边的模拟训练系统学习数据库太少的问题，其技术方案要点是包括图片收集、图片调整、图片标注、背景图片获取、图片融合和效果验证，本发明达到了大量提高管道周围模型训练系统学习数据库的效果。

说明书

技术领域

本发明涉及图片数据处理用于模型训练的技术领域，尤其是涉及一种基于图像融合的工程机械智能识别数据集处理方法。

背景技术

西气东输管道工程作为本国最重要的基建工程之一，贯穿东西9个省市，而管道安全问题更是重中之重。但管道周围经常会出现大型工程机械，对管道的安全和西气东输的稳定存在潜在威胁，为了避免大型机械对管道造成可能损伤，故采集大量工程机械图片构建数据集，为后续自动识别工作提供数据支撑。

深度学习模型训练中常常因训练图片中目标的尺度与实际场景应用中模型尺度的差异导致结果误差较大的问题。虽然类似R-CNN、Fast R-CNN的网络结构已经开始考虑解决由于目标尺度导致的分类误差，但不如从训练图片本身出发通过改变尺度来适应实际情况，从而提高模型的效果。

上述中的现有技术方案存在以下缺陷：现有的管道周围会布置多个摄像头对视频流中的图片进行监测，主要是通过模型训练对视频流中机械设备违规动作进行报警，但是现有的模型训练缺少大量的数据库作为支撑点，导致模型训练的系统无法切实有效的实施，此问题亟待解决。

发明内容

本发明的目的是提供一种基于图像融合的工程机械智能识别数据集处理方法，其具有大量提高管道周围模型训练系统学习数据库的作用。

为实现上述目的，本发明提供了如下技术方案：

一种基于图像融合的工程机械智能识别数据集处理方法，其特征在于，包括

S1、工程机械图片收集：

准备管道周边图片集，将数据集进行预处理，针对数据集中无关图片、重复图片人工剔除，对前期管道图片中分类错误的图片进行人工调整；

S2、图片调整：

人工深度调整包括将图片格式转换为jpeg格式，将图片大小调整至500kb，并对图片进行分类和重命名；

S3、图片标注：

确定图片标注标准，利用统一的标注工具人工对管道机械图片进行标注，通过确定矩形的方式，记录图片的四个坐标，框选出管道机械出现在图像中的范围，通过S1、S2和S3生成原始的管道机械训练图片，后续使用到的机械图片都选取于S3后生成的图片；

S4、背景图片获取：

从各大图片门户网站爬取，后选取图片内容大多为室内照片包括家居、办公室、会议室等；

S5、图片融合：

调整机械图片、背景图片大小，保证背景图片大于机械图片大小，然后将机械图片插入到背景图片中，注意两张图片不能有边缘重合，在图像融合后，管道机械的坐标也会随着图像的变化而随之改变；

S6、效果验证：

将S5中生成的融合图片数据用于管道周边机械设备识别模型训练中，来验证新数据用于训练后对模型的改善情况。

通过采用上述技术方案，将训练图片通过尺度的缩放融合到无关的背景图片当中，来改变工程机械图片在训练图片中像素比过大、像素比相对统一的问题；另一方面本身的训练图片的背景相似程度很高，通过图片融合让训练图片中包含了更多无关内容，图片间的差异度进一步提升，防止训练中出现模型过拟合。

综上所述，本发明的有益技术效果为：

1、采用了工程机械图片收集、图片调整、图片标注、背景图片获取、图片融合和效果验证，从而产生提高管道周围模型训练系统学习数据库的效果。

附图说明

图1为本发明的流程结构示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

参照图1，为本发明公开的一种基于图像融合的工程机械智能识别数据集处理方法，包括程机械图片收集、图片调整、图片标注、背景图片获取、图片融合和效果验证主要步骤。

步骤1：程机械图片收集，管道巡视员手动采集现场图片，上报西气东输各地管道处，管道处汇总后将图片数据提交给武汉管理处，其后数据交给我方进行后续处理，图片集具体说明：根据机械类别共可以分为五类，分别为：挖掘机械、铲运机械、凿岩机械、压实机械、桩工机械；

步骤2：图片调整，因图片由各个地方管理处汇总而来，不可避免有图片被放置在多重嵌套文件夹下；部分图片为同一时刻同一地点拍摄，造成数据冗余；其次图片多采用原始命名或简单数字命名，必然造成图片集合并后文件冲突。我们针对原始图片的三个主要问题，采取了包括人工遍历文件夹进行图片归类、重复图片处理等，另外编写批处理程序对图片的命名、大小、格式进行统一；

步骤3：图片标注，标注图片本身反映出了人的喜好和特点，尤其在这种多人标注任务中，图片标注很容易出现因人而异的现象，进而导致在后续训练中出现个性化问题，因此为了避免这一问题，我们既要指定严格的数据标准，也要充分保证每个数据标注人员都深入理解了标注标准，利用统一的标注工具进行图片数据标注，在标注过程中随时对图片标注抽查，保证每张图片都是按照统一的标准下完成标注；

步骤4：背景图片获取，针对图片的特点，即图片中背景绝大部分为室外场景，所以我们选择爬取室内图片作为背景来与原始机械图片进行融合，我们爬取了包括百度、必应、Google等主流图片网张的图片，选用的关键词为室内、办公室、会议室等，获取的图片在格式、大小、命名方式上差异较大，甚至部分图片内容不符合要求，我们采用步骤2的方法对图片进行统一处理，方便后续使用；

步骤5：图片融合，图片融合过程可以分为两部分：图像融合、标注文件生成，下面详细说明这两部分内容；

a、图像融合首先需要把背景图片和工程机械图片调整到合适大小，本方法中固定背景图片为800*800，工程机械图片大小为100-600之间，随机生成；其次选定插入位置，我们采用随机选取插入位置，但要保证进行缩放后的工程机械图片的边框与背景图片不重合；将两张图片对应的矩阵融合并保存新生成的图片；

b、标注生成；在原始图片标注文件上进行修改，包括改变图片的大小、各个框对应的像素位置，这就要求在a中记录工程机械缩放的大小以及插入位置，进行计算后重新写入标注文件中；

c、图像文件、标注文件的统一命名，这个过程并非单独进行，而是通过全局变量的方式在a、b中文件保存步骤中生成；

步骤6：效果验证，步骤5中新生成的新数据集用于模型训练，将新的数据集加入到模型训练中，并测试模型的效果；

本发明通过图片融合技术，将管道周边可能出现的五大类机械设备（挖掘机械、铲运机械、凿岩机械、压实机械、桩工机械）的图片通过尺度的缩放融合到与工程机械设备无关的背景图片当中，旨在改变工程机械图片在训练图片中像素比过大、像素比相对统一的等训练集的特征问题；另一方面本身的管道周边采集到的训练图片的背景相似程度很高，通过图片融合让训练图片中包含了更多无关干扰内容，图片间的差异度进一步提升，可以防止训练中出现模型过拟合。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。