基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备

摘要

本发明提供了一种基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备，包括：步骤1：通过摄像装置采集电力巡检图片；步骤2：训练目标检测模型YOLOv5和RepVGG，并移植到嵌入式边缘设备中；步骤3：通过深度学习框架TensorRT对目标检测模型进行层间融合、张量融合、模型剪枝和权值量化，生成推理引擎；步骤4：通过推理引擎对采集到的图片进行识别检测，并将检测结果传入服务器，作为新的样本调整目标检测模型。本发明对模型进行压缩、剪枝、量化，通过自动化的方式简化了操作，加速了推理的过程，提高了检测的实时性。

说明书

技术领域

本发明涉及目标检测技术领域，具体地，涉及一种基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备。

背景技术

在计算机领域，基于机器学习和深度学习的图像目标检测技术是人工智能的一个重要部分。图像目标检测技术的研究目标是根据采集的图像，识别其中特定目标的位置及类别，做出有意义的判断。

在电力行业，利用图像目标检测技术进行输电线路和变电站等场所的异物入侵检测，正慢慢成为智能电网实现的重要手段之一。但在电力巡检中，一般巡检设备(如无人机)采集的图片数据需要传回后端服务器进行分析和计算，由于巡检设备采集数据传回服务器的延迟很长，计算结果返回比较滞后，降低了实时性。而且由于巡检设备续航时间的限制，其并不适用于长距离巡线任务。

为提高巡检的实时性、提高巡检设备服务时间，采用基于边缘计算的嵌入式检测算法可能是更好的选择。基于此，提出一种利用神经网络算法的基于嵌入式芯片图像识别技术的边缘计算软硬件，实现巡检图像数据在边缘设备上的分析和计算，并通过对模型的压缩、剪枝、量化，加快目标检测推理的速度，并将新采集的图片和推理结果作为训练样本调整目标检测模型，提高目标检测的准确率。

专利文献CN112528912A(申请号：CN202011509565.4)公开了一种基于边缘计算的作物生长监测嵌入式系统及方法，该系统包括影像采集模块、环境参数采集模块、嵌入式设备、无人机、地面控制站、云端数据处理模块、电源模块和通信模块；该方法包括：所述地面控制站规划无人机飞行路线，下发无人机飞行路径和任务，对稻麦田的具体地图信息进行二维地图测绘；影像采集模块采集作物彩色图像以及视频数据；环境参数采集模块采集作物的生长环境参数；无人机回传稻麦作物的彩色图像以及视频数据，并且搭载的嵌入式设备识别稻麦的成熟度、病虫害以及对养分的分级和病虫害的分级，并将识别结果以及分级发送至地面控制站。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备。

根据本发明提供的基于边缘计算的嵌入式图像识别检测方法，包括：

步骤1：通过摄像装置采集电力巡检图片；

步骤2：训练目标检测模型YOLOv5和RepVGG，并移植到嵌入式边缘设备中；

步骤3：通过深度学习框架TensorRT对目标检测模型进行层间融合、张量融合、模型剪枝和权值量化，生成推理引擎；

步骤4：通过推理引擎对采集到的图片进行识别检测，并将检测结果传入服务器，作为新的样本调整目标检测模型。

优选的，所述边缘设备的主体为NVIDIA Jetson XavierNX嵌入式开发板，通过外接摄像头实现图片的采集功能，通过通信模块实现与服务器的网络通信。

优选的，在训练阶段，在VGG网络的Block块中加入身份特征和残差分支，以提高目标检测模型的精度；

在推理阶段，通过OP融合策略将所有的网络层都转换为Conv3*3，便于目标检测模型的部署与加速。

优选的，通过深度学习框架TensorRT将FP32型数据转换为FP16或INT8型数据进行处理，并对网络结构进行重构和优化，加速推理过程。

根据本发明提供的基于边缘计算的嵌入式图像识别检测系统，包括：

模块M1：通过摄像装置采集电力巡检图片；

模块M2：训练目标检测模型YOLOv5和RepVGG，并移植到嵌入式边缘设备中；

模块M3：通过深度学习框架TensorRT对目标检测模型进行层间融合、张量融合、模型剪枝和权值量化，生成推理引擎；

模块M4：通过推理引擎对采集到的图片进行识别检测，并将检测结果传入服务器，作为新的样本调整目标检测模型。

优选的，所述边缘设备的主体为NVIDIA Jetson XavierNX嵌入式开发板，通过外接摄像头实现图片的采集功能，通过通信模块实现与服务器的网络通信。

优选的，在训练阶段，在VGG网络的Block块中加入身份特征和残差分支，以提高目标检测模型的精度；

在推理阶段，通过OP融合策略将所有的网络层都转换为Conv3*3，便于目标检测模型的部署与加速。

优选的，通过深度学习框架TensorRT将FP32型数据转换为FP16或INT8型数据进行处理，并对网络结构进行重构和优化，加速推理过程。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。

根据本发明提供的一种基于边缘计算的嵌入式图像识别检测设备，包括：控制器；

所述控制器包括所述的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于边缘计算的嵌入式图像识别检测方法的步骤；或者，所述控制器包括所述的基于边缘计算的嵌入式图像识别检测系统。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明对模型进行压缩、剪枝、量化，通过自动化的方式简化了操作，加速了推理的过程，提高了检测的实时性；

(2)本发明将检测结果作为新的样本对目标检测模型进行调整，具有自学能力，提高了检测的准确度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为系统的完整流程图；

图2为TensorRT推理引擎生成过程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

如图1所示，根据本发明提供的基于边缘计算的嵌入式图像识别检测方法，包括：

首先，边缘设备通过摄像装置采集电力场景图。

在边缘侧，TensorRT推理引擎对采集到的图片进行推理，得到目标检测的推理结果。

所述的TensorRT推理引擎生成过程如图2所示。带标注的电力场景样本训练集通过YOLOv5和RepVGG训练得到训练模型，移植到已配置好开发环境的边缘设备后，在GCC编译下，通过TensorRT对模型进行层间融合、张量融合、模型剪枝、权值量化得到TensorRT推理引擎。层间融合是网络结构的垂直整合，将Conv、BN、ReLU融于一层，即CBR层；张量融合是网络结构的水平整合，将输入为相同张量和执行相同操作的层融于一层；模型剪枝是减少Concat层，将Concat层的输入直接送入操作中，减少传输吞吐。量化是指将FP32型数据转换为FP16或INT8型数据来处理，在推理时能提升速度。经过此一系列优化过程后，即可得到TensorRT推理引擎。

对得到的推理结果进行判断，如果判断为异常，则发出报警信号，然后将异常结果和图片上传到服务器中；如果判断为正常，则直接将结果和图片上传到服务器中。服务器将结果通过用户界面进行可视化展示。

服务器得到的新样本和结果将对训练模型进行调整，提高识别的准确率。

本发明包括：摄像装置、边缘设备、YOLOv5算法、RepVGG算法、TensorRT推理优化器。其中，利用YOLOv5和RepVGG算法训练完成的模型移植到嵌入式芯片后，通过TensorRT推理优化器对模型进行层间融合、张量融合、权值量化，并生成推理引擎，加快推理速度。摄像装置采集的图片在边缘计算设备上通过TensorRT引擎进行目标检测，采集到的图片和目标检测的结果传入服务器，作为新的样本调整目标检测模型。

所述的边缘设备主体为NVIDIA Jetson Xavier NX嵌入式开发板，它拥有强大的AI算力，并拥有强大的扩展能力，非常适合部署在嵌入式边缘计算设备中。它通过外接摄像头实现图像的采集功能，通过通信模块实现与服务器的网络通信。

所述的YOLOv5算法是一种单阶段的目标检测方法。为方便将模型部署到嵌入式端，采用模型较小的YOLOv5s版本对样本图片进行训练，模型轻量，推理速度和精度都能得到保证。

所述的RepVGG算法是一种改进的VGG算法。训练阶段，在VGG网络的Block块中加入了Identity和残差分支；推理阶段，通过OP融合策略将所有的网络层都转换为Conv3*3，便于模型的部署与加速。网络训练和网络推理阶段使用不同的网络架构，训练阶段更关注精度，推理阶段更关注速度。

所述的TensorRT是一种神经网络推断加速引擎。它能将训练好的模型压缩、剪枝、量化，并生成TensorRT推理引擎。TensorRT可以将FP32型的数据转换为FP16或INT8型数据来处理，并对网络结构进行了重构和优化，在保证一定精度的前提下，加速推理过程。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。