基于视觉及压力传感器的光伏清洁机器人卡死检测方法

摘要

本发明提供了一种基于视觉及压力传感器的光伏清洁机器人卡死检测方法，该方法包括：利用轨道相机采集工作中的清洁机器人图像，利用机器人识别网络得到机器人的包围框，利用包围框对清洁机器人图像进行裁剪操作，将裁剪后得到的图像送入下陷识别网络，判断清洁机器人的轮子是否存在下陷行为；若存在下陷行为，则结合机器人所在电池板的支架压力的变化情况判断机器人是否存在沉陷卡死现象；若存在沉陷卡死现象，则启动光伏电池板MPPT控制器对相应的电池板的电压进行调节。本发明在检测到清洁机器人轮子下陷之后结合光伏电池板支架承受的压力进一步分析清洁机器人是否存在沉陷卡死现象，其判断结果更精确。

说明书

技术领域

本发明属于人工智能、光伏清洁领域，具体地，涉及一种基于视觉及压力传感器的光伏清洁机器人卡死检测方法。

背景技术

保持太阳能电池板表面清洁是确保光电转换效率的重要方法之一。目前对于光伏电池板的清洁，利用光伏清洗机器人进行智能化清洗已成为一个趋势。通过清洁机器人解决了人力浪费、人工清洗速度慢以及效率低的问题。

但是，光伏电池板清洁机器人使用久了，难免会出现一些小故障，如清洁机器人可能在电池板的缝隙处或者边缘处暂停卡顿。由于光伏电站电池板总面积较大，机器人清洁过程需要大量时间，如果通过人为观察清洁机器人在清扫过程中是否出现故障，会造成人力浪费，且工作效率低。

发明内容

为了解决上述问题，本发明提出一种基于视觉及压力传感器的光伏清洁机器人卡死检测方法，该方法包括：

步骤一，构建光伏电站区域的BIM；

步骤二，利用轨道相机对工作中的清洁机器人进行图像采集，将采集到的清洁机器人图像送入机器人识别网络，得到清洁机器人的包围框；并将包围框投影到BIM中；

步骤三，根据包围框对清洁机器人图像进行裁剪操作，将裁剪后得到的图像送入下陷识别网络，判断清洁机器人的轮子是否存在下陷行为；若存在下陷行为，则结合BIM获取清洁机器人的位置信息；

步骤四，结合清洁机器人所在位置对应的光伏支架的压力变化判断清洁机器人是否存在沉陷卡死现象；若存在沉陷卡死现象，则启动光伏电池板MPPT控制器对相应的电池板的电压进行调节；具体的沉陷卡死现象的判断方法为：

其中，T为轮子下陷行为出现的时刻，ΔF为T时刻之后根据压力传感器的数据得到的压力变化值，t0为T时刻之后清洁机器人所在电池板的支架压力没有发生变化的时长，T′为电池板支架压力不发生变化的时长阈值。

机器人识别网络包括识别编码器和识别解码器，识别编码器的输入为经过归一化处理的清洁机器人图像，输出为中间特征图；识别解码器的输入为中间特征图，输出为清洁机器人的包围框。

机器人识别网络的训练细节为：以轨道相机采集的清洁机器人图像构建训练数据集，训练标签为清洁机器人包围框的中心点坐标、包围框的宽和高，采用均方误差损失函数进行该网络的训练。

所述裁剪操作具体为：将包围框的长宽扩大m倍后对清洁机器人图像进行裁剪操作。

所述下陷检测网络的输入为裁剪后得到的图像，输出为下陷识别结果；该网络的训练数据集包括清洁机器人轮子下陷图像、清洁机器人正常工作的图像；训练标签包括下陷、未下陷两类；损失函数为交叉熵损失函数。

所述T′要大于(t2-t1)，其中，t1为清洁机器人在一块电池板上正常工作时电池板支架压力不再发生变化的起始时刻，t2为清洁机器人完成该电池板的清洁工作后电池板支架压力开始发生变化的时刻。

对相应的电池板的电压进行调节以增大电池板的输出功率。

本发明的有益效果在于：

1.本发明在检测到清洁机器人轮子下陷之后结合光伏电池板支架承受的压力进一步分析清洁机器人是否存在沉陷卡死现象，判断结果更精确。

2.本发明结合神经网络技术，其在进行轮子下陷识别时，计算速度快，识别结果精确，不需投入大量的人力资源，且本发明基于神经网络和传感器，操作简单，设施布置简单，可被广泛推广应用。

3.该方法结合BIM和Web GIS，可以实时呈现清洁机器人的工作状况，便于光伏电站的工作人员实时了解光伏清洁机器人的工作过程，并对机器人卡死卡顿的情况及时做出反应，降低清洁机器人的损坏程度。

附图说明

图1为本发明的实施流程示意图。

图2为清洁机器人正常工作时光伏电池板支架压力的变化图。

图3为清洁机器人轮子下陷时光伏电池板支架压力的变化图。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例和附图对本发明进行详细描述，参见图1。

清洁机器人的轮子陷入电池板缝隙中时，很多时候能够自动克服，保持继续工作的状态，但是也有可能出现卡死状况，如果想要具体判断清洁机器人是否出现卡死现象，还需要借助其他标准进行判断识别。考虑到机器人出现卡死现象时会停在电池板上不再运行，而电池板支架的压力在整个过程中会出现特殊变化；因此，本发明提出结合机器人所在电池板支架的压力变化情况，对清洁机器人的卡死状况进行检测识别，具体地，通过轨道相机采集清洁机器人在清洁过程中的图像，经机器人识别网络对清洁机器人进行检测跟踪，通过下陷识别网络对清洁机器人轮子的下陷情况进行识别；若轮子下陷，则结合机器人所在电池板的支架压力变化情况来分析判断机器人的卡死状况；其实施流程如图1所示。

实施例：

首先，以光伏电站区域的建筑信息数据为基础，建立三维光伏电站空间模型和光伏电站信息的有机综合体，得到光伏电站区域的BIM(建筑信息模型)，BIM中包含各个光伏电池板的位置信息，且BIM模型是由生命周期的，需要对模型进行更新，以便实时获取电池板以及清洁机器人的位置信息。

利用轨道相机对工作中的清洁机器人进行图像采集，所述轨道相机是指在电池板一侧设置轨道，在轨道上安装摄像机，其中相机可在轨道上进行滑动，相机拍摄角度为斜俯视，采集电池板表面图像，并进行连续多帧采集，以便获取处于电池板表面的光伏清洁机器人的RGB图像。其中轨道相机单帧至少能够拍摄一个电池板的范围，在移动范围内可以对整个光伏电站的电池板进行拍摄，实施者可根据实际情况调整轨道相机的俯视角度和相机的高度。

需要注意的是，轨道相机一直在拍摄，其中某一次或多次拍摄可以拍到清洁机器人的侧面，拍摄的清洁机器人图像中要包括清洁机器人的上表面信息和侧面信息，根据图像中清洁机器人的侧面信息进行后面的下陷识别。

本发明通过清洁机器人的包围框对清洁机器人进行实时跟踪：

将采集到的清洁机器人图像送入机器人识别网络，得到清洁机器人的包围框；并将包围框投影到BIM中；具体的机器人识别网络的训练过程为：

(a)以轨道相机采集的清洁机器人图像构建训练数据集。

(b)制作图像标签数据：训练标签为清洁机器人包围框的中心点坐标、包围框的宽和高，即(x,y,w,h)，其中，x、y为包围框中心的坐标，w为包围框的宽，h为包围框的高；需要说明的是训练标签要进行归一化处理。

(c)通过训练数据集和标签数据对机器人识别网络进行训练，具体地，识别编码器对输入图像进行特征提取，其输入为经过归一化处理的清洁机器人图像，输出为中间特征图；识别解码器的输入为中间特征图，对中间特征图进行上采样，输出清洁机器人的包围框。

采用均方误差损失函数进行该网络的训练。

至此，得到清洁机器人的包围框。

通过投影变换的方法将清洁机器人的包围框投影到BIM中，以便获取对应电池板的位置信息。

将包围框的长和宽均扩大1.5倍，根据扩大后的包围框得到遮罩，利用遮罩对清洁机器人图像进行裁剪操作，以便得到完整的机器人及其周围环境的RGB图像数据，实施例中裁剪操作具体为遮罩与清洁机器人图像进行乘操作，图像裁剪方法有很多，实施者可根据实际情况自行选择，本发明不对其他裁剪方法进行详细阐述。

将裁剪后得到的图像送入下陷识别网络，根据图像中清洁机器人与电池板之间的位置信息判断清洁机器人的轮子是否存在下陷行为，即对清洁机器人的轮子是否陷入缝隙进行判断；具体地，下陷识别网络的输入为裁剪后得到的图像，输出为下陷识别结果，其训练过程为：

(a)由于清洁机器人轮子在陷入缝隙之后，其工作高度会发生变化，故可将清洁机器人的工作高度作为数据标注的依据；所以该网络的训练数据集包括清洁机器人轮子陷入缝隙的图像、清洁机器人正常工作的图像；在构建训练数据集时，可人为的将机器人轮子工作高度降低，具体地，可降低单侧机器人轮子的高度，也可对两侧机器人的轮子的高度进行调整，但两侧高度要不一致，采集此时的清洁机器人图像，作为机器人轮子陷入缝隙的图像；具体的高度的调整值实施者可自行选取。

(b)训练标签包括下陷、未下陷两类，下陷标为1，未下陷标为2。

(c)将训练数据和标签数据送入下陷识别网络进行训练，下陷检测编码器对输入图像进行特征提取，经过特征展平后送入全连接层FC通过Softmax函数对清洁机器人的轮子下陷现象进行识别，输出下陷识结果。

损失函数采用交叉熵损失函数。

至此，得到下陷识别结果。

考虑到在实际情况下，清洁机器人出现轮子下陷行为时，其自身会有脱困模式，不一定会造成机器人长时间卡死的状况，因此当检测到清洁机器人轮子下陷时，本发明提出结合光伏支架压力传感器，分析机器人所在电池板的压力变化情况，进一步判断机器人是否出现沉陷卡死现象。所以，若存在下陷行为，则结合BIM获取清洁机器人的位置信息；之后结合清洁机器人所在位置对应的光伏支架的压力变化判断清洁机器人是否存在沉陷卡死现象；具体地：

清洁机器人在正常情况下对一块电池板进行清洁时，电池板支架所受的压力变化情况如图2所示，横轴为时间，纵轴为压力；0到t1时间段内清洁机器人开始驶入电池板上方进行清洁工作，t1到t2时间段电池板支架压力处于最大值，表示在t1-t2时间段之间清洁机器人完全处于电池板上方，且在t1到t2时间段内，电池板支架压力不发生变化，t2时刻之后，支架的压力值慢慢下降，最终趋于最初的压力值，清洁机器人最终从该片电池板上方驶出。

对于清洁机器人在清洁过程中卡死的情况，电池板支架的压力会有不同的变化情况，在此举例说明，若清洁机器人在电池板表面出现卡死沉陷现象时，机器人所在电池板支架的压力变化曲线如图3所示，即在t1时刻之后，电池板支架压力不发生变化，说明机器人一直处于电池板上方且没有移动，清洁机器人出现长时间卡死现象，需要工作人员及时对其进行查看，并进行相应的维修。

本发明中具体的沉陷卡死现象的判断方法为：

其中，T为轮子下陷行为出现的时刻，ΔF为T时刻之后根据压力传感器的数据得到的压力变化值，t0为T时刻之后清洁机器人所在电池板的支架压力没有发生变化的时长，T′为电池板支架压力不发生变化的时长阈值，T′要大于(t2-t1)，其中，t1为清洁机器人在一块电池板上正常工作时电池板支架压力不再发生变化的起始时刻，t2为清洁机器人完成该电池板的清洁工作后电池板支架压力开始发生变化的时刻；对应图2中的t1和t2。

至此，根据电池板支架压力变化，可得到光伏清洁机器人的沉陷卡死判断结果。若ΔF＝0且t0T′时，则认为清洁机器人由于轮子沉陷出现长时间卡死故障，通过无线通讯直接向后台发出警告信息，通知维修人员进行维修。

本发明考虑到光伏清洁机器人在电池板上出现沉陷卡死现象时，电池板表面将会受到遮挡出现热斑效应，其表面吸收的光照强度将会降低，导致电池板输出功率下降。因此，当判断结果为光伏清洁机器人出现沉陷卡死现象时，将启动光伏电池板MPPT控制器对相应的电池板电压进行调节，以保证电池板输出功率最大，达到对电池板进行保护的目的。

为了直观的呈现出沉陷卡死检测结果，本发明将结果发送至BIM中，并利用WebGIS技术对BIM进行可视化处理，实时呈现清洁机器人的工作状况，便于光伏电站的工作人员实时了解光伏清洁机器人的工作过程，对机器人卡死卡顿的情况及时进行调整，若情况严重则需对机器人进行相应的维修，可有效避免轮子下陷给清洁机器人造成损坏，同时也提高了清洁机器人的工作效率。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡是在本发明精神和原则之内做出法人修改与变动，皆在本发明的保护范围内。