基于图像处理和多维度感知的光伏电池板形变预测方法

摘要

本发明提供了一种基于图像处理和多维度感知的光伏电池板形变预测方法，该方法包括：对无人机采集到的光伏电池板图像进行关键点的提取，根据关键点得到多个栅格区域，统计每个栅格区域中像素点的数量，基于多个像素点的数量得到重构图像，对重构图像进行分析，判断电池板是否异常，若异常，则判断对应的形变等级；获取异常电池板的板材类型、形变等级以及异常电池板对应的历史风向和风速数据，根据风向和风速数据计算得到风力数据；以板材类型和时序上的风力数据为训练数据集，形变等级为训练标签，训练时间卷积网络，训练完成后，将板材类型和时序上的风力数据输入时间卷积网络，即可得到预测形变等级。本发明形变检测速度快，省时省力。

说明书

技术领域

本发明涉及人工智能、计算机视觉和光伏电池组件故障检测技术领域，尤其涉及一种基于图像处理和多维度感知的光伏电池板形变预测方法。

背景技术

光伏电池组件在受到外力作用下可能会出现光伏电池组件形变等问题，而形变有可能导致组件内部产生电池片隐裂、裂片等一系列会影响光伏电池组件发电效率的问题。而光伏电池板受压后的变形较小，仅靠肉眼无法准确可靠的判断出光伏电池板是否发生形变。

发明内容

为了解决上述问题，本发明提出一种基于图像处理和多维度感知的光伏电池板形变预测方法，该方法包括：

步骤一，利用无人机拍摄光伏电池板图像，将采集到的光伏电池板图像送入关键点提取网络，得到光伏电池板的角点和栅线交点；

步骤二，根据光伏电池板的角点和栅线交点，基于预设规则，得到N个栅格集合，根据栅格集合得到栅格区域，为每个栅格区域标记序号并统计每个栅格区域中像素点的个数；

步骤三，结合栅格区域的序号，将每个栅格区域作为一个像素，得到重构图像，重构图像中像素的像素值为对应的栅格区域内像素点个数归一化处理后得到的结果；设置ROI区域，从横纵两个方向对重构图像中ROI区域进行分析，判断光伏电池板是否异常；若光伏电池板存在异常，则进一步判断异常光伏电池板对应的形变等级；

步骤四，获取异常光伏电池板的板材类型、形变等级以及异常光伏电池板对应的历史风向和风速数据，根据历史风向和风速数据计算得到历史风力数据；基于历史风力数据、板材类型构建数据序列，以数据序列为训练数据集，形变等级为训练标签，训练时间卷积网络，训练完成后，将数据序列输入时间卷积网络，输出为预测形变等级。

无人机上相机的光轴与光伏电池板垂直，且垂点为光伏电池板的中心点。

关键点提取网络包括关键点提取编码器和关键点提取解码器，关键点提取编码器的输入为光伏电池板的RGB图像，输出为特征图，关键点提取解码器的输入为特征图，输出为关键点热图，其中，关键点包括光伏电池板角点和栅线交点。

预设规则为：

(a)根据距离从关键点中选择一个与图像原点距离最近的点，将该点作为第一个栅格集合的基础点；

(b)计算其他关键点与基础点之间的距离，按照距离由小到大的顺序选择4个关键点，基础点分别与4个关键点中的每个点相连得到4条直线，获取4条直线的斜率，并计算任意两条直线的斜率差的绝对值，当斜率差的绝对值大于等于阈值m

(c)第一个栅格集合中的点分别作为其他栅格集合的基础点，重复步骤(b)，得到其他栅格集合中包括的关键点，再将新得到的栅格集合中包括的点作为其他栅格集合基础点，重复步骤(b)，直至得到所有栅格集合。

进一步地，将每个栅格集合中包括的点分别沿顺时针方向依次连接，得到多个栅格区域，统计每个栅格区域内像素点的数量C

所述归一化处理是将C

其中，C

从横纵两个方向对重构图像中ROI区域进行分析具体为：分别计算每一行、每一列中相邻像素点像素值的差值绝对值，若存在一个差值绝对值大于阈值m

所述形变级别的获取方法为：将横纵两个方向上的所有差值绝对值相加，得到差值和，判断差值和属于哪个预先设置好的差值区间，差值区间对应的等级为形变等级。

风向和风速数据通过传感器获取。

本发明的有益效果在于：

1.本发明仅通过图像处理和通用传感器数据即可实现光伏电池板形变的预测，解决了人为判断光伏电池板是否形变时判断结果不精确这一问题，且本发明形变检测速度快，省时省力。

2.本发明只需输入光伏电池板的板材、时序上的风力数据即可通过时间卷积网络输出预测形变等级，相关数据容易获取且操作简单。

3.该方法结合了神经网络和图像处理技术，泛化能力强，鲁棒性好。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。

本发明的目的为通过神经网络和图像处理，结合传感器信息实现光伏电池板形变等级的预测；具体地，本发明提出一种基于图像处理和多维度感知的光伏电池板形变预测方法，首先对无人机采集的光伏电池板图像进行关键点的提取，基于关键点，按照预设规则将图像划分为多个栅格区域，统计每个栅格区域中像素点的个数，并进行归一化处理，根据归一化后的像素点的个数重构图像，基于重构图像判断光伏电池板是否异常，若异常，则得到具体的形变等级，并获取异常的光伏电池板对应的板材类型以及历史风力数据，将板材类型和历史风力数据输入TCN中，以获取到的光伏电池板的形变等级为标签进行TCN网络的训练。

实施例：

通过无人机采集光伏电池板的正视图像，具体地，首先要预先设置无人机位姿的调整规则，由于光伏电池板支架位置固定，因此无人机的初始位置根据光伏电池板支架位置得到，在光伏电池板上部署陀螺仪对光伏电池板的位姿进行信息采集，得到光伏电池板的俯仰角和偏航角；无人机首先移动至光伏支架正上方，之后根据陀螺仪采集到的信息进行位置调整，直至相机光轴与光伏电池板垂直，且光轴延长线与光伏电池板交于光伏电池板的中心点，垂线长度不作限制，但应在合理范围内，且调整相机视角至光伏电池板中心点位于图像中心处。

将无人机采集到的光伏电池板图像送入关键点提取网络仅关键点的提取，关键点提取网络包括关键点提取编码器和关键点提取解码器，关键点提取编码器的输入为光伏电池板的RGB图像，输出为特征图，关键点提取解码器的输入为特征图，根据关键点的类别输出关键点热图；关键点检测网络的具体训练方法为：

训练集为无人机采集的多张光伏电池板的RGB图像，包括正常光伏电池板的图像和发生形变的电池板的图像；标注为以关键点为中心通过高斯核卷积生成的热斑，关键点类别为两类，光伏电池板角点和栅线交点；损失函数采用均方误差损失函数。

对关键点热图进行后处理即可得到关键点的位置坐标，具体的后处理方法是公知的，本发明不再赘述。

根据光伏电池板的角点和栅线交点，基于预设规则，得到N个栅格集合，预设规则具体为：

(a)根据坐标计算距离，从关键点中选择一个与图像原点距离最近的点，将该点作为第一个栅格集合的基础点；

(b)计算其他关键点与基础点之间的距离，按照距离由小到大的顺序选择4个关键点，基础点分别与4个关键点中的每个点相连得到4条直线，获取4条直线的斜率，并计算任意两条直线的斜率差的绝对值，当斜率差的绝对值大于等于阈值m

第一个栅格集合中的点分别作为其他栅格集合的基础点，重复步骤(b)，得到其他栅格集合中包括的关键点，再将新得到的栅格集合中包括的点作为其他栅格集合基础点，重复步骤(b)，直至无法获得新的栅格集合。

得到第一个栅格集合以后在获取其他栅格集合时，步骤(b)的执行过程中还包括一个判决条件：在将斜率差绝对值大于等于阈值m

至此，得到N个栅格集合，每个栅格集合中包括4个关键点。

根据栅格集合得到栅格区域，即将每个栅格集合中包括的点分别沿顺时针方向依次连接，得到多个栅格区域，为每个栅格区域标记序号并统计每个栅格区域内像素点的数量C

将获得的多个像素点数量归一化到[0,255]区间：

其中，C

由于序号是栅格区域划分时分配的，而各栅格区域的位置是已知信息，因此可按照序号重构一张图像，重构图像中像素点的位置对应各序号所代表栅格区域在光伏电池板上的位置，每个栅格区域在重构图像中为一个像素点，而像素点的像素值即为上述归一化计算的结果；该操作的目的为简化计算，提高计算速度。

由于相机拍摄图像中成像中心的图像保真度较高，而越远离图像中心越易出现伪“形变”，即在图像中看起来是形变的，但真实世界中是正常的。又光伏电池板形变一般只出现于光伏电池组件中心部位，基于上述先验知识，需要在重构图像中设置ROI区域，重构图像的大小为p×q，ROI区域由第k1行到第p-k1+1行且由第k2列到第q-k2+1列中所有像素点构成，k1,k2为经验值，实施者可根据所处理电池板的尺寸合理设置，且p×q＝N。

从横纵两个方向对重构图像中ROI区域进行分析，判断光伏电池板是否异常，具体地：

按图像横纵方向分别计算ROI区域内每一行、每一列的相邻像素点像素值的差值绝对值，得到相邻像素点的变化情况，正常情况下相邻像素值差值应均为0，因此设置一个阈值m

若光伏电池板存在异常，则进一步判断异常光伏电池板对应的形变等级：

计算所有相邻像素点像素值差值绝对值的和，即对于行方向，计算每一行中各相邻像素点像素值的差值绝对值，并对绝对值求和，对于列方向，计算每一列中各相邻像素点像素值的差值绝对值，并对绝对值求和，最后将两个求和结果相加，得到最终的所有像素值差值绝对值的和即差值和；判断差值和属于哪个预先设置好的差值区间，差值区间对应的等级为形变等级。

差值区间及对应的形变等级为：[0,M

至此，得到异常光伏电池板对应的形变等级。

得到异常光伏电池板的形变等级后，获取异常光伏电池板的板材类型以及异常光伏电池板所处区域的历史风速和风向数据，根据风速和风向得到风力，风力为矢量，将风力投影到光伏电池板朝向直线上，得到对光伏电池板施压的有效风力；其中，光伏电池板的朝向直线即为光伏电池板的垂线；风速和风向数据分别通过相应的传感器获得；具体的计算风力的方法是公知的，本发明不再赘述。

基于有效风力W和板材类型A构建序列，TCN的输入为时序上的(W,A)，输出为预测形变等级，TCN网络的训练具体为：训练数据集为异常光伏电池板对应的板材类型以及计算得到的有效风力数据序列，训练标签为通过上述步骤得到的形变等级，采用交叉熵损失函数进行时间卷积网络的训练。

训练完成后，实施者在实际使用中只需将时序上的有效风力和板材类型输入时间卷积网络，即可得到预测形变等级。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡是在本发明精神和原则之内做出的修改与变动，皆在本发明的保护范围内。