一种采煤机运行状态判断方法、系统及存储介质

摘要

本发明实施例公开了一种采煤机运行状态判断方法、系统及存储介质，该方法包括：获取采煤机采煤时的工作过程图像；从工作过程图像中识别与采煤机的运行状态相关的参数信息；根据参数信息确定采煤机的运行状态是否发生异常；当根据参数信息确定采煤机的运行状态发生异常时，发出告警信息。通过该种方式，不再依赖于人为监督。自然也就避免了人为监督不到位的情况。而且，在确定采煤机的工作状态发生异常时及时发出告警信息，而并非通过人与人之间的口头告知消息。还可以避免消息传达不够及时、准确甚至是忘记传达等情况的发生。而且，还可以间接达到提高生产效率、避免资源浪费以及避免事故发生所造成的人员伤亡和财产损失等情况的发生。

说明书

技术领域

本发明实施例涉及煤矿安全技术领域，具体涉及一种采煤机运行状态判断方法、系统及存储介质。

背景技术

煤矿综采工作面是井下煤炭的第一生产现场，综采工作面两端头与工作面运输巷、工作面回风巷连通，综采工作面主要由滚筒采煤机、液压支架、刮板输送机、桥式转载机等设备构成。

采煤机是综采工作面的割煤设备，采煤机的作用是截割工作面煤壁，将煤壁上的煤破碎后落入工作面刮板输送机，煤炭经刮板输送机、转载机、皮带等运煤设备运至地表。采煤机将煤炭从工作面煤壁破落的过程，称为采煤机割煤。

采煤机主要由滚筒、机身、摇臂等构件组成，见图1采煤机示意图。采煤机包括采煤机机身01、两个采煤机滚筒02、采煤机滚筒截齿03以及采煤机摇臂04。采煤机正常割煤时，采煤机前滚筒02割煤壁上部顶煤，后滚筒02割煤壁下部底煤，两滚筒截割整个煤壁完成割煤。

采集煤机采煤时，难免会出现非正常采煤情况，例如采煤机空转以及采煤机空跑等状态。

现有技术中，都是采用采煤机司机与工作人员相互配合，相互监督，口头告知的方式，实现对采煤机的运行状态进行监控以及在确定采煤机非正常运行时相互口头告知，以便采取有效措施。但是这种人为监督和口头告知的方式存在很多缺陷，例如人为监督不到位，口头告知时消息传达不够准确或者及时，甚至忘记传达等情况极易发生。

如此一来，将会造成生产效率低下、资源浪费，甚至是发生事故造成人员伤亡和财产损失等的情况发生。

发明内容

为此，本发明实施例提供一种采煤机运行状态判断方法、系统及存储介质，以解决现有技术中不能对采煤机的运行状态进行有效监控的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提供了一种采煤机运行状态判断方法，该方法包括：

获取采煤机采煤时的工作过程图像；

从工作过程图像中识别与采煤机的运行状态相关的参数信息；

根据参数信息确定采煤机的运行状态是否发生异常；

当根据参数信息确定采煤机的运行状态发生异常时，发出告警信息。

进一步地，采煤机的运行状态包括：正常运行状态、正常停机状态、空跑状态、空转状态，以及非正常停机状态，其中，采煤机的运行状态发生异常的情况包括如下中的一种：空跑状态、空转状态，或者非正常停机状态。

进一步地，与采煤机的运行状态相关的参数信息包括：采煤机的两个滚筒的位置信息，以及距离上滚筒预设距离范围内的图像，

当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像时，记录第一时刻，且以第一时刻为起始，在第一预设时间内以逐帧形式识别第二帧图像之后的图像中，距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且确定第二帧图像中所包含的距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，记录第二时刻，且以第二时刻为起始，第二预设时间内以逐帧的形式识别第2+i帧图像中采煤机的两个滚筒位置未处于同一水平线时，识别第2+i帧图像中采煤机的上滚筒位置和第1+i帧图像中上滚筒的位置是否相同，间接确定采煤机处于正常运行状态或者处于空跑状态，其中，i为正整数，i依次递进取值，初始取值为1。

进一步地，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，以逐帧的形式识别第一时刻之后的第2+i帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像，且逐帧识别的时间超出第一预设时间时，确定采煤机处于空跑状态或者，当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置不相同时，确定采煤机处于空跑状态。

进一步地，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；

当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，相邻两帧图像中第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且识别第2+i帧图像中距离上滚筒预设距离范围内的图像中没有落煤图像时，

若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；

或者，若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块发生移动，记录第三时刻；

以第三时刻开始，在第三预设时间内以逐帧的形式识别包含刮板输送机上的煤块图像的图像中，若确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；或者，若确定以第三时刻开始，逐帧识别的时间超出第三预设时间，且确定第2+j帧图像中包含的刮板输送机上的煤块发生移动时，确定采煤机处于空转状态，其中j为大于或者等于i的正整数，j依次递进取值，初始取值为1。

进一步地，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；

当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置相同时，方法还包括：

当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块未发生移动时，确定采煤机处于正常停机状态；

或者，当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块发生移动时，记录第四时刻，以逐帧的形式识别第四时刻之后的图像中所包含的刮板输送机上的煤没有移动，且逐帧识别的时间超出第三预设时间时，确定采煤机处于空转状态。

进一步地，确定两个滚筒处于同一水平线，具体包括：

通过卷积神经网络方法识别工作过程图像中每一个滚筒分别对应的位置信息，其中位置信息包括与每一个滚筒位置对应的中心坐标、高度和宽度；

当确定两个滚筒的中心坐标中的纵坐标之间的绝对差值大于高度的预设百分比数值后，确定两个滚筒未处于同一水平线，否则确定两个滚筒处于同一水平线。

进一步地，确定距离上滚筒预设距离范围内的图像是否包含落煤图像，具体包括：

利用预构建的卷积神经网络模型识别距离上滚筒预设距离范围内的图像是否包含落煤图像，其中，预构建的卷积神经网络模型为采用第一样本和第二样本共同训练后获取的卷积神经网络模型，第一样本为在上滚筒预设距离范围内包含落煤图像的图像样本；第二样本为在上滚筒预设距离范围内未包含落煤图像的样本，且在第一样本和所述第二样本中，均以预设标识对上滚筒预设距离范围内的图像进行标识。

根据本发明实施例的第二方面，提供了一种采煤机运行状态判断装置，该装置包括：

获取单元，用于获取采煤机采煤时的工作过程图像；

处理单元，用于从工作过程图像中识别与采煤机的运行状态相关的参数信息；

根据参数信息确定采煤机的运行状态是否发生异常；

当根据参数信息确定采煤机的运行状态发生异常时，发出告警信息。

进一步地，采煤机的运行状态包括：正常运行状态、正常停机状态、空跑状态、空转状态，以及非正常停机状态，其中，采煤机的运行状态发生异常的情况包括如下中的一种：空跑状态、空转状态，或者非正常停机状态。

进一步地，与采煤机的运行状态相关的参数信息包括：采煤机的两个滚筒的位置信息，以及距离上滚筒预设距离范围内的图像；处理单元具体用于，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像时，记录第一时刻，且以第一时刻为起始，在第一预设时间内以逐帧形式识别第二帧图像之后的图像中，距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且确定第二帧图像中所包含的距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，记录第二时刻，且以第二时刻为起始，第二预设时间内以逐帧的形式识别第2+i帧图像中采煤机的两个滚筒位置未处于同一水平线时，识别第2+i帧图像中采煤机的上滚筒位置和第1+i帧图像中上滚筒的位置是否相同，间接确定采煤机处于正常运行状态或者处于空跑状态，其中，i为正整数，i依次递进取值，初始取值为1。

进一步地，处理单元还用于，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，以逐帧的形式识别第一时刻之后的第2+i帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像，且逐帧识别的时间超出第一预设时间时，确定采煤机处于空跑状态。

进一步地，处理单元还用于，当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置不相同时，确定采煤机处于空跑状态。

进一步地，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；处理单元还用于，

当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，相邻两帧图像中第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且识别第2+i帧图像中距离上滚筒预设距离范围内的图像中没有落煤图像时，

若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；

或者，若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块发生移动，记录第三时刻；

以第三时刻开始，在第三预设时间内以逐帧的形式识别包含刮板输送机上的煤块图像的图像中，若确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；或者，若确定以第三时刻开始，逐帧识别的时间超出第三预设时间，且确定第2+j帧图像中包含的刮板输送机上的煤块发生移动时，确定采煤机处于空转状态，其中j为大于或者等于i的正整数，j依次递进取值，初始取值为1。

进一步地，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置相同时，处理单元还用于，当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块未发生移动时，确定采煤机处于正常停机状态；

或者，当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块发生移动时，记录第四时刻，以逐帧的形式识别第四时刻之后的图像中所包含的刮板输送机上的煤没有移动，且逐帧识别的时间超出第三预设时间时，确定采煤机处于空转状态。

进一步地，处理单元具体用于，通过卷积神经网络方法识别工作过程图像中每一个滚筒分别对应的位置信息，其中位置信息包括与每一个滚筒位置对应的中心坐标、高度和宽度；

当确定两个滚筒的中心坐标中的纵坐标之间的绝对差值大于高度的预设百分比数值后，确定两个滚筒未处于同一水平线，否则确定两个滚筒处于同一水平线。

进一步地，处理单元具体用于，利用预构建的卷积神经网络模型识别距离上滚筒预设距离范围内的图像是否包含落煤图像，其中，预构建的卷积神经网络模型为采用第一样本和第二样本共同训练后获取的卷积神经网络模型，第一样本为在上滚筒预设距离范围内包含落煤图像的图像样本；第二样本为在上滚筒预设距离范围内未包含落煤图像的样本，且在第一样本和所述第二样本中，均以预设标识对上滚筒预设距离范围内的图像进行标识。

根据本发明实施例的第三方面，提供了一种采煤机运行状态判断系统，该系统包括：处理器和存储器；

存储器用于存储一个或多个程序指令；

处理器，用于运行一个或多个程序指令，用以执行如上一种采煤机运行状态判断方法中的任一方法步骤。

根据本发明实施例的第四方面，提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种采煤机运行状态判断系统执行如上一种采煤机运行状态判断方法中的任一方法步骤。

本发明实施例具有如下优点：获取采煤机采煤时的工作过程图像。从工作过程图像中识别与采煤机的运行状态相关的参数信息，然后根据参数信息确定采煤机的运行状态是否发生异常。一旦发生异常，则及时发出告警信息。通过该种方式，不再依赖于人为监督。自然也就避免了人为监督不到位的情况。而且，在确定采煤机的工作状态发生异常时及时发出告警信息，而并非通过人与人之间的口头告知消息。还可以避免消息传达不够及时、准确甚至是忘记传达等情况的发生。而且，还可以间接达到提高生产效率、避免资源浪费以及避免事故发生所造成的人员伤亡和财产损失等情况的发生。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为现有技术中的采煤机结构示意图；

图2为本发明提供的一种摄像头安装结构示意图；

图3为本发明实施例1提供的一种采煤机运行状态判断方法流程示意图；

图4为本发明实施例1提供的另一种采煤机运行状态判断方法流程示意图；

图5为本发明实施例2提供的一种采煤机运行状态判断装置结构示意图；

图6为本发明实施例3提供的一种采煤机运行状态判断系统结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提供了一种采煤机运行状态判断方法，在介绍本发明实实施例提供的采集煤机运行状态判断方法之前，首先介绍该方法对应的系统架构。具体如图2所示，图2为一种摄像头安装结构示意图，该图中还包括采煤机运行状态判断系统中的其他部件组成。该系统中包括图像采集装置10、液压支架20、采煤机30、刮板输送机40、回风顺槽50以及运输顺槽60。

其中，图像采集装置安装位置以能够采集到综采面的完整的危险区域(图2中用图框70框起来的区域)为准，箭头方向为回采工作面方向。可选的，例如可以安装于压支架底座上方支架顶梁上，图像采集装置均朝向工作面机尾方向。相邻图像采集装置之间拍摄范围的交叉长度大于预设长度。其中，预设长度的优选距离为采煤机机身加前滚筒的长度。

优选地，图像采集装置可以为摄像头。摄像头可以为高清防爆摄像头。摄像头之间的安装间距可以通过如下公式计算得出：

y＝x-z(公式1)

其中，x为摄像头拍摄最大广度，摄像头拍摄最大广度由摄像头焦距与其安装高度决定，z为预设长度，y为摄像头之间的安装间距。

采集的图像为视频图像。系统会从视频图像以采样的方式每隔预设数量采集一帧图像，用于后续的处理和分析，具体参见图3所示。

具体如图3所示，该方法步骤如下：

步骤110，获取采煤机采煤时的工作过程图像。

具体的，这里所说的采集煤机采煤时的工作过程图像实际就是上文说的帧图像。

步骤120，从工作过程图像中识别与采煤机的运行状态相关的参数信息。

步骤130，根据参数信息确定采煤机的运行状态是否发生异常。

步骤140，当根据参数信息确定采煤机的运行状态发生异常时，发出告警信息。

具体的，从工作过程中工作过程图像中识别与采煤机的运行状态相关的参数信息时，可以通过卷积神经网络算法来识别。

其中，与采煤机的运行状态相关的参数信息可以包括采煤机的两个滚筒的位置信息、距离上滚筒预设距离范围内的图像，还可以包括刮板输送机上的煤块图像。在实际情况中，可以根据需要有选择性的选择上述参数中的一种或多种。

可选的，采煤机的运行状态包括：正常运行状态、正常停机状态、空跑状态、空转状态，以及非正常停机状态，其中，采煤机的运行状态发生异常的情况包括如下中的一种：空跑状态、空转状态，或者非正常停机状态。

其中，简单列举上述采煤机的运行状态中的几种运行状态，例如采煤机正常运行状态是指：指采煤机沿工作面煤壁正常作业，本状态主要特征是采煤机两滚筒一上一下割煤，上滚筒割煤壁顶部煤，下滚筒割煤壁底部煤，两滚筒截割整个煤壁完成割煤。

采煤机空转是指采煤机停在原地不动，而滚筒一直在运行的状态，即采煤机停止牵引而没有停止截割。

采煤机空跑是指由于煤壁片帮造成煤壁上部煤在采煤机未截割的情况下已脱离煤壁，采煤机滚筒不用截割煤壁。此种情况在煤矿综采工作面常见，但是必须做好工作面支护工作。

下面，为了能够更好的对本发明时实施例的方法进行说明，将会依据系统对于采煤机的不同运行状态进行分析时的判别条件不同，分为以下多种情况。具体参见图4所示，图4中清晰的示出了系统对于采煤机的不同运行状态进行判别的流程示意图。具体包括：

开始，确定图像中是否有两个滚筒，如果没有则舍弃。如有，则执行下面的流程。

第一种情况，当与采煤机的运行状态相关的参数信息包括：采煤机的两个滚筒的位置信息，以及距离上滚筒预设距离范围内的图像时，根据参数信息确定采煤机的运行状态，可以包括如下几种情形：

1)当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，也即是“一上一下”的情况。而从第二帧图像中可以确定采煤机中上滚筒的位置与第一帧图像中的采煤机中上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态。这里说的上滚筒，实际就是图像中位置相对来说处于上方的那个滚筒。

或者，2)当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线(同上或者同下，图中以同下为例进行说明)，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像时，记录第一时刻t1，且以第一时刻t1为起始，在第一预设时间T1(图中t2-t1＝T1)内以逐帧形式识别第二帧图像之后的图像中，距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态。

具体参见图4所示，例如第三帧图像中有落煤图像，如果有则清除时间记录，此时清除的是t1，并确定采煤机处于正常运行状态。或者，当第三帧至第四帧图像(对应时刻为t2)中均没有落煤图像，但是查询到第五帧图像中有落煤图像，且t2与t1的差值在0～T1范围内，则确定采煤机处于正常运行状态，否则确定采煤机处于空跑状态，该种情况将在下文中进行进一步限定。

或者，3)当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且确定第二帧图像中所包含的距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态。

或者，4)当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，记录第二时刻t3，且以第二时刻t3为起始，第二预设时间(T2＝t4-t3)内以逐帧的形式识别第2+i帧图像中采煤机的两个滚筒位置未处于同一水平线时，识别第2+i帧图像中采煤机的上滚筒位置和第1+i帧图像中上滚筒的位置是否相同，间接确定采煤机处于正常运行状态或者处于空跑状态，其中，i为正整数，i依次递进取值，初始取值为1。

具体参见图4所示，例如，识别出第三帧图像中采煤机的两个滚筒的位置未处于同一水平线，也即是一上一下。那么，再去判断第三帧图像(第2+i)中上滚筒的位置和第二帧(1+i)图像中上滚筒的位置是否相同。如果相同，则判断第三帧图像中是否有煤落下，如果有则确定采煤机处于正常运行状态，如果第三帧图像中没有煤落下，则需要执行后续的判断，将在下文进一步介绍。如果第三帧图像中上滚筒的位置和第二帧图像中上滚筒的位置不相同，同样需要判断第三帧图像中是否有煤落下，如果有则确定采煤机处于正常运行状态，如果没有，则执行如下步骤：

当确定第2+i(首次为第三)帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像时，记录第一时刻t1，且以第一时刻t1为起始，在第一预设时间T1(图中t2-t1＝T1)内以逐帧形式识别第2+i帧图像之后的图像中，距离上滚筒预设距离范围内的图像包含落煤图像时，清除时间记录(图中每识别第一时刻后的一帧图像，更新或记录一次t2)，确定采煤机处于正常运行状态。

具体原理与2)的情况相类似，这里不再补充说明。

可选的，5)当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，以逐帧的形式识别第一时刻t1之后的第2+i帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像，且逐帧识别的时间超出第一预设时间T1时，确定采煤机处于空跑状态。

该种情况实际是与2)的情况相对立的，2)中说明的是第一预设时间内所能识别的图像中，从第三帧图像开始有任一帧图像中，存在距离上滚筒预设距离范围内的图像包含落煤图像。那么，确定采煤机处于正常运行状态。

而5)中的情况是说明直至达到预设时间T1，甚至是超出预设时间T1时，所能识别的图像中依然没有距离上滚筒预设距离范围内的图像包含落煤图像的情况，那么则可以确定采煤机处于空跑状态，参见情况2)中最后一句。

可选的，6)当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间T2，且确定第二预设时间T2内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置不相同时，确定采煤机处于空跑状态。

参见图4中左右侧的分支上半部分，6)与4)相反，6)中说明的是：

例如，确定第二帧图像采煤机的滚筒位置处于同一水平线，记录的是第二时刻t3，直至确定到第五帧图像，图像中采煤机的滚筒位置依然处于同一水平线，记录时间t4，然后当t4与t3的差值大于T2，且确定第二预设时间内最后一帧图像(第五帧图像)中采煤机的两个滚筒所在位置与前一帧图像(第四帧图像)中采煤机的两个滚筒所在位置不相同时确定采煤机处于空跑状态。

这里需要说明的是，对于滚筒的位置进行识别，可以通过卷积神经网络算法和目标跟踪算法进行识别，在具体实现时，首先通过人工对样本图像中的滚筒位置进行标记，然后利用卷积神经网络模型进行特征提取，识别到每张图片中采煤机两滚筒。通过该种方式不断训练，直至神经网络模型可以精确的识别出图像中滚筒的位置。并采用目标跟踪算法对采煤机的两个滚筒位置进行跟踪识别，从而得到滚筒的位置参数，包括中心坐标(中心点的横坐标bx、纵坐标by)以及滚筒边框的长度bh和宽度bw。

可选的，判断两个滚筒是否处于同一水平线时，可以通过如下方式确定：

当确定两个滚筒的中心坐标中的纵坐标之间的绝对差值大于高度的预设百分比数值后，确定两个滚筒未处于同一水平线，否则确定两个滚筒处于同一水平线。例如，当两滚筒的纵坐标by之间的绝对差值大于bh的十分之一时，则可以确定两滚筒不在同一水平线，否则，认为在同一水平线上。

对于距离采煤机上滚筒预设距离范围内的图像中是否包含落煤图像同样是通过卷积神经网络算法实现的。

在训练模型过程中，可以包括两种样本信息，其中一种为距离上滚筒预设距离范围内的图像中存在落煤的样本图像，另一种为距离上滚筒预设距离范围内的图像中不存在落煤的样本图像。样本图像中，均是人为对距离上滚筒预设距离范围内的图像进行标注，例如以边框的形式进行标注，方便神经网络模型进行识别。通过这两种样本图像对神经网络模型进行训练之后，后续系统在使用时，可以直接通过该神经网络模型识别出距离上滚筒预设距离范围内的图像中是否包含落煤的图像。

类似的道理，在后续识别刮板输送机上的煤块图像时，同样是类似的原理。以上具体的训练过程均为现有技术，这里不做过多说明。预设范围是人为根据实际情况标定的，因此这里不做过多限定。

可选的，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；

7)当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，相邻两帧图像中第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且识别第2+i帧图像中距离上滚筒预设距离范围内的图像中没有落煤图像时，此种情况与情况3)对立，参见图4中的左数第三个分支下半部分。

若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；

例如，当根据第二帧图像，确定距离上滚筒预设距离范围内的图像中没有落煤图像，且根据第二帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块没有发生移动，则可以确定采煤机处于非正常停机状态。

或者，若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块发生移动，记录第三时刻t5；

以第三时刻t5开始，在第三预设时间T3(t6-t5)内以逐帧的形式识别包含刮板输送机上的煤块图像的图像中，若确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；或者，若确定以第三时刻开始，逐帧识别的时间超出第三预设时间，且确定第2+j帧图像中包含的刮板输送机上的煤块发生移动时，确定采煤机处于空转状态，其中j为大于或者等于i的正整数，j依次递进取值，初始取值为1。

例如，当第三帧图像识别确定刮板输送机上的煤块发生移动，此时时刻为t5，然后，从这一刻开始，在T3时间内所能识别的图像中，以逐帧的形式进行识别，比如识别到第6帧图像中刮板输送机的煤依然没有发生移动，那么确定采煤机处于不正常停机状态。相反，如果识别到第6帧图像中刮板输送机的煤发生移动，但是第7帧图像(记录时刻为t6)中刮板输送机的煤没有发生移动，同样确定采煤机处于不正常停机状态。

或者，比如从第三时刻开始，始终可以确定T3时间内所能识别的图像中刮板输送机上的煤存在移动，直至识别第10帧图像(记录时刻为t6)时，t6与t5之间的差值已经大于T3，那么，确定采煤机处于空转状态。

可选的，8)与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置相同时，参见图4中最右侧的分支下半部分，该方法还包括：

当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块未发生移动时，确定采煤机处于正常停机状态；

或者，当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块发生移动时，记录第四时刻t7，以逐帧的形式识别第四时刻之后的图像中所包含的刮板输送机上的煤没有移动，且逐帧识别的时间超出第三预设时间时，确定采煤机处于空转状态。

具体的，例如第二预设时间段内最后一帧图像为第10帧图像，前一帧为第9帧图像。而根据第9帧图像和第10帧对象进行比对，可以确定第10帧图像中所包含的刮板输送机上的煤块未发生移动时，确定采煤机处于正常停机状态。相反，如果确定第10帧图像中所包含的刮板输送机上的煤块发生移动时，可以进行后一步的判断，即判断第11帧图像中所包含的刮板输送机上的煤块是否发生移动，如果发生移动，记录相应时刻为t8。那么，t8与t7的差值如果大于T3，则确定采煤机处于空转状态。否则继续判断第11帧之后的下一帧图像中刮板输送机的煤是否发生移动，类似的道理，如果发生移动则确定识别第11帧图像的时刻t8与t7之间的差值，如果大于T3，则确定空转，否则继续循环。如果未发生移动，则确定采煤机处于正常停机状态。

本发明实施例提供的一种采煤机运行状态判断方法，获取采煤机采煤时的工作过程图像。从工作过程图像中识别与采煤机的运行状态相关的参数信息，然后根据参数信息确定采煤机的运行状态是否发生异常。一旦发生异常，则及时发出告警信息。通过该种方式，不再依赖于人为监督。自然也就避免了人为监督不到位的情况。而且，在确定采煤机的工作状态发生异常时及时发出告警信息，而并非通过人与人之间的口头告知消息。还可以避免消息传达不够及时、准确甚至是忘记传达等情况的发生。而且，还可以间接达到提高生产效率、避免资源浪费以及避免事故发生所造成的人员伤亡和财产损失等情况的发生。

与上述实施例1对应的，本发明实施例2还提供了一种采煤机运行状态判断装置，具体如图5所示，该装置包括：获取单元501和处理单元502。

获取单元501，用于获取采煤机采煤时的工作过程图像；

处理单元502，用于从工作过程图像中识别与采煤机的运行状态相关的参数信息；

根据参数信息确定采煤机的运行状态是否发生异常；

当根据参数信息确定采煤机的运行状态发生异常时，发出告警信息。

可选的，采煤机的运行状态包括：正常运行状态、正常停机状态、空跑状态、空转状态，以及非正常停机状态，其中，采煤机的运行状态发生异常的情况包括如下中的一种：空跑状态、空转状态，或者非正常停机状态。

可选的，与采煤机的运行状态相关的参数信息包括：采煤机的两个滚筒的位置信息，以及距离上滚筒预设距离范围内的图像；处理单元502具体用于，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且确定第二帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像时，记录第一时刻，且以第一时刻为起始，在第一预设时间内以逐帧形式识别第二帧图像之后的图像中，距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且确定第二帧图像中所包含的距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态；

或者，当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，记录第二时刻，且以第二时刻为起始，第二预设时间内以逐帧的形式识别第2+i帧图像中采煤机的两个滚筒位置未处于同一水平线时，识别第2+i帧图像中采煤机的上滚筒位置和第1+i帧图像中上滚筒的位置是否相同，间接确定采煤机处于正常运行状态或者处于空跑状态，其中，i为正整数，i依次递进取值，初始取值为1。

可选的，处理单元502还用于，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，以逐帧的形式识别第一时刻之后的第2+i帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像，且逐帧识别的时间超出第一预设时间时，确定采煤机处于空跑状态。

可选的，处理单元502还用于，当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置不相同时，确定采煤机处于空跑状态。

可选的，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；

处理单元502还用于，当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，相邻两帧图像中第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且识别第2+i帧图像中距离上滚筒预设距离范围内的图像中没有落煤图像时，

若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；

或者，若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块发生移动，记录第三时刻；

以第三时刻开始，在第三预设时间内以逐帧的形式识别包含刮板输送机上的煤块图像的图像中，若确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；或者，若确定以第三时刻开始，逐帧识别的时间超出第三预设时间，且确定第2+j帧图像中包含的刮板输送机上的煤块发生移动时，确定采煤机处于空转状态，其中j为大于或者等于i的正整数，j依次递进取值，初始取值为1。

可选的，与采煤机的运行状态相关的参数信息还包括：刮板输送机上的煤块图像；当相邻两帧图像中第一帧图像对应的采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置相同时，处理单元502还用于，当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块未发生移动时，确定采煤机处于正常停机状态；

或者，当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块发生移动时，记录第四时刻，以逐帧的形式识别第四时刻之后的图像中所包含的刮板输送机上的煤没有移动，且逐帧识别的时间超出第三预设时间时，确定采煤机处于空转状态。

可选的，处理单元502具体用于，通过卷积神经网络方法识别工作过程图像中每一个滚筒分别对应的位置信息，其中位置信息包括与每一个滚筒位置对应的中心坐标、高度和宽度；

当确定两个滚筒的中心坐标中的纵坐标之间的绝对差值大于高度的预设百分比数值后，确定两个滚筒未处于同一水平线，否则确定两个滚筒处于同一水平线。

可选的，处理单元502具体用于，利用预构建的卷积神经网络模型识别距离上滚筒预设距离范围内的图像是否包含落煤图像其中，预构建的卷积神经网络模型为采用第一样本和第二样本共同训练后获取的卷积神经网络模型，第一样本为在上滚筒预设距离范围内包含落煤图像的图像样本；第二样本为在上滚筒预设距离范围内未包含落煤图像的样本，且在第一样本和所述第二样本中，均以预设标识对上滚筒预设距离范围内的图像进行标识。

本发明实施例提供的一种采煤机运行状态判断装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

本发明实施例提供的一种采煤机运行状态判断装置，获取采煤机采煤时的工作过程图像。从工作过程图像中识别与采煤机的运行状态相关的参数信息，然后根据参数信息确定采煤机的运行状态是否发生异常。一旦发生异常，则及时发出告警信息。通过该种方式，不再依赖于人为监督。自然也就避免了人为监督不到位的情况。而且，在确定采煤机的工作状态发生异常时及时发出告警信息，而并非通过人与人之间的口头告知消息。还可以避免消息传达不够及时、准确甚至是忘记传达等情况的发生。而且，还可以间接达到提高生产效率、避免资源浪费以及避免事故发生所造成的人员伤亡和财产损失等情况的发生。

与上述实施例相对应的，本发明实施例3还提供了一种采煤机运行状态判断系统，具体如图6所示，该系统包括：处理器601和存储器602；

存储器602用于存储一个或多个程序指令；

处理器601，用于运行一个或多个程序指令，用以执行如上实施例所介绍的一种采煤机运行状态判断方法中的任一方法步骤。

本发明实施例提供的一种采煤机运行状态判断系统，获取采煤机采煤时的工作过程图像。从工作过程图像中识别与采煤机的运行状态相关的参数信息，然后根据参数信息确定采煤机的运行状态是否发生异常。一旦发生异常，则及时发出告警信息。通过该种方式，不再依赖于人为监督。自然也就避免了人为监督不到位的情况。而且，在确定采煤机的工作状态发生异常时及时发出告警信息，而并非通过人与人之间的口头告知消息。还可以避免消息传达不够及时、准确甚至是忘记传达等情况的发生。而且，还可以间接达到提高生产效率、避免资源浪费以及避免事故发生所造成的人员伤亡和财产损失等情况的发生。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于被一种采煤机运行状态判断系统执行如上所介绍的一种采煤机运行状态判断方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。