非稳定检测装置、非稳定检测系统以及非稳定检测方法

摘要

对监视对象是否为非稳定状态进行检测的非稳定检测装置(1)具有：要素提取部(12)，其从包含监视对象在内而连续拍摄得到的多个图像数据即连续图像组中，提取表示规定的作业单位即每个生产节拍的连续图像组的特征的要素；以及判定部(18)，其基于由要素提取部(12)提取出的各生产节拍的要素，对在监视对象中判定对象的生产节拍是非稳定状态还是稳定状态进行判定。

说明书

技术领域

本发明涉及对非稳定状态进行检测的非稳定检测装置、非稳定检测系统以及非稳定检测方法。

背景技术

当前，在需要进行检查或维护的监视对象的场所设置照相机等传感器，根据图像等传感器信息，对是处于监视对象没有异常的稳定状态还是处于存在某个异常的非稳定状态进行判定。专利文献1中公开了如下技术，即，根据从过去已取得的稳定状态时的多个图像提取的特征量，生成稳定状态时的类似图像的簇，在从新取得的图像中提取的特征量不属于簇的情况下，判断为由新取得的图像表示的监视对象处于非稳定状态。

专利文献1：日本特开2006－330797号公报

发明内容

专利文献1所记载的技术在如下情况下是有效的，即，对非稳定状态进行检测的监视对象在稳定状态下没有移动即稳定状态的图像相同。然而，存在如下问题，即，在稳定状态下人、物品或机械等正在移动的制造现场等情况下，无法生成类似的图像的簇，因此无法对非稳定状态进行检测。

本发明就是鉴于上述情况提出的，目的在于得到在包含在稳定状态下伴随有移动的监视对象的情况下，能够对非稳定状态进行检测的非稳定检测装置。

为了解决上述课题、实现目的，本发明的特征在于，具有：要素提取部，其从包含监视对象在内而连续拍摄得到的多个图像数据即连续图像组中，提取表示规定的作业单位即每个生产节拍的连续图像组的特征的要素；以及判定部，其基于由要素提取部提取出的各生产节拍的要素，对在监视对象中判定对象的生产节拍是非稳定状态还是稳定状态进行判定。

发明的效果

本发明涉及的非稳定检测装置起到如下效果，即，在包含在稳定状态下伴随有移动的监视对象的情况下，能够对非稳定状态进行检测。

附图说明

图1是表示实施方式1涉及的非稳定检测装置的结构例的框图。

图2是表示在实施方式1涉及的非稳定检测装置中对非稳定状态进行检测的处理的流程图。

图3是表示实施方式1涉及的要素提取部所提取的2个要素的图。

图4是示意性地表示在实施方式1中群集信息存储部所存储的群集信息和从第2要素存储部读取的判定对象的生产节拍的第2要素的关系的图。

图5是表示在实施方式1涉及的显示生成部中，对由判定部判定为非稳定状态的生产节拍下的监视对象的图像数据和判定为稳定状态的生产节拍下的监视对象的图像数据的差异进行了强调显示的图像信息的一个例子的图。

图6是表示在实施方式1涉及的显示生成部中，对由判定部判定为非稳定状态的生产节拍的图像数据和判定为稳定状态的生产节拍的图像数据的差异进行了强调显示的图像信息的其他例子的图。

图7是表示由CPU以及存储器构成实施方式1涉及的非稳定检测装置的处理回路的情况下的例子的图。

图8是表示实施方式2涉及的非稳定检测系统的结构例的图。

具体实施方式

下面，基于附图对本发明的实施方式涉及的非稳定检测装置、非稳定检测系统以及非稳定检测方法进行详细说明。此外，本发明并不限定于本实施方式。

实施方式1.

图1是表示本发明的实施方式1涉及的非稳定检测装置1的结构例的框图。非稳定检测装置1例如是可编程显示器。在本实施方式中，以下述情况为例进行说明，即，非稳定检测装置1在生产线中以制造工序的任意的作业单位即所规定的1个生产节拍作为对象而对非稳定状态进行检测。1个生产节拍可以是作为监视对象的生产线的1个制造工序，也可以包含多个制造工序。此外，非稳定检测装置1的用途并不限定于生产线。

作为非稳定检测装置1为了对非稳定状态进行检测所使用的数据，使用由拍摄装置2拍摄的图像数据。非稳定检测装置1基于从在生产线中对制造设备进行控制的可编程控制器、或者在生产线中对规定的事件进行检测的测量器等外部装置3取得的信息，对制造工序的1个生产节拍进行检测。非稳定检测装置1从操作者4接受在后述的非稳定状态的检测处理中所需的判定阈值等设定。

对非稳定检测装置1的结构进行说明。非稳定检测装置1具有：数据取得部11，其从拍摄装置2取得图像数据；要素提取部12，其使用图像压缩技术从由数据取得部11取得的图像数据中提取表示各图像数据的频率的特征的第1要素，另外，使用图像压缩技术从自后述的第1要素分割部15接收到的1个生产节拍的第1要素中提取表示第1要素的时间性变化的特征的第2要素；以及第1要素存储部13，其对由要素提取部12提取的第1要素进行存储。

另外，非稳定检测装置1具有：外部装置连接接口14，其在与外部装置3之间进行数据等的收发，基于来自外部装置3的信息而对作为监视对象的作业单位的1个生产节拍进行检测；以及第1要素分割部15，其针对从外部装置连接接口14通知的每1个生产节拍，从第1要素存储部13中对1个生产节拍的第1要素进行分割并读取，将1个生产节拍的第1要素向要素提取部12交付。

另外，非稳定检测装置1具有：第2要素存储部16，其对由要素提取部12提取出的第2要素进行存储；群集信息存储部17，其对群集信息进行存储，该群集信息包含表示由矢量示出过去判定为是稳定状态的生产节拍的第2要素的情况下的分布信息的数据组等；以及判定部18，其使用由要素提取部12提取出的各生产节拍的要素、即存储于第2要素存储部16的判定对象的生产节拍的第2要素、以及存储于群集信息存储部17的群集信息，对监视对象中判定对象的生产节拍是非稳定状态还是稳定状态进行判定。

另外，非稳定检测装置1具有：操作接受部19，其接受来自操作者4的操作而将在判定部18的判定处理中使用的判定阈值设定于判定部18；显示生成部20，其基于判定部18的判定结果，生成表示包含判定结果的显示信息；显示部21，其对由显示生成部20生成的显示信息进行显示；以及图像信息存储部22，其对在由要素提取部12提取第2要素时使用的第1要素进行存储。此外，将第1要素存储部13、第2要素存储部16、群集信息存储部17、以及图像信息存储部22汇总设为存储部23。

下面，说明对监视对象是否为非稳定状态进行检测的非稳定检测装置1的非稳定检测方法、即对非稳定状态进行检测的处理。图2是表示在实施方式1涉及的非稳定检测装置1中对非稳定状态进行检测的处理的流程图。

首先，在非稳定检测装置1中，数据取得部11从拍摄装置2取得拍摄装置2中包含监视对象在内而拍摄的图像的数据即图像数据(步骤S1)。拍摄装置2例如是数字照相机。数据取得部11从拍摄装置2取得作为多个图像数据的连续图像组。例如，在拍摄装置2在1秒期间连续拍摄30张静止图像的情况下，数据取得部11在拍摄装置2每次拍摄到静止图像时，从拍摄装置2取得静止图像的图像数据。

要素提取部12根据由数据取得部11取得的监视对象的各图像数据，使用图像压缩技术而对各图像数据进行频率分解，提取作为表示构成各图像数据的频率的特征的要素的第1要素(步骤S2)。要素提取部12能够使用主成分分析或者小波变换之类的已有方法作为图像压缩技术而从图像数据提取第1要素。

图3是表示实施方式1涉及的要素提取部12所提取的2个要素的图。在图3中，时间方向的轴的由第1张、第2张之类的(1)示出的实线是由要素提取部12从监视对象的各图像数据中提取出的第1要素，是表示构成各图像的频率的特征的频率的要素。这里，通过第1张、第2张之类的张数示出时间的经过。另外，在图3中，频率方向的轴的由(2)示出的虚线是如后述那样由要素提取部12从第1要素中提取出的第2要素，是表示第1要素的时间性变化的特征即转变的、频率的要素的时间性变化的要素。另外，在图3中，振幅方向的轴表示频率的要素的大小、即振幅。作为非稳定检测装置1，在生产线中，将与由人、物品或者制造设备等引起的移动相伴的范围作为非稳定状态检测的监视对象，在每个拍摄时刻，静止图像即图像数据的内容不同。因此，表示由要素提取部12从图像数据中提取出的频率的特征的第1要素由于第1张、第2张而示出不同的频率的特征的转变，即由于拍摄静止图像的时刻而示出不同的频率的特征的转变。在监视对象的生产线中，通常在每1个生产节拍，人、物品或者制造设备反复进行相同的动作。因此，如果是稳定状态的情况，则在各生产节拍中从1个生产节拍的图像数据中提取出的第1要素在各生产节拍内的相同时间带示出相同的特征。

要素提取部12在每次从图像数据中提取第1要素时，将所提取的第1要素存储于第1要素存储部13(步骤S3)。

外部装置连接接口14基于从外部装置3取得的信息，对作为非稳定状态检测的监视对象的生产线的作业单位的1个生产节拍进行检测(步骤S4)。1个生产节拍是作为监视对象的生产线中的1个或者多个制造工序的作业单位。外部装置连接接口14将在监视对象的生产线中反复的作业单位作为1个生产节拍而进行检测。外部装置连接接口14例如在外部装置3是可编程控制器的情况下，根据可编程控制器的处理范围的信息而对1个生产节拍进行检测。或者，外部装置连接接口14例如在外部装置3为在生产线中对规定的事件进行检测的测量器的情况下，根据对事件进行检测的间隔的信息而对1个生产节拍进行检测。作为外部装置连接接口14，在具体地测量器为对物品的流动进行检测的传感器的情况下，以传感器在制造工序中对特定的物品流动来的情况进行检测的间隔对1个生产节拍进行检测。外部装置连接接口14在每次对1个生产节拍进行检测时，将检测出1个生产节拍的情况向第1要素分割部15进行通知。

第1要素分割部15在每次从外部装置连接接口14收到检测出作为作业单位的1个生产节拍的情况的通知时，从第1要素存储部13读取在第1要素存储部13存储的第1要素。即，第1要素分割部15将由要素提取部12提取且连续的第1要素以1个生产节拍为单位进行分割(步骤S5)。第1要素分割部15将从第1要素存储部13读取的1个生产节拍的第1要素向要素提取部12进行交付。

要素提取部12针对从第1要素分割部15取得的1个生产节拍的第1要素使用图像压缩技术，针对规定的频率或者每隔规定的频率间隔而将表示第1要素的时间性变化的特征的要素作为第2要素进行提取(步骤S6)。在要素提取部12中对第2要素进行提取的方法与对前述的第1要素进行提取时相同。

要素提取部12从第1要素中提取第2要素，由此能够得到图3所示的(2)的虚线的信息。此外，在图3中，作为第2要素而仅示出1根虚线，其是为了易于理解第2要素而示意性地示出的。要素提取部12实际上是从第1要素在多个频率处对第2要素进行提取。

要素提取部12在每次从第1要素中提取第2要素时，将所提取的第2要素存储于第2要素存储部16(步骤S7)。另外，要素提取部12将在提取第2要素时使用的1个生产节拍的第1要素存储于图像信息存储部22(步骤S8)。

判定部18从第2要素存储部16对判定对象的生产节拍的第2要素进行读取，参照群集信息存储部17的群集信息，在监视对象中对判定对象的生产节拍是否处于非稳定状态进行判定(步骤S9)。判定部18例如也可以设定1个生产节拍的第2要素的数据量，定期地对第2要素存储部16进行确认，在第2要素存储部16存储1个生产节拍的第2要素的数据量之后进行读取。

这里，对群集信息存储部17所存储的群集信息进行说明。图4是示意性地表示在实施方式1中在群集信息存储部17所存储的群集信息和从第2要素存储部16读取的判定对象的生产节拍的第2要素的关系的图。

在群集信息包含作为判定为过去为稳定状态的多个生产节拍的第2要素的分布信息的稳定状态数据组41、以及稳定状态数据组41的中心坐标42。通常，由要素提取部12提取的第2要素可以由2次式、3次式这样的数学式来表示，可以使用所得到的数学式的各次数的系数而由矢量的信息来表示数学式的特征。稳定状态数据组41示出由判定为过去为稳定状态的多个生产节拍的第2要素的矢量表示的点的分布。中心坐标42示出根据点的分布状态得到的中心的坐标位置，该点由判定为过去为稳定状态的多个生产节拍的第2要素的矢量表示。第2要素43是由矢量示出的点，该矢量由从第2要素存储部16读取的判定对象的生产节拍的第2要素表示。此外，对于上述的中心坐标42，可以作为稳定状态数据组41的重心。

在判定部18，经由操作接受部19而预先由操作者4设定有用于对判定对象的生产节拍是否处于非稳定状态进行判定的判定阈值。判定部18在图4所示的中心坐标42与判定对象的生产节拍的第2要素43之间的距离大于或等于判定阈值的情况下，在监视对象中判定为判定对象的生产节拍处于非稳定状态(步骤S9：Yes)。判定部18在判定为判定对象的生产节拍处于非稳定状态的情况下，向显示生成部20通知判定对象的生产节拍处于非稳定状态的判定结果。

显示生成部20在判定对象的生产节拍处于非稳定状态这一判定结果的情况下，从图像信息存储部22取得在过去判定为稳定状态的生产节拍的1个生产节拍的第1要素、以及在此次的判定中判定为非稳定状态的判定对象的生产节拍的1个生产节拍的第1要素。显示生成部20根据在过去判定为稳定状态的生产节拍的第1要素而对稳定状态的生产节拍的图像数据进行复原，根据在此次的判定中判定为非稳定状态的判定对象的生产节拍的第1要素而对非稳定状态的生产节拍的图像数据进行复原。显示生成部20对稳定状态的生产节拍的图像数据与非稳定状态的生产节拍的图像数据的差异进行检测，针对使稳定状态的生产节拍的图像数据和非稳定状态的生产节拍的图像数据重叠而显示的图像，生成对差异进行强调显示的图像信息。显示生成部20生成显示信息并进行使显示信息显示于显示部21的控制，该显示信息包含表示判定对象的生产节拍处于非稳定状态的字符等判定结果、以及图像信息(步骤S10)。此外，显示生成部20也可以对稳定状态的生产节拍的图像数据和非稳定状态的生产节拍的图像数据的差异进行检测，针对显示了非稳定状态的生产节拍的图像数据的图像，生成对差异进行了强调显示的图像信息。

图5是表示在实施方式1涉及的显示生成部20中对下述差异进行了强调显示的图像信息的一个例子的图，该差异是由判定部18判定为非稳定状态的生产节拍中的监视对象的图像数据和判定为稳定状态的生产节拍中的监视对象的图像数据之间的差异。非稳定检测装置1例如能够在侵入者51在生产线的附近的情况下检测为非稳定状态。图6是表示在实施方式1涉及的显示生成部20中对下述差异进行了强调显示的图像信息的其他例子的图，该差异是由判定部18判定为非稳定状态的生产节拍的图像数据和判定为稳定状态的生产节拍的图像数据的差异。非稳定检测装置1例如能够在始终移动的某个生产线上流动来的产品之中存在发生了破损等异常的产品61的情况下检测为非稳定状态。

判定部18也可以在监视对象中判定为判定对象的生产节拍处于非稳定状态的情况下(步骤S9：Yes)，将判定结果经由外部装置连接接口14而向外部装置3输出。另外，判定部18也可以从显示生成部20取得由显示生成部20生成的显示信息，经由外部装置连接接口14而向外部装置3输出。

判定部18在图4所示的中心坐标42与判定对象的生产节拍的第2要素43之间的距离小于判定阈值的情况下，在监视对象中判定为判定对象的生产节拍处于稳定状态(步骤S9：No)。判定部18在判定为判定对象的生产节拍处于稳定状态的情况下，向显示生成部20通知判定对象的生产节拍处于稳定状态的判定结果。显示生成部20也可以生成显示信息并显示于显示部21，该显示信息包含表示判定对象的生产节拍处于稳定状态的字符等判定结果。

另外，判定部18对处于稳定状态的判定对象的生产节拍的第2要素进行群集(步骤S11)。具体而言，判定部18将基于判定为处于稳定状态的判定对象的生产节拍的第2要素的矢量的信息存储于群集信息存储部17。判定部18对群集信息存储部17的群集信息进行编辑，将基于判定为处于稳定状态的判定对象的生产节拍的第2要素的矢量的信息追加至稳定状态数据组41。判定部18在图4所示的稳定状态数据组41包含此次判定为处于稳定状态的生产节拍的第2要素，在需要的情况对中心坐标42进行再次计算。由此，判定部18能够将存储于群集信息存储部17的群集信息设为最新的状态。

此外，在非稳定检测装置1中，说明了作为用于对制造工序的状态进行检测的信息而使用图像数据的情况，但用于对制造工序的状态进行检测的信息并不限定于图像数据。非稳定检测装置1例如还可以使用从对在制造工序中设置的冲压机等的压力进行测量的压力计、对在空气压力下动作的活塞中流动的空气进行测量的流量计等测量器得到的数值等测量数据，即使用对制造设备的动作的状态进行测量的测量器的值。另外，非稳定检测装置1还可以使用在制造工序中使用的各设备的日志记录数据作为用于对制造工序的状态进行检测的信息。数据取得部11取得上述的数值等测量数据、或者日志记录数据。

另外，在群集信息存储部17中，对使用了在过去判定为稳定状态的生产节拍的第2要素的信息的稳定状态数据组41进行存储，使用新判定为稳定状态的生产节拍的第2要素的信息而对稳定状态数据组41进行更新，但存在数据量变得过多的担忧。因此，判定部18也可以在稳定状态数据组41的容量达到一定量的情况下，按照取得时期的先后顺序而将第2要素的信息从稳定状态数据组41中删除，也可以将经过恒定期间后的第2要素的信息从稳定状态数据组41中删除。

另外，要素提取部12将在提取了第2要素时使用的1个生产节拍的第1要素存储于图像信息存储部22，但也可以以从第1要素复原后的图像数据的状态存储于图像信息存储部22。在该情况下，需要增大图像信息存储部22的容量，但由于可以不利用显示生成部20根据第1要素对图像数据进行复原，因此，能够将显示生成部20的结构简化。

另外，操作者4经由操作接受部19而对判定部18设定判定阈值，但为了将判定阈值设定为数值而需要操作者4熟知制造工序的非稳定检测对象的装置。因此，操作者4也可以参照显示于显示部21的非稳定状态时的图像信息而对判定阈值进行变更。另外，对于由于作为判定阈值而设定的值不适当引起的误检测为非稳定状态的生产节拍的第2要素，操作者4也可以经由操作接受部19而对判定部18进行操作，选择判定对象的生产节拍的第2要素作为稳定状态数据组41而在群集信息存储部17进行群集。操作者4可以根据判定部18的判定结果而动态地对判定阈值进行变更，也可以不将判定阈值设为唯一的值而是能够设定迟滞。

下面，对非稳定检测装置1的硬件结构进行说明。在非稳定检测装置1中，数据取得部11由能够接收图像数据等的接口回路来实现。外部装置连接接口14由能够在与外部装置3之间进行数据的收发的接口回路来实现。操作接受部19由鼠标、键盘等装置来实现。显示部21由LCD(Liquid Crystal Display)等显示器来实现。包含第1要素存储部13、第2要素存储部16、群集信息存储部17、以及图像信息存储部22在内的存储部23由存储器来实现。要素提取部12、第1要素分割部15、判定部18、以及显示生成部20由处理回路来实现。处理回路可以是专用的硬件，也可以是用于执行在存储器储存的程序的CPU(Central ProcessingUnit)以及存储器。

图7是表示由CPU 91以及存储器92构成实施方式1涉及的非稳定检测装置1的处理回路的情况的例子的图。在处理回路由CPU91以及存储器92构成的情况下，要素提取部12、第1要素分割部15、判定部18、以及显示生成部20的各功能由软件、固件、或者软件和固件的组合来实现。软件或者固件被记述为程序，储存于存储器92。在处理回路中，通过由CPU 91对在存储器92存储的程序进行读取并执行，从而实现各功能。

CPU 91可以是处理装置、运算装置、微处理器、微机、处理器、或者DSP(DigitalSignal Processor)等。另外，例如RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等非易失性或者易失性的半导体存储器、磁盘、软盘、光盘、压缩盘、迷你盘、或者DVD(Digital VersatileDisc)等属于存储器92。实现存储部23的存储器也可以是存储器92。

如以上说明的那样，根据本实施方式，在非稳定检测装置1中，针对生产线等伴随有动作的作业单位即1个生产节拍的监视对象，利用图像压缩技术从拍摄监视对象得到的连续图像组的各图像数据中，提取表示各图像数据的频率的特征的第1要素，利用图像压缩技术从1个生产节拍的第1要素中，提取表示第1要素的时间性变化的特征的第2要素，使用判定对象的生产节拍的第2要素、以及包含在过去判定为稳定状态的生产节拍的第2要素的数据组在内的群集信息，对判定对象的生产节拍是非稳定状态还是稳定状态进行判定。由此，非稳定检测装置1能够将在稳定状态中伴随有动作的监视对象作为对象而对非稳定状态进行检测。另外，非稳定检测装置1在将在稳定状态下伴随有动作的监视对象作为对象的情况下，在2个阶段利用图像压缩技术进行处理，由此与直接使用拍摄监视对象得到的图像数据的情况相比，能够以少的信息量对非稳定状态进行检测。

实施方式2.

在实施方式2中，说明非稳定检测装置1在多个监视对象中对非稳定状态进行检测的情况。

图8是表示实施方式2涉及的非稳定检测系统6的结构例的图。非稳定检测系统6具有非稳定检测装置1、多个外部装置3，是非稳定检测装置1和各外部装置3经由网络5而连接的系统。在实施方式1中，非稳定检测装置1与1个拍摄装置2连接，针对由拍摄装置2拍摄的1个监视对象的生产线而对非稳定状态的生产节拍进行了检测。然而，在非稳定检测装置1中，如果要素提取部12的处理能力、以及存储部23的容量等存在富余，则还能够以多个生产线作为监视对象。在监视对象为多个的情况下，多个拍摄装置2将各个拍摄装置对规定的监视对象进行拍摄而得到的图像数据输出至非稳定检测装置1。在图8中，可以构成为，使拍摄装置2包含于外部装置3例如可编程控制器，将非稳定检测装置1作为对生产线进行管理的生产管理装置。在该情况下，非稳定检测装置1能够将各生产线中在运转时所控制的数据的时间顺序的转变或者运转状况作为波形即要素而进行提取，进行分析。由此，操作者4能够根据非稳定检测系统6的非稳定检测装置1所实施的非稳定状态的生产节拍的检测状况，将各制造工序之间的波动、不均匀、以及浪费等进行定量化，能够执行各制造工序的优化。

此外，在非稳定检测系统6中，非稳定检测装置1针对各个监视对象的生产线而对非稳定状态进行检测的处理本身与实施方式1时的处理相同。

如以上说明的那样，根据本实施方式，非稳定检测装置1将多个监视对象作为对象而对非稳定状态进行检测。由此，无需具备监视对象的量的非稳定检测装置1，能够以低成本实现将多个监视对象作为对象而对非稳定状态进行检测的系统。

以上的实施方式所示出的结构表示的是本发明的内容的一个例子，也可以与其他公知技术进行组合，还可以在不脱离本发明的主旨的范围对结构的一部分进行省略、变更。

标号的说明

1非稳定检测装置，2拍摄装置，3外部装置，4操作者，5网络，6非稳定检测系统，11数据取得部，12要素提取部，13第1要素存储部，14外部装置连接接口，15第1要素分割部，16第2要素存储部，17群集信息存储部，18判定部，19操作接受部，20显示生成部，21显示部，22图像信息存储部，23存储部。