自动将专家反馈结合到监测系统中

摘要

本发明为自动将专家反馈结合到监测系统中。提供一种用于更新决策算法的系统、计算机可读介质和方法。在该方法中，使用决策算法评价来自第一装置的运行参数数据，以确定是否应当发送警告。警告指示与第一装置的构件相关联的可能的性能问题。运行参数数据包括第一装置的运行特性的值。当确定发送警告时，创建警告消息，警告消息包括指示第一装置的构件的可能的性能问题的第一指示符。将警告消息发送到第二装置。基于接收自第三装置的第二指示符来更新决策算法。第二指示符或者指示警告有用，或者指示警告没有用。

说明书

背景技术

已经对复杂的电子装置开发出了诊断算法，以识别电子装置的构件中的失效的原因，以及预测特定失效类型的发生，如由安装到电子装置的各种构件上的传感器所产生的运行参数指示的那样。已经采用神经网络、决策树、基于案例的推理等来从由电子装置产生的数据中进行学习，以在诊断的上下文中提供预测和分类。诊断算法大体利用电子装置的构件的广泛的寿命测试来确定用来识别失效或预测失效的关键参数的标称值和阈值。

发明内容

在示例实施例中，提供一种用于更新决策算法的方法。该方法包括(但不限于)使用决策算法评价接收自第一装置的运行参数数据，以确定是否应当发送警告。警告指示与第一装置的构件相关联的可能的性能问题，并且运行参数数据包括第一装置的运行特性的值。当确定发送警告时，创建警告消息，并且将其发送到第二装置。警告消息包括指示第一装置的构件的可能的性能问题的第一指示符。基于接收自第三装置的第二指示符来更新决策算法。第二指示符或者指示警告有用，或者指示警告没有用。

在另一个示例实施例中，提供一种其上存储有计算机可读指令的计算机可读介质，当由计算装置执行时，计算机可读指令使计算装置进行更新决策算法的方法。

在又一个示例实施例中，提供一种系统。该系统包括(但不限于)监测装置。监测装置包括(但不限于)处理器和可操作地耦合到处理器上的计算机可读介质。计算机可读介质在其上存储有指令，当由处理器执行时，该指令使系统进行更新决策算法的方法。

在审阅下图、详细描述和所附权利要求之后，本发明的其它主要特征和优点对本领域技术人员将变得显而易见。

附图说明

参照附图，将在下文中描述示例性实施例，其中，相同标号表示相同要素。

图1描绘根据示例性实施例的装置监测系统的框图；

图2描绘根据示例性实施例的图1的装置监测系统的被监测装置的框图；

图3描绘根据示例性实施例的图1的装置监测系统的监测装置的框图；

图4描绘根据示例性实施例的图1的装置监测系统的警告响应装置的框图；

图5描绘示出了通过使用根据示例性实施例的图3的监测装置的警告决策应用程序来进行的示例操作的流程图；

图6描绘示出了通过使用根据示例性实施例的图4的警告响应装置的警告响应应用程序来进行的示例操作的流程图。

具体实施方式

参照图1，示出根据示例性实施例的装置监测系统100的框图。在示例性实施例中，装置监测系统100可包括监测装置102、多个警告响应装置104、多个被监测装置106和网络108。装置监测系统100的构件可定位在单个设施中，或者在地理上可远离彼此。监测装置102可为任何形状因子的计算机。监测装置102可进一步由一个或多个连接的计算机组成。

监测装置102从多个警告响应装置104中捕捉专家知识，同时远程地监测多个被监测装置106的状况。监测装置102基于由多个被监测装置106的各个装置传输的实时数据来产生关于多个被监测装置106的构件和子系统的自动失效警告。当专家随后调查这种警告时，专家提供关于产生的警告的准确性的二元反馈。随着监测装置102收集来自多个警告响应装置104的反馈以及来自许多装置、专家和事件的警告数据上下文，监测装置102调节各个类型的警告的决策边界，以最大程度地与专家意见一致，从而实现自动学习。

网络108能是任何类型的有线和/或无线公共网络或私人网络，包括蜂窝网络、局域网、诸如互联网的广域网等。网络108可包括相同或不同类型的一个或多个网络。网络108可进一步由子网络组成，以及由任何数量的装置构成。

多个警告响应装置104可包括一个或多个计算装置，计算装置通过网络108将信号发送到监测装置102和/或多个被监测装置106中的一个或多个，以及通过网络108接收来自监测装置102和/或多个被监测装置106中的一个或多个的信号。多个警告响应装置104可包括可组织成子网的任何数量和类型的计算装置。多个警告响应装置104可包括任何形状因子的计算机，诸如个人数字助理114、台式机116、膝上型电脑118、集成式消息传送装置、蜂窝电话120、智能电话、寻呼机等。多个警告响应装置104可包括附加的类型的装置。多个警告响应装置104使用各种传输介质来通信，各种传输介质可为有线或无线的，如本领域技术人员已知的那样。作为示例，现场工程师或技术员可使用多个警告响应装置104的计算装置来接收与多个被监测装置106中的被监测装置有关的警告，接收与被监测装置的当前状况有关的信息，更新被监测装置的状态，与被监测装置通信，将与警告有关的反馈提供给监测装置102等。

多个被监测装置106可包括一个或多个装置，该装置通过网络108将信号发送到监测装置102和/或多个警告响应装置104，以及通过网络108接收来自监测装置102和/或多个警告响应装置104的信号。多个被监测装置106可包括可组织成子网的任何数量和类型的装置。在图1的示例性实施例中，多个被监测装置106可包括计算机断层扫描装置122、磁共振成像装置124和X射线装置126。示例性实施例不意于将多个被监测装置106限于医学成像装置。多个被监测装置106可包括附加的或不同类型的装置，可使用传感器远程地监测装置的状态，以获得装置的一个或多个运行特性。例如，附加的类型的装置可包括在工业过程、运输系统、功率发生等中使用的机器。多个被监测装置106使用各种传输介质来通信，各种传输介质可为有线或无线的，如本领域技术人员已知的那样。

参照图2，示出根据示例性实施例的多个被监测装置106中的被监测装置106a的框图。被监测装置106a可包括输出接口200、传感器201、输入接口202、计算机可读介质204、通信接口206、处理器208、传感器处理应用程序210和显示器212。可将不同的和附加的构件结合到被监测装置106a中。

输出接口200提供用于输出信息供被监测装置106的用户审阅的接口。例如，输出接口200可包括通往显示器212的接口。显示器212可为薄膜晶体管显示器、发光二极管显示器、液晶显示器，或者本领域技术人员已知的多种不同的显示器中的任一个。被监测装置106a可具有使用相同或不同的接口技术的一个或多个输出接口。被监测装置106a另外可通过通信接口206访问显示器212。

传感器201提供被监测装置106a的运行特性的测量值。被监测装置106a可包括多个传感器，传感器使用相同或不同的感测技术来测量被监测装置106a的相同或不同的运行特性的值。例如，传感器201可为测量被监测装置106a的构件的温度的温度计。作为其它示例，传感器201可测量与被监测装置106a的任何构件相关联的电压级别、电流级别、电磁场级别、速度级别、加速度级别、压力级别等。传感器201将测量的参数转换成电信号，电信号输入到输入接口202。

输入接口202提供用于接收来自传感器201的信息的接口，如本领域技术人员已知的那样。输入接口202可使用各种输入技术。被监测装置106a可具有使用相同或不同的输入接口技术的一个或多个输入接口。例如，输入接口202还可提供用于接收来自用户的供输入到被监测装置106中的信息的接口，如本领域技术人员已知的那样。输入接口202可使用各种输入技术，包括(但不限于)键盘、笔和触摸屏、鼠标、跟踪球、触摸屏、按键、一个或多个按钮等，以允许用户将信息输入到被监测装置106a中，或者作出在显示在显示器212上的用户界面中呈现的选择。

计算机可读介质204是信息的电子保持场所或存储，使得处理器208能访问信息，如本领域技术人员已知的那样。计算机可读介质204能包括(但不限于)任何类型的随机存取存储器(RAM)、任何类型的只读存储器(ROM)、任何类型的闪速存储器等，诸如磁存储装置(例如，硬盘、软盘、磁条)、光盘(例如，CD、DVD)、智能卡、闪速存储器装置等。被监测装置106a可具有使用相同或不同的存储器介质技术的一个或多个计算机可读介质。被监测装置106a还可具有支持存储器介质(诸如CD或DVD)的加载的一个或多个驱动器。

通信接口206提供用于使用各种协议、传输技术和介质在装置之间接收和传输数据的接口，如本领域技术人员已知的那样。通信接口206可支持使用各种传输介质的通信，传输介质可为有线或无线的。被监测装置106a可具有使用相同或不同的通信接口技术的一个或多个通信接口。通过使用通信接口206，可在被监测装置106a和监测装置102和/或警告响应装置104a之间传送数据和消息。

处理器208如本领域技术人员已知的那样执行指令。指令可由专用计算机、逻辑电路或硬件电路执行。因而，处理器208可在硬件、固件或这些方法的任何组合中实现，和/或与软件一起实现。术语“执行”是运行应用程序或实施指令所调用的操作的过程。可使用一种或多种编程语言、脚本语言、汇编语言等来编写指令。处理器208执行指令，这表示处理器208进行/控制指令所调用的操作的意思。处理器208可操作地与输出接口200、与输入接口202、与计算机可读介质204和与通信接口206耦合，以接收、发送和处理信息。处理器208可从永久存储装置中取回一组指令，以及将可执行形式的指令拷贝到临时存储装置，临时存储装置一般是某种形式的RAM。被监测装置106a可包括使用相同或不同的处理技术的多个处理器。

传感器处理应用程序210进行与处理来自传感器201的信号相关联的操作，以限定与被监测装置106a的构件的运行特性相关联的值。传感器处理应用程序210可处理多个信号，以形成运行参数数据，运行参数数据发送到监测装置102。传感器处理应用程序210可记录运行参数数据，并且或者不断地或者定期地或者另外按计划将数据发送到监测装置102。因而，可实时地发送运行参数数据。本文描述的操作中的一些或全部可包含在传感器处理应用程序210中。可使用硬件、固件、软件或这些方法的任何组合来实现操作。参照图2的示例实施例，以存储在计算机可读介质204中且可由处理器208访问的软件(由计算机可读指令和/或计算机可执行指令组成)来实现传感器处理应用程序210，以执行包含传感器处理应用程序210的操作的指令。可使用一种或多种编程语言、组件语言、脚本语言等来编写传感器处理应用程序210。

参照图3，示出根据示例性实施例的监测装置102的框图。监测装置102可包括第二输出接口300、第二输入接口302、第二计算机可读介质304、第二通信接口306、第二处理器308、警告决策应用程序310和数据库312。可将不同的和附加的构件结合到监测装置102中。

输出接口300提供用于输出信息供监测装置102的用户审阅的接口。例如，输出接口300可包括通往第二显示器314、扬声器316、打印机318等的接口。第二显示器314可为薄膜晶体管显示器、发光二极管显示器、液晶显示器，或者本领域技术人员已知的多种不同的显示器的任一种。扬声器316可为本领域技术人员已知的多种扬声器中的任一个。打印机318可为本领域技术人员已知的多种打印机中的任一个。监测装置102可具有使用相同或不同的接口技术的一个或多个输出接口。监测装置102另外可通过通信接口306访问第二显示器314、扬声器316和/或打印机318。

第二输入接口302提供用于接收来自用户的信息以输入到监测装置102中的接口，如本领域技术人员已知的那样。第二输入接口302可使用各种输入技术，包括(但不限于)键盘、笔和触摸屏、鼠标、跟踪球、触摸屏、按键、一个或多个按钮等，以允许用户将信息输入到监测装置102中，或者作出在显示在第二显示器314上的用户界面中呈现的选择。同一接口可支持第二输入接口302和第二输出接口300两者。例如，触摸屏允许用户输入，也允许将输出呈现给用户。监测装置102可具有使用相同或不同的输入接口技术的一个或多个输入接口。

第二计算机可读介质304提供与参照被监测装置106a的计算机可读介质204所描述的相同或类似的功能性。第二通信接口306提供与参照被监测装置106a的通信接口206所描述的相同或类似的功能性。第二处理器308提供参照被监测装置106a的处理器208所描述的相同或类似的功能性。

警告决策应用程序310进行与处理接收自多个被监测装置106的运行参数数据相关联的操作，以使用决策算法来确定多个被监测装置106的装置的任何构件即将失效或需要维修行动的可能性。警告决策应用程序310还可确定是否应当发送警告消息。本文描述的运行中的一些或全部可包含在警告决策应用程序310中。可使用硬件、固件、软件或这些方法的任何组合来实现操作。参照图3的示例实施例，以存储在第二计算机可读介质304中且可由第二处理器308访问的软件(由计算机可读指令和/或计算机可执行指令组成)来实现警告决策应用程序310，以执行包含警告决策应用程序310的操作的指令。可使用一种或多种编程语言、汇编语言、脚本语言等来编写警告决策应用程序310。

监测装置102包括数据库312，或者能或者通过直接连接或者通过网络108来访问数据库312。第二计算机可读介质304可对数据库312提供电子存储介质。数据库312是用于装置监测系统100的数据储存库。数据库312可包括多个数据库，数据库可组织成多个数据库层，以改进数据管理和访问。数据库312可利用如本领域技术人员已知的那样的各种数据库技术和多种不同的格式，包括文件系统、关系数据库、表系统、结构化查询语言数据库等。数据库312可实现为单个数据库或多个数据库，该多个数据库存储在分布于互联网或其它异质存储架构上的不同的存储位置中。

参照图4，示出根据示例性实施例的多个警告响应装置104的警告响应装置104a的框图。警告响应装置104a是多个警告响应装置104的示例计算装置。警告响应装置104a可包括第三输出接口400、第三输入接口402、第三计算机可读介质404、第三通信接口406、第三处理器408、警告响应应用程序410、浏览器应用程序411、第三显示器412、第二扬声器414和第二打印机416。可将不同的和附加的构件结合到警告响应装置104中。

第三输出接口400提供与参照监测装置102的第二输出接口300所描述的相同或类似的功能性。第三输入接口402提供与参照监测装置102的第二输入接口302所描述的相同或类似的功能性。第三计算机可读介质404提供与参照监测装置102的第二计算机可读介质304所描述的相同或类似的功能性。第三通信接口406提供与参照监测装置102的第二通信接口306所描述的相同或类似的功能性。第三处理器408提供与参照监测装置102的第二处理器308所描述的相同或类似的功能性。第三显示器412提供与参照监测装置102的第二显示器314所描述的相同或类似的功能性。第二扬声器414提供与参照监测装置102的扬声器316所描述的相同或类似的功能性。第二打印机416提供与参照监测装置102的打印机318所描述的相同或类似的功能性。

警告响应应用程序410进行与对由警告决策应用程序310产生的警告的响应相关联的操作。本文描述的操作中的一些或全部可包含在警告响应应用程序410中。可使用硬件、固件、软件或这些方法的任何组合来实现操作。参照图4的示例实施例，以存储在第三计算机可读介质404中且可由第三处理器408访问的软件(由计算机可读指令和/或计算机可执行指令组成)来实现警告响应应用程序410，以执行包含警告响应应用程序410的操作的指令。可使用一种或多种编程语言、汇编语言、脚本语言等来编写警告响应应用程序410。

警告决策应用程序310和警告响应应用程序410可为相同或不同的应用程序，或者是支持本文描述的相同类型的功能性中的一些或全部的集成的、分布式的应用程序的一部分。警告响应应用程序410可实现为例如在被监测装置106a、监测装置102和/或警告响应装置104a处执行的Web应用程序。可实现警告响应应用程序410来支持任何类型的通信协议。例如，警告响应应用程序410可配置成接收来自诸如多个警告响应装置104和/或多个被监测装置106的客户装置的超文本传输协议(HTTP)请求，以及响应于HTTP请求而发送HTTP响应以及可选的附加数据内容，附加数据内容可包括诸如超文本标记语言(HTML)文档的网页和链接对象。

警告决策应用程序310可进一步提供组织成可在网络108上访问的网站的形式的信息或数据。网站可包括显示特定的一组信息的多个网页，并且可包含通往具有有关或附加的信息的其它网页的超链接。各个网页由统一资源定位符(URL)标识，URL包括计算装置的位置或地址，除了在那个计算装置上的资源的位置之外，该计算装置包含待访问的资源。文件或资源的类型取决于互联网应用协议。例如，HTTP和HTTP安全(HTTPS)描述待由浏览器应用程序访问的网页。访问的文件可为简单的文本文件、图像文件、音频文件、视频文件、可执行程序、公共网关接口应用程序、Java应用程序，或者HTTP支持的任何其它类型的文件。

浏览器应用程序411进行与取回、呈现和遍历由web应用程序和/或web服务器提供的信息资源相关联的操作，如本领域技术人员已知的那样。信息资源由统一资源标识符(URI)标识，并且可为网页、图像、视频或其它内容块。资源中的超链接使得用户导航到有关资源成为可能。示例浏览器应用程序包括网景通讯公司的Navigator、Mozilla公司的Firefox?、Opera软件公司的Opera、微软公司的Internet Explorer?、苹果公司的Safari、谷歌公司的Chrome等，如本领域技术人员已知的那样。如果警告响应应用程序410实现为Web应用程序，则警告响应装置104a可包括浏览器应用程序411，以访问由警告决策应用程序310提供的功能性，而不需要将警告响应应用程序410安装在警告响应装置104a上。因而，警告响应装置104a不必将警告响应应用程序410和浏览器应用程序411两者作为离散的应用程序而包括。

参照图5，描述与警告决策应用程序310相关联的示例操作。可进行附加的、较少或不同的操作，这取决于实施例。图5的操作的呈现顺序不意于为限制性的。因而，虽然按顺序呈现操作流中的一些，但可按各种重复的方式、同时地和/或按与示出的那些不同的顺序来进行各种操作。

在操作500中，从被监测装置106a接收运行参数数据，并且将其保存在第二计算机可读介质304中供处理。在操作502中，处理接收到的运行参数数据，以形成决策数据。可根据运行参数数据来计算决策数据。在示例性实施例中，缩减接收到的运行参数数据，以形成多维决策参数集。在监测MR扫描仪磁冷头失效的示例中，初始数据集是容器氦压力的1000小时的样本。数据首先被非线性去噪声滤波器处理，并且然后通过时间-频率分析将它们分成2个分量：概要分量和细节分量。计算概要分量的斜率(k)和细节分量的能量(E)，并且它们然后形成决策数据(或特征)。在其它实施例中，可在不进一步处理以形成决策数据的情况下使用接收到的运行参数数据。因而，接收到的运行参数数据可为决策数据。

在操作504中，使用决策算法来评价决策数据，以确定被监测装置106a的各种构件的状况。如本领域技术人员所理解的那样，决策算法可提供与被监测装置106a的各种构件相关联的可能的性能问题的检测和诊断。决策算法的示例为，如果(k>threshold_k1)，这指示长期压力升高，并且(E<threshold_E1)，这指示较低的冷头效率，则预测有冷头失效。例如，决策数据可包括被监测装置106a的多个构件的温度。如果温度中的一个或多个偏离“正常”运行范围，则可能的性能问题可与被监测装置106的构件相关联。

决策算法可使用初始数据的训练集来发展被监测装置106a的各种构件的操作的统计模型，包括能与被监测装置106a的类型的恰当运行的装置相关联的运行参数数据的范围。可从多个被监测装置106中记录数据，并且数据可用来发展正常装置的复合模型。这样的模型的示例包括傅里叶频谱系数、被描述成时间-频率分布的小波变换，或者高维数据集的主分量。复合模型然后用作基线，根据该基线来测量现场中的被监测装置106a的性能。决策算法可比较决策数据与决策边界，以及产生与被监测装置106a的各种构件的状况或状态有关的一个或多个决策。例如，决策算法可识别与被监测装置106a的构件相关联的可能的性能问题。可通过决策算法计算可能的性能问题的发生概率。例如，基于决策数据，决策算法可用0.65的概率指示“失效”的决策，以及用0.35的概率指示“正常”的决策。基于来自多个被监测装置106的数据和来自专家的指示性能问题是否有根据的数据，决策算法可调节决策边界，如下面论述的那样。

在操作506中，关于是否应当发送警告进行确定。例如，可将构件的“失效”决策的发生概率与阈值比较，以确定是否应当发送警告。在示例性实施例中，阈值确定发送的警告的数量，但在别的方面对决策边界没有影响。可使用相同或不同的阈值，这取决于可能具有可能的性能问题的构件的类型。例如，一些构件可能在任务上比其它构件更重要。因此，用于产生与那个构件相关联的警告的阈值可低于用于产生与在任务上不那么重要的构件相关联的警告的阈值。

如果确定发送警告，过程在操作508处继续。如果确定不发送警告，过程在操作512处继续。在操作508中，创建和发送警告消息。例如，警告消息发送到警告响应装置104a。警告消息包括指示被监测装置106a的构件的可能的性能问题的第一指示符。警告消息可包括附加的信息，诸如指示专家对警告消息响应的标识符、相关联的运行参数数据或决策数据、警告发送或运行参数数据创建的时间和日期、用名称和/或位置等标识被监测装置106a的装备标识符。警告消息可指示“待处理的失效”或“需要行动”供专家调查。为了避免使专家有偏见，在警告消息中可不包括可能的性能问题的发生概率。

可作出可在相同或不同的警告消息中发送的多个警告确定。例如，来自安装在被监测装置106a上的多个传感器的高温可指示过滤器可能阻塞、风扇可能有故障，或者电路板可能有故障。可针对各个可能的性能问题计算发生概率，并且可单独地确定发送或不发送与识别的各个可能的性能问题相关联的警告。

在操作510中，接收警告响应消息。警告响应消息可接收自警告响应装置104a，并且包括指示警告或者有用或者没有用的指示符。因而，警告响应消息提供指示警告是“有用”或是“妨碍”的反馈。在操作512中，更新警告决策算法。如果接收到警告响应消息，基于指示符和运行参数数据和/或决策数据来更新警告决策算法。如果因为未产生警告而没有接收到警告响应消息，可基于运行参数数据和/或决策数据来更新警告决策算法。

作为更新警告决策算法的一部分，可调节阈值，和/或可更新模型。比较各个反馈与跟失效/正常决策相关联且集成到统计学习机中的统计数据。例如，基于来自专家的反馈，要么失效决策是正确的，要么正常决策是正确的。用各个决策部分的发生概率加权各个决策部分，并且将各个决策部分输入到表示机器-专家决策的所有可能组合的、四个不相交的结果群（00、01、10、11）的样本中。可应用基于“专家可信度”和用以减小旧数据的影响的“遗忘因子”的、附加的加权因子作为更新的一部分。遗忘因子是基于时间的因子，其确保警告决策算法基于最近的环境而进行调节。按比例加权对在边际上正确或错误的决策的反馈，从而使得用来驱动决策边界改变的性能统计数字更准确。

统计学习机计算各个结果群的统计资料，并且计算新的决策边界，从而最大程度地提高专家反馈和原始的失效/正常决策之间的累积一致性。使用k平均聚类等，能将统计学习机实现为例如神经网络、支持向量机。随着运行参数数据继续被从多个被监测装置106中接收和处理，处理在操作500中继续。

参照图6，描述与警告响应应用程序410相关联的示例操作。可进行附加的、较少或不同的操作，这可取决于实施例。图6的操作的呈现顺序不意于为限制性。例如，用户能独立地或通过使用浏览器应用程序411，在警告响应应用程序410的控制下，以可由用户选择的顺序与在第三显示器412中呈现给用户的一个或多个用户界面窗口交互。因而，虽然按顺序呈现了操作流中的一些，但可按各种重复的方式、同时地和/或按与示出的那些不同的顺序进行各种操作。

用户可“登录”，以使用警告响应应用程序410和/或传感器处理应用程序210，如本领域技术人员已知的那样。例如，用户可执行警告响应应用程序410，这使得呈现第一用户界面窗口，第一用户界面窗口可包括多个菜单和选择器，诸如与警告响应应用程序410相关联的下拉菜单、按钮、文本框、超链接等。在示例性实施例中，用户是在诊断和/或修理与被监测装置106a的构件相关联的可能的性能问题方面的现场工程师或装备维修技术员或其它专家。

执行警告响应应用程序410可使用户界面窗口呈现，用户界面窗口可包括多个菜单和选择器，诸如与警告响应应用程序410相关联的下拉菜单、按钮、文本框、超链接等。随着专家/用户与警告响应应用程序410交互，呈现不同的用户界面窗口，以对用户提供与被监测装置106a有关的较多或较少的详细信息和/或针对其发送警告的被监测装置106a的运行参数数据。如本领域技术人员所理解的那样，警告响应应用程序410接收指示符，指示符与用户跟在警告响应应用程序410的控制下呈现的用户界面窗口交互相关联。

在操作600中，接收第一指示符，第一指示符标识专家所响应的警告。例如，用户界面窗口在警告响应应用程序410的控制下呈现，用户界面窗口包括下拉列表，专家能从下拉列表中选择警告或文本框，专家能将警告标识符输入到该文本框中。在操作602中，呈现第二用户界面窗口，其包括警告有用性选择器。例如，警告有用性选择器可包括指示“有用”的第一按钮和指示“妨碍”的第二按钮。作为另一个示例，警告有用性选择器可包括下拉列表，专家从下拉列表中选择或者“有用”或者“妨碍”。作为另外的另一个示例，警告有用性选择器可包括指示“有用”的第一单选按钮和指示“妨碍”的第二单选按钮。

在操作604中，接收第二指示符，第二指示符标识用户使用警告有用性选择器所作的选择。例如，第二指示符可指示选择了第一单选按钮。在操作606中，限定第三指示符，用于将选择传送到监测装置102。第三指示符可与第二指示符相同。作为另一个示例，如果第二指示符指示选择了第一单选按钮，则第三指示符可为“1”，而如果第二指示符指示选择了第二单选按钮，则第三指示符可为“0”。

在操作608中，警告响应消息发送到监测装置102，警告响应消息包括与第一指示符相关联的第三指示符。在操作610中，创建的警告响应消息发送到监测装置102。例如，如果警告响应应用程序410实现为web应用程序，则用户在警告响应装置104a处执行浏览器应用程序411，并且浏览器应用程序411将HTTP消息发送到监测装置102，警告决策应用程序310处理该HTTP消息。如果基于被监测装置106a的运行参数数据产生了多个警告，则专家可与独特地标识各个警告，以及对各个警告是否有用或没有用作出响应。

使用来自专家的、直接输入供警告决策应用程序310处理的二元反馈解决了必须确定各个警告实例的“基础真值”和必须使服务记录与装置运行参数数据相互关联的问题。向专家寻求二元反馈会提高专家将提供反馈以及去除基于文本的反馈所引起的模糊性的可能性。反馈还直接与警告直接联系在一起，警告直接与特定的运行参数数据联系在一起，这避免任何误差和混乱，基于在相似的时间产生的数据，可引起误差和混乱。在许多事件中累积来自许多装置和许多专家的反馈在很大程度上减小一个专家的错误判断或一个装置的失常的影响。

监测装置102可为与警告响应装置104a相同的装置。因而，由警告决策应用程序310进行的处理中的一些或全部可与由警告响应应用程序410和/或浏览器应用程序411进行的处理集成在一起。被监测装置106a可为与警告响应装置104a相同的装置。因而，由传感器处理应用程序210进行的处理中的一些或全部可与由响应应用程序410和/或浏览器应用程序411进行的处理集成在一起。

多种不同类型的用户界面控制可包括在上述用户界面窗口中，非限制性地，诸如按钮、下拉菜单、标签、快捷键、工具条、单选按钮、复选框等，如本领域技术人员已知的那样，以允许用户将信息输入到用户界面中，和/或从用户界面中选择信息。本文描述的那些仅表示能用来提供描述的功能性的控制。

词语“示例性”在本文中用来表示用作示例、实例或说明的意思。在本文中描述成“示例”或“示例性”的任何方面或设计不必理解成比其它方面或设计更优选或有利。另外，为了本公开，且除非另有规定，“一”或“一个”表示“一个或多个”的意思。而且另外，“和”或“或”的使用意于包括“和/或”，除非另有特别的指示。通过使用标准的编程和/或工程技术来产生软件、固件、硬件或它们的任何组合，示例实施例可实现为方法、设备或工业制品，以控制计算机来实现公开的实施例。

已经为了说明和描述的目的来介绍了示例性实施例的前述描述。它不意于为穷尽性的，或者不意于将本发明限于公开的确切形式，而且鉴于以上教导，修改和变形是可行的，或者可通过实践本发明来获得修改和变形。描述的功能性可在单个应用中实现，或者可分布在数量和功能性分布与本文描述的那些不同的模块之中。另外，可取决于实施例来改变功能的执行顺序。选择和描述实施例，以便阐明本发明的原理，而且作为本发明的实际应用，以使得本领域技术人员能够在各种实施例中利用本发明，以及使得构想到的适于特定用途的各种修改。意于的是本发明的范围由所附权利要求和它们的等效物限定。