反馈内容的问题定位方法和装置、计算机设备、存储介质

摘要

本发明实施例公开了一种反馈内容的问题定位方法和装置、计算机设备、存储介质，该方法包括：利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别；获取与所述问题类别对应的至少一个参数抽离模板，分别依据所述至少一个参数抽离模板从反馈内容中抽取出定位参数；获取所述定位参数对应的至少一条校验规则，并根据所述定位参数依次进行校验，得到每条校验规则的校验结果。本发明实施例通过对反馈内容进行分类、定位参数提取和规则校验来定位问题，能够实现对反馈问题的精确的自动定位，而且具有通用性。

说明书

技术领域

本发明实施例涉及计算机技术，尤其涉及一种反馈内容的问题定位方法和装置、计算机设备、存储介质。

背景技术

企业通常都会设有专门的问题反馈渠道，以接收用户反馈的问题，从而不断改进自身的产品和服务，例如，邮件已逐渐成为最主要的反馈渠道之一，而高效的识别邮件以及其他各种反馈内容中的问题，并进行自动定位，能够大大降低客服、研发人员的重复劳动，节约企业成本。

目前，已有企业利用自然语言处理技术来进行问题识别和自动回复，其方法主要是通过对反馈信息拆分关键词或组合，将其与预设问题回复的关键词进行匹配，获取对应的预设回复信息。然而，这种问题的定位精度低，无法做出进一步的分析并定位问题，不具有普适性，从而造成自动回复的内容单一且价值被大大降低，用户体验极差。

发明内容

本发明实施例提供一种反馈内容的问题定位方法和装置、计算机设备、存储介质，以解决现有技术中问题定位精度低且通用性差的问题。

第一方面，本发明实施例提供了一种反馈内容的问题定位方法，该方法包括：

利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别；

获取与所述问题类别对应的至少一个参数抽离模板，分别依据所述至少一个参数抽离模板从反馈内容中抽取出定位参数；

获取所述定位参数对应的至少一条校验规则，并根据所述定位参数依次进行校验，得到每条校验规则的校验结果。

第二方面，本发明实施例还提供了一种反馈内容的问题定位装置，该装置包括：

分类模块，用于利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别；

定位参数抽取模块，用于获取与所述问题类别对应的至少一个参数抽离模板，分别依据所述至少一个参数抽离模板从反馈内容中抽取出定位参数；

规则校验模块，用于获取所述定位参数对应的至少一条校验规则，并根据所述定位参数依次进行校验，得到每条校验规则的校验结果。

第三方面，本发明实施例还提供了一种计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的反馈内容的问题定位方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的反馈内容的问题定位方法。

本发明实施例利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别，依据与所述问题类别对应的至少一个参数抽离模板从反馈内容中抽取出定位参数，最后对所述定位参数对应的至少一条校验规则依次进行校验，得到每条校验规则的校验结果，继而能够实现基于反馈问题的精确的自动定位，而且具有通用性。

附图说明

图1是本发明实施例一中的反馈内容的问题定位方法的流程图；

图2是本发明实施例二中的反馈内容的问题定位方法的流程图；

图3是本发明实施例三中的反馈内容的问题定位装置的结构示意图；

图4是本发明实施例四中的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的反馈内容的问题定位方法的流程图，本实施例可适用于对文本反馈问题进行自动定位的情况，该方法可以由反馈内容的问题定位装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1所示，该方法具体包括：

S110、利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别。

其中，反馈内容可以是通过各种反馈渠道提取出的反馈内容。示例性的，可以是通过邮件反馈系统提取出反馈内容，由此，在S110之前，方法还可以包括：

按照预设频率轮询邮件反馈系统，获取全量反馈邮件；

从所述全量反馈邮件中获取新增反馈邮件，并提取新增反馈邮件中的邮件内容作为所述反馈内容。

具体实现时，首先初始化累计提取的邮件数，例如可记为Sum_Before，接着，按照预设频率轮询邮件反馈系统中的邮件，获取全量反馈内容，例如可记为数组C[N]，显然，本次新增的反馈数目为N与Sum_Before的差值，新增反馈邮件可以通过索引[Sum_Before，N-1]来获取。当提取完毕后，Sum_Before更新为N，并等待下一次的轮询，以此来从全量反馈邮件中获取新增反馈邮件，而从新增反馈邮件中提取的内容即作为所述反馈内容。

示例性的，所述分类器可以是预先训练好的TMSVM(基于SVM的文本挖掘系统)模型。预先训练的过程可以包括：抽取一定数量的历史反馈样本，并对其所属的问题类别分别进行人工标注，例如，业务问题类别、订单问题类别或账户问题类别等，根据具体的应用场景划分不同的业务问题类别；然后对这些样本依次进行分词、剔除停用词或低频词、特征抽取和构建特征向量；最后使用libsvm(一个简单、易于使用和快速有效的SVM模式识别与回归的软件包)生成分类器，得到TMSVM模型。当然，在其他的实施方式中，也可以使用KNN(k-NearestNeighbor，邻近算法，或者说K最近邻算法)或者遗传算法等机器学习的方法来训练得到对应的分类器模型，这里不再赘述。

预先训练好的分类器，可以用于对新增的当前反馈内容进行分类，得到反馈内容所属的问题类别，以便接下来分别对每一种类别进行进一步的问题定位。

S120、获取与所述问题类别对应的至少一个参数抽离模板，分别依据所述至少一个参数抽离模板从反馈内容中抽取出定位参数。

具体的，可以预先配置参数抽离模板库，模板库中，按照问题类别对应有至少一个参数抽离模板，该参数抽离模板中指定了参数提取的规则。示例性的，参数抽离模板可以是一个脚本，脚本由很多个片段组成，每一个片段可以是一个正则规则对应提取一个定位参数。在获取到与问题类别对应的至少一个参数抽离模板之后，通过运行对应的脚本，根据规则提取出进行问题定位所需的定位参数，用于下一步问题自动定位。

例如，若用户a反馈自己在外卖下了个订单，订单编号57781，没有配送，通过分类得到这个反馈是属于订单问题类别。为了进一步细粒度定位，还需要进一步提取定位所需的有价值参数。为此，从参数抽离模板库中获取与“订单问题类别”对应的参数抽离模板。对于订单问题类别对应的定位参数，可以是订单号参数，也可以是诸如配送等隶属于订单问题的类型参数。对于订单号参数，其参数提取的规则可以为：根据信息匹配订单编号或订单号等类似的关键词，如匹配，则提取出这些关键词后面的内容(通常为数字)。于是根据该规则，可以从上述用户a的反馈内容中匹配“订单编号”关键词，于是自动提取出“57781”这一订单号参数。当然，也可以根据类型参数的抽离模板提取出“配送”这一类型参数。此处不再对定位参数和对应的提取规则一一举例。

这里还需要说明的是，由于问题类别和参数抽离模板是预先设定的，而实时获取到的反馈内容以及不同用户对反馈内容的描述方式和语言习惯都存在差异，因此，依据每一个参数抽离模板，并不都能够从当前的反馈内容中抽取出定位参数，而抽取出来的这些定位参数将用于进一步的问题定位。当然，对于问题类别和参数抽离模板，可以根据大量的样本进行统计并根据具体的应用场景来预设，若在实际使用时出现了不属于已有问题类别或通过所有的参数抽离模板都抽取不出定位参数的情况，则可以由人工进行分类和提取定位参数，并完善当前的问题类别的种类和参数抽离模板。

S130、获取所述定位参数对应的至少一条校验规则，并根据所述定位参数依次进行校验，得到每条校验规则的校验结果。

其中，所述校验规则用于表示在各个问题类别下问题出现的情形。具体的，每一个确定的问题类别，可能会有很多问题出现的不同情形，根据每一个不同的情形对应不同的检验规则，可以预先将这些校验规则生成规则库，根据获取到的定位参数从规则库中获取对应的至少一条校验规则。其中，一个定位参数可以对应一条或多条校验规则，一条校验规则也可以对应多个定位参数。

示例性的，针对前述例子中的“订单问题类别”，对应的校验规则可以包括：规则1：如果类型参数为配送，查询订单号在订单库是否下单成功；规则2：如果类型参数为配送，查询订单号是否没有接单记录；规则3：查询订单号对应的配送流程是否出现异常或者没有接收到数据信息等。在上述规则中，规则1中对应有两个定位参数，分别是类型参数和订单号；规则2中对应有两个定位参数，分别是类型参数和订单号；规则3中对应有一个定位参数，订单号。在本例中，由于已经提取出两个定位参数，分别是订单号“57781”和类型参数“配送”，因此，规则1-3均可以作为与之对应的校验规则进行校验。

校验时，将定位参数作为这些规则(例如实现为一组完整的程序片段)的输入，根据具体的规则，通过相关接口的调用，依次由对应的下游应用系统来进行校验并将结果返回，从而得到输出的每条校验规则的校验结果。例如，上述规则1、2都对应到订单系统，规则3对应到配送系统。这些校验结果即为定位的问题所在。

优选的，在得到每条校验规则的校验结果之后，本发明实施例的方法还可以包括：将所述校验结果进行文本拼接后显示。显示的目的是将定位的问题回复给用户或相关人员，以供查看。

本发明实施例利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别，依据参数抽离模板从反馈内容中抽取出定位参数，最后对所述定位参数对应的至少一条校验规则依次进行校验，得到每条校验规则的校验结果，并进行拼接显示，能够实现基于反馈内容的自动定位及回复，并且通过定位参数抽取和校验规则校验，使得自动定位更加准确，并具有一定的通用性，实现了针对不同反馈内容的差异化、深入地定位，而且提高了自动回复内容的有效性。

实施例二

图2为本发明实施例二提供的反馈内容的问题定位方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图2所示，所述方法包括：

S210、判断当前的分类器准确率是否满足预设阈值，若满足，则执行S220，否则执行S270之后分别执行S230、S280。

其中，当前分类器准确率是预先训练好的分类器根据当前训练样本进行预测后计算得到的准确率。

这里需要说明的是，由于抽取的样本直接影响机器学习的效果，为了满足分类器模型能够自迭代更新，不断强化识别的准确率，本发明实施例预先设定准确率阈值，当分类器依据当前训练样本经预测后计算得到的准确率不满足该阈值时，视为精度不准，此时容易产生误判，需要对待分类的反馈内容先进行人工分类与标注，获得经人工处理得到的问题类别后再执行S230进行定位参数抽离。此外，通过执行S280，将该带有人工分类标注的当前反馈内容作为新的训练样本添加至分类器的训练集中，对当前的分类器重新训练，以更新分类器模型。并且，更新后的分类器还需要重新计算器其准确率，以便在对其他反馈内容进行分类之前，用于通过S210再次判断新的准确率是否满足预设阈值。显然的，通过这种方式最终将使分类器效果不断收敛，直至准确率符合预设阈值。其中，关于S230和S280，将在下文中详细描述。

S220、利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别。

S230、获取与所述问题类别对应的至少一个参数抽离模板，分别依据所述至少一个参数抽离模板从反馈内容中抽取出定位参数。

S240、获取所述定位参数对应的至少一条校验规则，并根据所述定位参数依次进行校验，得到每条校验规则的校验结果。

S250、获取人工对所述校验结果的反馈信息，该反馈信息表示对反馈内容的分类是否正确，若反馈信息表示对反馈内容的分类是正确的，则执行S260，若分类不正确，则执行S270之后执行S280，并返回执行S230-S250，直到分类正确为止。

S260、将校验结果进行文本拼接后显示。

S270、转由人工分类并获得问题类别。

S280、将带有人工分类标注的当前反馈内容作为新的训练样本对所述分类器重新训练，由重新训练得到的分类器计算准确率后更新所述当前分类器准确率。

具体的，为了提高问题定位的准确性，本发明实施例在获得校验结果之后，通过人工反馈的方式对分类器的分类结果进行再次确认，若分类正确，则直接将这些校验结果进行文本拼接后显示即可，若分类不正确，则转由人工分类，并根据人工分类的结果重新执行S230-S250，以便重新进行问题定位，直到分类正确为止。此外，同样也需要通过执行S280，对当前的分类器重新训练，并计算出新的准确率，以便在对其他反馈内容进行分类之前，用于通过S210再次判断新的准确率是否满足预设阈值。

本发明实施例通过对当前分类器的准确率是否满足预设阈值进行判断，选择通过分类器进行分类还是通过人工分类以保证对反馈内容分类的准确度，同时更新训练样本以使分类器学习人工处理的结果，从而使分类器效果不断收敛，提高其分类结果的精度。此外，通过人工反馈的方式对分类结果的正确性再次进行校验，并在分类不正确的情况下，经人工分类后再执行接下来问题定位的其他操作，并再次更新训练样本重新训练分类器，从而进一步提高问题定位的准确度。

实施例三

图3是本发明实施例三中的反馈内容的问题定位装置的结构示意图。如图4所示，反馈内容的问题定位装置包括：

分类模块310，用于利用预先训练好的分类器对反馈内容进行分类，得到反馈内容所属的问题类别；

定位参数抽取模块320，用于获取与所述问题类别对应的至少一个参数抽离模板，分别依据所述至少一个参数抽离模板从反馈内容中抽取出定位参数；

规则校验模块330，用于获取所述定位参数对应的至少一条校验规则，并根据所述定位参数依次进行校验，得到每条校验规则的校验结果。

优选的，所述装置还包括：

反馈内容获取模块，用于按照预设频率轮询邮件反馈系统，获取全量反馈邮件，从所述全量反馈邮件中获取新增反馈邮件，并提取新增反馈邮件中的邮件内容作为所述反馈内容。

优选的，所述装置还包括：

准确率判断模块，用于判断当前的分类器准确率是否满足预设阈值，其中，所述当前分类器准确率是所述预先训练好的分类器根据当前训练样本进行预测后计算得到的准确率，若满足预设阈值，则由所述分类模块处理，若不满足预设阈值，则转由人工分类并获得所述问题类别后，由所述定位参数抽取模块处理；

分类器优化模块，用于当所述准确率判断模块判断出当前的分类器准确率不满足预设阈值时，将带有人工分类标注的当前反馈内容作为新的训练样本对所述分类器重新训练，由重新训练得到的分类器计算准确率后更新所述当前分类器准确率。

优选的，所述装置还包括：

结果判断模块，用于获取人工对所述校验结果的反馈信息，该反馈信息表示对反馈内容的分类是否正确，若分类不正确，则转由人工分类并获得所述问题类别后，由所述定位参数抽取模块处理；

相应的，所述分类器优化模块还用于，当所述结果判断模块判断出对反馈内容的分类不正确时，将带有人工分类标注的当前反馈内容作为新的训练样本对所述分类器重新训练，由重新训练得到的分类器计算准确率后更新所述当前分类器准确率。

进一步的，所述装置还包括：

拼接显示模块，用于将所述规则校验模块得到的校验结果进行文本拼接后显示。

本发明实施例所提供的反馈内容的问题定位装置可执行本发明任意实施例所提供的反馈内容的问题定位方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器或者处理单元416，系统存储器428，连接不同系统组件(包括系统存储器428和处理单元416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元416通过运行存储在系统存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的反馈内容的问题定位方法。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的反馈内容的问题定位方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。