一种人机会话满意度预测方法及系统

摘要

本发明公开一种人机会话满意度预测方法及系统，方法包括：获取多个训练人机会话的满意度训练数据；以训练人机会话的会话特征作为训练样本，以对应的满意度结果作为目标值进行分类模型训练，得到分类模型；获取实际人机会话，提取所述实际人机会话的会话特征，将所述实际人机会话的会话特征输入所述分类模型得到经过分类模型预测的满意度结果。本发明在预测满意度时，可以很容易添加或删除影响预测的会话特征，并且通过统计方式，不再需要直接考虑各个特征具体需要设定的权重，而只需要选择合适的分类模型，利用分类模型对训练样本的学习，自动完成权重设定。

说明书

技术领域

本发明涉及人机会话相关技术领域特别是一种人机会话满意度预测方法及系统。

背景技术

问答系统是能够识别用户输入的自然语言文本语句，并做出相应回答的计算机程序。它通过对用户输入语句的处理分析，最终执行用户请求，返回用户关心的信息，其中包含语句分词、实体识别、语义识别、任务处理及应答等自然语言处理相关技术。

问答系统中，回答的精准性，实时性，惊喜性等都是比较重要的指标，而提高这些性能的最终目的都是为了服务于客户，让顾客满意度。为了更好的服务于客服，需要知道什么样的用户在什么情况下能够满意度，这样就能有针对性的对可能不满意度的客户进行额外的操作。

现有的满意度预测主要是通过人工制定规则方式进行预测，比如用户问话里出现负面情绪，则认为客户可能不满意度，又如客户以前是喜欢打满意度客服，则认为客户不会打不满意度等等，然后给各种方式制定权重，然后加权求出最后的满意度预测情况。

然而，通过制定规则，然后进行加权投票是一种比较原始的处理方式，需要大量的实验来调整各种规则的权重，如果规则种类过多，并且各自存在一定的关联时，人工处理复杂度会成倍的增长，也不易维护；一些对满意度不是直接影响的规则，也不容易处理。

发明内容

基于此，有必要针对现有技术对与客户的满意度预测较为复杂的技术问题，提供一种人机会话满意度预测方法及系统。

一种人机会话满意度预测方法，包括：

训练数据收集步骤，包括：获取多个训练人机会话的满意度训练数据，每个所述满意度训练数据包括用户关于该次训练人机会话的满意度结果以及在该次训练人机会话中所提取的会话特征；

语料训练步骤，包括：以训练人机会话的会话特征作为训练样本，以对应的满意度结果作为目标值进行分类模型训练，得到分类模型，所述分类模型将作为训练样本的会话特征与作为目标值的满意度结果进行归类关联；

满意度预测步骤，包括：获取实际人机会话，提取所述实际人机会话的会话特征，将所述实际人机会话的会话特征输入所述分类模型得到经过分类模型预测的满意度结果。

一种人机会话满意度预测系统，包括：

训练数据收集模块，用于：获取多个训练人机会话的满意度训练数据，每个所述满意度训练数据包括用户关于该次训练人机会话的满意度结果以及在该次训练人机会话中所提取的会话特征；

语料训练模块，用于：以训练人机会话的会话特征作为训练样本，以对应的满意度结果作为目标值进行分类模型训练，得到分类模型，所述分类模型将作为训练样本的会话特征与作为目标值的满意度结果进行归类关联；

满意度预测模块，用于：获取实际人机会话，提取所述实际人机会话的会话特征，将所述实际人机会话的会话特征输入所述分类模型得到经过分类模型预测的满意度结果。

本发明通过对分类模型进行训练，采用分类模型对实际人机会话进行满意度预测，在预测满意度时，可以很容易添加或删除影响预测的会话特征，并且通过统计方式，不再需要直接考虑各个特征具体需要设定的权重，而只需要选择合适的分类模型，利用分类模型对训练样本的学习，自动完成权重设定。

附图说明

图1为本发明一种人机会话满意度预测方法的工作流程图；

图2为本发明一种人机会话满意度预测系统的结构图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为本发明一种人机会话满意度预测方法的工作流程图，包括：

步骤S101，包括：获取多个训练人机会话的满意度训练数据，每个所述满意度训练数据包括用户关于该次训练人机会话的满意度结果以及在该次训练人机会话中所提取的会话特征；

步骤S102，包括：以训练人机会话的会话特征作为训练样本，以对应的满意度结果作为目标值进行分类模型训练，得到分类模型，所述分类模型将作为训练样本的会话特征与作为目标值的满意度结果进行归类关联；

步骤S103，包括：获取实际人机会话，提取所述实际人机会话的会话特征，将所述实际人机会话的会话特征输入所述分类模型得到经过分类模型预测的满意度结果。

本发明在步骤S101中获取多个满意度训练数据，并进行会话特征提取，在步骤S102中以会话特征作为训练样本进行分类模型训练，得到分类模型。分类模型包括逻辑回归、向量机(Support Vector Machine，SVM)、随机森林等模型，是通过各种特征把实例分到一个已知的类别的模型。在步骤S103中，从获取到的实际人机会话中提取会话特征，并输入步骤S102训练所得到的分类模型，从而得到预测后的满意度结果。

本发明可以很容易添加或删除影响预测的会话特征，并且通过统计方式，不再需要直接考虑各个特征具体需要设定的权重，而只需要选择合适的分类模型，利用分类模型对训练样本的学习，自动完成权重设定。

当得到经过分类模型预测的满意度结果后，可以利用该满意度结果，调整人机会话中的机器人回答策略，或者进行告警以提示后台人工客服进行跟进。

在其中一个实施例中，还包括：

告警步骤，包括：如果经过分类模型预测的满意度结果满足预设的警告条件，则向与所述人机会话对接的人工客服告警装置发出告警信息。

本实施例中，当满意度结果满足预设的警告条件，则在人工客服告警装置中发出告警信息，提醒人工客服辅助机器人服务客户。警告条件根据满意度结果进行设置，例如如果满意度结果仅有满意或不满意两者，则警告条件为：“满意度结果为不满意”，如果满意度结果采用星级标识，例如最满意为五星、满意为四星、一般为三星、不满意为二星、最不满意为一星，则警告条件可以为：“满意度结果小于三星”。具体的设置本领域普通技术人员在阅读本专利后可以根据实际情况设置。

会话特征可以为：用户问题的种类、用户来源入口、用户咨询商品分类信息等。

在其中一个实施例中：

所述训练人机会话包括至少一个训练用户问题，在训练人机会话中所提取的会话特征包括：由所述训练用户问题转换而成的问题种类；

所述实际人机会话包括至少一个实际用户问题，在实际人机会话中所提取的会话特征包括：由所述实际用户问题转换而成的问题种类。

如表1所示为一个训练用户问题转换为问题种类的列表，实际用户问题转换为问题种类可以采用相同或类似的方式实现。

SessionID 用户问题 问题种类 用户来源入口 …… 满意结果 Session1 这个商品怎么没货呀 商品库存查询 Online   满意 Session1 什么时候到货呀 什么时候有货 Online                 Session2 我下了一个订单 订单查询 Other   不满意 Session2 什么时候到货呀 配送时间 Other                 Session3 你好呀 问候语 Other   满意

 

Session3 这个商品什么时候有货 什么时候有货 Other    

表1中，SessionID用于标识训练人机会话，相同的训练人机会话采用同一个SessionID。用户问题可以采用现有的语义分析及单词划分方法提取其中的关键词，从而将其归类到合适的问题种类中。

在人机会话中，用户对机器人提出各种问题，机器人根据问题做出反应，自动进行回答。不同类型的问题，用户的满意程度不同，例如对于什么时候有货这类问题，由于机器人能够从仓存系统中获得信息，因此能很好地回答用户问题，因此容易让用户感到满意，而对于其他问题，机器人可能未必能够获得准确答案，或者机器人未必能够准确理解用户问题，该类情况较容易让用户感到不满。因此本发明将用户的会话特征归类为问题种类，并根据问题种类以判断用户的满意度。

在其中一个实施例中：

在训练人机会话中所提取的会话特征还包括：所述训练人机会话的来源入口；

在实际人机会话中所提取的会话特征还包括：所述实际人机会话的来源入口。

如表1所示例子，不同的来源入口会导致机器人所获取信息的不同，因此，通过不同的来源入口进行区分能增加满意度预测的准确性。

在其中一个实施例中：

将在训练人机会话中所提取的会话特征转换为特征向量，所述步骤S102中，以训练人机会话的会话特征对应的特征向量作为训练样本进行分类模型训练，所述特征向量包括与训练人机会话中所提取的会话特征对应的问题种类以及所述训练人机会话的来源入口一一对应的位，且特征向量中与训练人机会话所包括的会话特征对应的问题种类相对应的位置位，特征向量中与训练人机会话的来源入口相对应的位置位；

将在实际人机会话中所提取的会话特征转换为特征向量，所述步骤S103中，以实际人机会话的会话特征对应的特征向量输入所述分类模型得到经过分类模型预测的满意度结果，所述特征向量包括与实际人机会 话中所提取的会话特征对应的问题种类以及所述实际人机会话的来源入口一一对应的位，且特征向量中与实际人机会话所包括的会话特征对应的问题种类相对应的位置位，特征向量中与实际人机会话的来源入口相对应的位置位。

将同一训练人机会话或者同一实际人机会话中的会话特征合并为一个特征向量，从而便于后续分类模型的训练及计算。

在其中一个实施例中：

所述在训练人机会话中所提取的会话特征还包括：所述满意度训练数据对应用户的历史行为特征；

所述在实际人机会话中所提取的会话特征还包括：所述实际人机会话对应用户的历史行为特征。

用户的历史行为特征指的是用户在历史的人机会话中对满意度结果的历史评价。例如如果用户的满意度结果多数都是满意，则同样的用户对于在实际人机会话中的满意度结果的评价仍然为满意的概率就较大。

在其中一个实施例中：所述人机会话为购物系统人机会话；

所述在训练人机会话中所提取的会话特征还包括：所述满意度训练数据对应用户的购物状态；

所述在实际人机会话中所提取的会话特征还包括：所述实际人机会话对应用户的购物状态。

在购物过程中，用户不同的购物状态会对其满意度有较大的影响，例如用户在下单后如果是查询配送时间则容易不满，而在下单前如果只是询问什么时候有货，则较容易满意。

作为本发明的最佳实施例，以台湾大学的Chih-Jen Lin博士开发的Liblinear作为分类模型工具，其中solverType(算法类型)选用L2R_LR(L2正规化的逻辑回归算法)，C(惩罚因子)设置为4.0，eps(迭代停止阈值)设为0.01。

其中，Liblinear训练模型所需要的数据，输入为一个二维矩阵，其中每一行是一个样本向量，每一列代表一个特征，表示样本在此特征的值，对于每一个样本，都对应有一个目标值。

Liblinear把所有输入数据，训练成一个模型文件，当需要做识别的时候，输入一个样本向量，就可以预测出其可能的目标值。

对于满意度预测，定义每一通会话(包含多次问答)为一个训练样本，多个问答中所有特征合并成一个特征向量，用户真实评价结果作为目标值，比如，对于JIMI的数据，取一个月的数据训练，抽取问题种类、入口来源、用户等级等特征，如果出现指定特征，特征值取1，对于多值离散特征，分解成多个特征，出现的那个离散特征值取1，对于没有出现的特征，不用处理。

对话如表1所示，转换后的二维矩阵样例如表2所示，通过程序读取语料，并转换为Liblinear需要的输入格式，形成训练集训练，得到分类模型，然后在用户来JIMI提问时进行预测。

表2

通过使用分类模型，对于预测用户对话是否满意提供了理论依据，并且降低了人工抽取、分析特征重要性，并设定权重的时间，同事发现有用属性时，添加验证也很容易。有了满意度预测，更容易掌握机器人服务用户情况，并可以根据具体情况做出及时调整，满足不同用户需求。

如图2所示为本发明一种人机会话满意度预测系统的结构图，包括：

训练数据收集模块201，用于：获取多个训练人机会话的满意度训练数据，每个所述满意度训练数据包括用户关于该次训练人机会话的满意度结果以及在该次训练人机会话中所提取的会话特征；

语料训练模块202，用于：以训练人机会话的会话特征作为训练样本，以对应的满意度结果作为目标值进行分类模型训练，得到分类模型，所述分类模型将作为训练样本的会话特征与作为目标值的满意度结果进行归类关联；

满意度预测模块203，用于：获取实际人机会话，提取所述实际人机会话的会话特征，将所述实际人机会话的会话特征输入所述分类模型得到经过分类模型预测的满意度结果。

在其中一个实施例中，还包括：

告警模块，用于：如果经过分类模型预测的满意度结果满足预设的警告条件，则向与所述人机会话对接的人工客服告警装置发出告警信息。

在其中一个实施例中：

所述训练人机会话包括至少一个训练用户问题，在训练人机会话中所提取的会话特征包括：由所述训练用户问题转换而成的问题种类；

所述实际人机会话包括至少一个实际用户问题，在实际人机会话中所提取的会话特征包括：由所述实际用户问题转换而成的问题种类。

在其中一个实施例中：

在训练人机会话中所提取的会话特征还包括：所述训练人机会话的来源入口；

在实际人机会话中所提取的会话特征还包括：所述实际人机会话的来源入口。

在其中一个实施例中：

将在训练人机会话中所提取的会话特征转换为特征向量，所述语料训练步骤中，以训练人机会话的会话特征对应的特征向量作为训练样本进行分类模型训练，所述特征向量包括与训练人机会话中所提取的会话特征对应的问题种类以及所述训练人机会话的来源入口一一对应的位， 且特征向量中与训练人机会话所包括的会话特征对应的问题种类相对应的位置位，特征向量中与训练人机会话的来源入口相对应的位置位；

将在实际人机会话中所提取的会话特征转换为特征向量，所述满意度预测步骤中，以实际人机会话的会话特征对应的特征向量输入所述分类模型得到经过分类模型预测的满意度结果，所述特征向量包括与实际人机会话中所提取的会话特征对应的问题种类以及所述实际人机会话的来源入口一一对应的位，且特征向量中与实际人机会话所包括的会话特征对应的问题种类相对应的位置位，特征向量中与实际人机会话的来源入口相对应的位置位。

在其中一个实施例中：

所述在训练人机会话中所提取的会话特征还包括：所述满意度训练数据对应用户的历史行为特征；

所述在实际人机会话中所提取的会话特征还包括：所述实际人机会话对应用户的历史行为特征。

在其中一个实施例中：所述人机会话为购物系统人机会话；

所述在训练人机会话中所提取的会话特征还包括：所述满意度训练数据对应用户的购物状态；

所述在实际人机会话中所提取的会话特征还包括：所述实际人机会话对应用户的购物状态。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。