客服对话内容的语义检索方法、系统、设备及存储介质

摘要

本发明提供了客服对话内容的语义检索方法、系统、设备及存储介质，该方法中训练阶段包括：预训练语言模型，通过Bert模型进行预训练；挖掘OTA客服质检领域的关键词；进行新词发现挖掘OTA质检专属词汇，并加入到OTA质检分词词典，替换搜索服务器自带的分词器；预训练语言模型，通过词向量模型进行预训练；基于数据库内全量文本的向量索引构建及增量更新；构建正负样本进行查询与文本的排序模型；预测使用阶段包括：查询理解，检索使用阶段；查询文本召回，使用搜索服务器进行检索；查询向量检索召回；对于召回结果取并集，反馈给用户；按搜索服务器中的BM25模型进行打分。本发明能够对搜索结果利用排序模型进行打分，提高客服对话的语义检索的效率。

说明书

技术领域

本发明涉及语义检索领域，具体地说，涉及客服对话内容的语义检索方法、系统、设备及存储介质。

背景技术

客服质检是OTA客服领域一个很重要的环节，质检人员会通过查看客服服务的对话内容来发现一些潜在的问题进行解决，目前主流的方法是基于ElasticSearch的关键词进行全文检索，准确率与召回均存在局限性。比如，用户在住酒店中会遇到一些问题如“杀熟”，会像客服进行反馈，了解用户问题并进行处是提升客户体验的重要手段。因此OTA领域会存在一些专业的质检方面的词汇，比如“海鲜价”，“到店无房”，“信用卡盗刷”等，如果不针对性的处理，仅仅通过关键词的检索，搜索的准确率会比较差，返回的结果太多也会影响质检人员的效率，同时也无法得到想要的结果，但如果使用精确匹配的方式，又会造成召回存在问题。

因此，本发明提供了一种客服对话内容的语义检索方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供客服对话内容的语义检索方法、系统、设备及存储介质，克服了现有技术的困难，能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

本发明的实施例提供一种客服对话内容的语义检索方法，包括训练阶段和预测使用阶段；

所述训练阶段包括以下步骤：

S110、预训练语言模型，通过Bert模型进行预训练；

S120、挖掘OTA客服质检领域的关键词；

S130、进行新词发现挖掘OTA质检专属词汇，并加入到OTA质检分词词典，替换Elastic Search搜索服务器自带的分词器；

S140、预训练语言模型，通过Word2Vec词向量模型进行预训练；

S150、基于数据库内全量文本的向量索引构建及增量更新；以及

S160、构建正负样本进行查询与文本的排序模型；

所述预测使用阶段包括以下步骤：

S210、查询理解，检索使用阶段；

S220、查询文本召回，使用Elastic Search搜索服务器进行检索；

S230、查询向量检索召回；

S240、对于所述召回结果取并集，反馈给用户；以及

S250、按Elastic Search搜索服务器中的BM25模型进行打分。

优选地，所述步骤S120中包括以下步骤：根据用户查询的埋点进行搜集，统计词频；

所述步骤S130中包括以下步骤：将高于预设词频的关键词加入到OTA质检分词词典。

优选地，所述步骤S140中包括：收集OTA场景的语料，使用Word2Vec词向量模型预训练。

优选地，所述步骤S150中包括以下步骤：

S151、使用所述Bert预训练语言模型获得文本的语义句向量表示；

S152、使用Faiss工具对向量建立索引，并通过压缩算法对向量进行降维压缩；

S153、将向量索引进行序列化为文本形式存储；

S154、对于增量的文本，设置定时任务进行索引的更新。

优选地，所述步骤S160中包括以下步骤：

S161、收集并标注数据

S162、文本预处理，过滤纯数字、标准化处理：比如全角转半角、繁体转简体、大小写转化；

S163、对话用户语句文本向量化；对于前一步骤得到的文本，使用前述预训练Bert语言模型的结果，作为模型输入；

S164、使用神经网络对句子进行向量编码，将标有正负样本的文本使用Bert排序模型进行微调，捕捉文本的语义信息，通过softmax层获取文本属于的句式类型。

S165、训练神经网络参数，得到排序模型，多次迭代后得到深度学习模型。

优选地，所述步骤S210中包括以下步骤：

S211、文本预处理：对用户输入的文本进行规范处理；

S212、使用分词器，结合所述OTA质检分词词典，对用户查询进行分词以及基于多个同义词词林、语义网络以及词向量模型进行扩展；

S213、根据所述查询扩展，获得查询组合，对所述查询组合进行打分排序，将最前的n个作为查询列表。

优选地，所述步骤S212中，使用hanlp分词器，结合前述OTA质检领域专属词典，对用户查询进行分词；对查询的每个词，依次使用同义词词林进行扩展；对查询的每个词，依次使用Hownet语义网扩展；对查询的每个词，依次使用前述预训练好的词向量模型word2vec进行扩展。

优选地，所述步骤S220中，根据所述查询列表，使用Elastic Search进行检索。

优选地，所述步骤S230中，对查询的文本，使用前述预训练好的Bert模型，使用Faiss基于向量进行检索，找到数据库中与查询语义相似度最高的前K个文本。

本发明的实施例还提供一种客服对话内容的语义检索系统，用于实现上述的客服对话内容的语义检索方法，所述客服对话内容的语义检索系统包括：

所述训练模块包括：

模型预训模型子模块，预训练语言模型，通过Bert模型进行预训练；

关键词子模块，挖掘OTA客服质检领域的关键词；

词汇替换子模块，进行新词发现挖掘OTA质检专属词汇，并加入到OTA质检分词词典，替换Elastic Search搜索服务器自带的分词器；

词向量预训子模块，预训练语言模型，通过Word2Vec词向量模型进行预训练；

向量索引子模块，基于数据库内全量文本的向量索引构建及增量更新；以及

排序模型子模块，构建正负样本进行查询与文本的排序模型；

所述预测使用模块包括以下步骤：

查询理解子模块，查询理解，检索使用阶段；

文本召回子模块，查询文本召回，使用Elastic Search搜索服务器进行检索；

检索召回子模块，查询向量检索召回；

结果反馈子模块，对于所述召回结果取并集，反馈给用户；以及

模型打分子模块，按Elastic Search搜索服务器中的BM25模型进行打分。

本发明的实施例还提供一种客服对话内容的语义检索设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述客服对话内容的语义检索方法的步骤。

本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述客服对话内容的语义检索方法的步骤。

本发明的目的在于提供客服对话内容的语义检索方法、系统、设备及存储介质，能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的客服对话内容的语义检索方法的流程图。

图2是本发明的客服对话内容的语义检索系统的模块示意图。

图3是本发明的客服对话内容的语义检索设备的结构示意图。

图4是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

图1是本发明的客服对话内容的语义检索方法的流程图。如图1所示，本发明的实施例提供一种客服对话内容的语义检索方法，包括训练阶段和预测使用阶段。

训练阶段包括以下步骤：

S110、预训练语言模型，通过Bert模型进行预训练。

S120、挖掘OTA客服质检领域的关键词。

S130、进行新词发现挖掘OTA质检专属词汇，并加入到OTA质检分词词典，替换Elastic Search搜索服务器自带的分词器。

S140、预训练语言模型，通过Word2Vec词向量模型进行预训练。

S150、基于数据库内全量文本的向量索引构建及增量更新。以及

S160、构建正负样本进行查询与文本的排序模型。

预测使用阶段包括以下步骤：

S210、查询理解，检索使用阶段。

S220、查询文本召回，使用Elastic Search搜索服务器进行检索。

S230、查询向量检索召回。

S240、对于召回结果取并集，反馈给用户。以及

S250、按Elastic Search搜索服务器中的BM25模型进行打分。

在一个优选方案中，步骤S120中包括以下步骤：根据用户查询的埋点进行搜集，统计词频。

步骤S130中包括以下步骤：将高于预设词频的关键词加入到OTA质检分词词典。

在一个优选方案中，步骤S140中包括：收集OTA场景的语料，使用Word2Vec词向量模型预训练。

在一个优选方案中，步骤S150中包括以下步骤：

S151、使用Bert预训练语言模型获得文本的语义句向量表示。

S152、使用Faiss工具对向量建立索引，并通过压缩算法对向量进行降维压缩。

S153、将向量索引进行序列化为文本形式存储。

S154、对于增量的文本，设置定时任务进行索引的更新。

在一个优选方案中，步骤S160中包括以下步骤：

S161、收集并标注数据

S162、文本预处理，过滤纯数字、标准化处理：比如全角转半角、繁体转简体、大小写转化。

S163、对话用户语句文本向量化。对于前一步骤得到的文本，使用前述预训练Bert语言模型的结果，作为模型输入。

S164、使用神经网络对句子进行向量编码，将标有正负样本的文本使用Bert排序模型进行微调，捕捉文本的语义信息，通过softmax层获取文本属于的句式类型。

S165、训练神经网络参数，得到排序模型，多次迭代后得到深度学习模型。

在一个优选方案中，步骤S210中包括以下步骤：

S211、文本预处理：对用户输入的文本进行规范处理。

S212、使用分词器，结合OTA质检分词词典，对用户查询进行分词以及基于多个同义词词林、语义网络以及词向量模型进行扩展。

S213、根据查询扩展，获得查询组合，对查询组合进行打分排序，将最前的n个作为查询列表。

在一个优选方案中，步骤S212中，使用hanlp分词器，结合前述OTA质检领域专属词典，对用户查询进行分词。对查询的每个词，依次使用同义词词林进行扩展。对查询的每个词，依次使用Hownet语义网扩展。对查询的每个词，依次使用前述预训练好的词向量模型word2vec进行扩展。

在一个优选方案中，步骤S220中，根据查询列表，使用Elastic Search进行检索。

在一个优选方案中，步骤S230中，对查询的文本，使用前述预训练好的Bert模型，使用Faiss基于向量进行检索，找到数据库中与查询语义相似度最高的前K个文本。

本发明主要采用以下方法实现，主要包含以下步骤进行：

在训练阶段中包括以下步骤：

1.1预训练语言模型：OTA领域Bert预训练

深度学习时代，为了充分训练深层模型参数并防止过拟合，通常需要更多标注数据喂养。在NLP领域，标注数据更是一个昂贵资源。大量无标注数据中进预训练使许多NLP任务获得显著的性能提升。总的来看，预训练模型的优势包括：

1)在庞大的无标注数据上进行预训练可以获取更通用的语言表示，并有利于下游任务；

2)为模型提供了一个更好的初始化参数，在目标任务上具备更好的泛化性能、并加速收敛；

3)是一种有效的正则化手段，避免在小数据集上过拟合(一个随机初始化的深层模型容易对小数据集过拟合)

1.2领域词挖掘：挖掘OTA客服质检领域的关键词及关键短语等

主要根据用户查询(Query)的埋点进行搜集。统计词频

常见搜索领域关键词有如下：

信用卡盗刷 媒体曝光

信息泄露 窥探隐私

消费陷阱 房卡房/积分房

失踪 房卡房

失联 盗刷

擅闯房间 拆单

杀熟 安装摄像头

骚扰 盗用

抢劫 坠亡

强制消费 意外死亡

强卖 台独

强奸 死亡

强绑 身故

殴打 辱华

媒体身份 溺亡

1.3、使用新词发现等功能挖掘OTA质检领域专属词汇，并整理为分词词典，用于替换ElasticSearch自带的分词器。如：

预授权n 1000；

信用住n 1000；

扣押金n 1000；

返现券n 1000；

取消险n 1000；

大床房n 1000。

预训练语言模型：OTA领域Word2Vec预训练

收集OTA场景的语料，包含IM及ASR的数据源，通过前述优化的分词工具进行分词，使用谷歌开源word2vec工具进行训练。

1.4、数据库内全量文本的向量索引构建及增量更新，包括以下步骤：

A、使用前述的Bert预训练语言模型得到文本的语义句向量表示，

B、使用Facebook开源工具Faiss对向量建立索引，并通过压缩算法对向量进行降维压缩

C、将向量索引进行序列化为文件形式存储

D、对于增量的文本，设置定时job进行索引的更新。

1.5、可选的，在获取到了足够的点击数据之后，构建正负样本进行查询与document的排序模型。

首先，通过收集并标注数据。文本预处理，过滤纯数字、标准化处理：比如全角转半角、繁体转简体、大小写转化对话用户语句文本向量化。对于前一步骤得到的文本，使用前述预训练Bert语言模型的结果，作为模型输入。使用神经网络对句子进行向量编码。将标有正负样本的文本使用Bert排序模型进行微调，捕捉文本的语义信息，通过softmax层获取文本属于的句式类型。训练神经网络参数，得到排序模型。最后，多次迭代后得到深度学习模型。

在预测使用阶段中包括以下步骤：

2.1查询理解，检索使用阶段：

2.1.1文本预处理：对用户输入的文本进行规范处理，a、替换特殊字符及标点符号b、全角转半角c、繁体转简体d、过滤无含义的语气助词：吗，呢，啊

2.1.2查询扩展，包括以下步骤：

a、使用hanlp分词器，结合前述OTA质检领域专属词典，对用户查询进行分词

b、对查询的每个词，依次使用同义词词林进行扩展

c、对查询的每个词，依次使用Hownet语义网扩展

d、对查询的每个词，依次使用前述预训练好的词向量模型word2vec进行扩展

2.1.3查询扩展过滤

对前述2中的abcd四个查询扩展部分，得到了一系列词汇的组合查询，但是由错误！超链接引用无效。于扩展本身的误差，需要进行过滤，因此，使用语言模型对每个扩展查询进行打分，取Top K作为最终的查询列表。

2.2查询文本召回

1、根据前述得到的查询列表，使用Elastic Search进行检索，在使用中，需要对权重进行设置，原始查询的权重最高，经过试验match_phrase查询比全文检索的准确性更高。

2.3查询向量检索召回，通过对查询的整体，使用前述预训练好的Bert模型，找到数据库中与查询语义相似度Top k的文本。使用Faiss基于向量进行检索。

2.4查询召回内容合并，对于前述的召回结果，取其并集，返回给最终用户。

2.5排序，按ElasticSearch自带BM25进行打分。可选的，利用排序模型进行打分。进行精细化的排序。

之后：OTA客服质检领域针对性的进行优化，首先基于ES的短语匹配+同义词词林扩展+word2vec词向量扩展(训练领域词向量&挖掘领域新词&优化分词效果)+Faiss向量语义检索(OTA预训练语言模型Bert)。

本发明的客服对话内容的语义检索方法能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

图2是本发明的客服对话内容的语义检索系统的模块示意图。如图2所示，本发明的实施例还提供一种客服对话内容的语义检索系统，用于实现上述的客服对话内容的语义检索方法，客服对话内容的语义检索系统5包括训练模块51和预测使用模块52。

训练模块51包括：

模型预训模型子模块511，预训练语言模型，通过Bert模型进行预训练。

关键词子模块512，挖掘OTA客服质检领域的关键词。

词汇替换子模块513，进行新词发现挖掘OTA质检专属词汇，并加入到OTA质检分词词典，替换Elastic Search搜索服务器自带的分词器。

词向量预训子模块514，预训练语言模型，通过Word2Vec词向量模型进行预训练。

向量索引子模块515，基于数据库内全量文本的向量索引构建及增量更新。以及

排序模型子模块516，构建正负样本进行查询与文本的排序模型。

预测使用模块52包括以下步骤：

查询理解子模块521，查询理解，检索使用阶段。

文本召回子模块522，查询文本召回，使用Elastic Search搜索服务器进行检索。

检索召回子模块523，查询向量检索召回。

结果反馈子模块524，对于召回结果取并集，反馈给用户。以及

模型打分子模块525，按Elastic Search搜索服务器中的BM25模型进行打分。

本发明的客服对话内容的语义检索系统能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

本发明实施例还提供一种客服对话内容的语义检索设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的客服对话内容的语义检索方法的步骤。

如上所示，该实施例本发明的客服对话内容的语义检索系统能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图3是本发明的客服对话内容的语义检索设备的结构示意图。下面参照图3来描述根据本发明的这种实施方式的电子设备600。图3显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的客服对话内容的语义检索方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例本发明的客服对话内容的语义检索系统能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

图4是本发明的计算机可读存储介质的结构示意图。参考图4所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，本发明的目的在于提供客服对话内容的语义检索方法、系统、设备及存储介质，本发明的客服对话内容的语义检索系统能够对搜索结果利用排序模型进行打分，进行精细化的排序匹配，输出匹配度高的结果，增强了准确性，大大提高了OTA客服质检对话内容的语义检索的效率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。