网点服务监督方法及系统

摘要

本申请提供了一种网点服务监督方法及系统，涉及智能识别领域，可应用于金融领域和其他领域，所述方法包含：根据当前网点的网点属性确定多个检测区域，根据所述检测区域和待监督对象的身份信息确定监督评价范围；采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集；根据所述向量数据集通过预设表情识别模型分析获得用户预定表情信息的出现频率，将所述出现频率与预设阈值比较获得第一比较结果；根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果。

说明书

技术领域

本申请涉及智能识别领域，可应用于金融领域和其他领域，尤指一种网点服务监督方法及系统。

背景技术

目前，随着人类科学技术的不断发展，人脸识别技术在人们日常生活中越来越普及，无论在人工智能研究还是公共安全应用方面，人脸识别技术一直是一项前沿、热门技术，拥有举足轻重的地位。其中，人脸识别技术中的笑脸识别，是计算机视觉技术领域中一个非常重要的内容，伴随着诸如人脸支付、情感分析、医疗监护等应用需求的增长，人脸识别作为完成人机交互的重要组成部分，获得了越来越多人的关注，这就促使全球科研人员加大力度来笑脸识别技术。现有的网点服务监督主要通过人员抽查评价的方式来确定网点服务人员的服务质量，该方式存在一定缺陷，例如评价人员的工作负荷较大，同时抽查的方式也存在较大误差，再者顾客的时间也无法准确预测，因此现有的网点服务监督问题一直是业内亟需解决的一大问题。

发明内容

本申请目的在于提供一种网点服务监督方法及系统，基于人脸识别技术对顾客进行分析确定顾客的满意情况，基于该满意情况判断网点的服务质量，从而反向完成网点服务监督。

为达上述目的，本申请所提供的一种网点服务监督方法，所述方法包含：根据当前网点的网点属性确定多个检测区域，根据所述检测区域和待监督对象的身份信息确定监督评价范围；采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集；根据所述向量数据集通过预设表情识别模型分析获得用户预定表情信息的出现频率，将所述出现频率与预设阈值比较获得第一比较结果；根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果。

在上述网点服务监督方法中，可选的，根据当前网点的网点属性确定多个检测区域包含：根据预定网点内各服务设备的位置信息和公共区域信息，通过位置相近原则进行分区获得公共区域和多个检测区域，并对所述公共区域和所述检测区域分别编号。

在上述网点服务监督方法中，可选的，采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集包含：根据网点用户在各检测区域采集到的人脸数据的采集时间，将各检测区域的编号排序生成一维向量数据；将所述人脸数据合并至所述一维向量数据中获得向量数据集。

在上述网点服务监督方法中，可选的，采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集包含：通过人脸追踪技术采集网点用户的监控视频数据；分析所述监控视频数据中的多帧图像数据获得用户的全身朝向、观察方向和位置数据；根据多帧图像数据中用户的所述位置数据获得网点用户在各检测区域的停留时间；根据所述全身朝向、所述观察方向、所述位置数据和所述停留时间生成向量数据集。

在上述网点服务监督方法中，可选的，根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果包含：根据所述向量数据集分析获得网点用户办理的业务类别，通过所述停留时间和所述业务类别获得业务办理时间；将所述业务办理时间与预设业务办理阈值比较获得第二比较结果，根据所述第二比较结果获得待监督对象的服务评价结果。

在上述网点服务监督方法中，可选的，根据所述第二比较结果获得待监督对象的服务评价结果还包含：采集各待监督对象在对应检测区域的停留时间，并比较各待监督对象的停留时间获得第三比较结果；根据第二比较结果和第三比较结果获得待监督对象的服务评价结果。

本申请还提供一种网点服务监督系统，所述系统包含定义模块、采集模块、比较模块和分析模块；所述定义模块用于根据当前网点的网点属性确定多个检测区域，根据所述检测区域和待监督对象的身份信息确定监督评价范围；所述采集模块用于采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集；所述比较模块用于根据所述向量数据集通过预设表情识别模型分析获得用户预定表情信息的出现频率，将所述出现频率与预设阈值比较获得第一比较结果；所述分析模块用于根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果。

在上述网点服务监督系统中，可选的，所述定义模块包含分区单元，所述分区单元用于根据预定网点内各服务设备的位置信息和公共区域信息，通过位置相近原则进行分区获得公共区域和多个检测区域，并对所述公共区域和所述检测区域分别编号。

在上述网点服务监督系统中，可选的，所述采集模块包含追踪单元，所述追踪单元用于通过人脸追踪技术采集网点用户的监控视频数据；分析所述监控视频数据中的多帧图像数据获得用户的全身朝向、观察方向和位置数据；根据多帧图像数据中用户的所述位置数据获得网点用户在各检测区域的停留时间；根据所述全身朝向、所述观察方向、所述位置数据和所述停留时间生成向量数据集。

在上述网点服务监督系统中，可选的，所述分析模块还包含：根据所述向量数据集分析获得网点用户办理的业务类别，通过所述停留时间和所述业务类别获得业务办理时间；将所述业务办理时间与预设业务办理阈值比较获得第二比较结果，根据所述第二比较结果获得待监督对象的服务评价结果。

本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本申请的有益技术效果在于：可以作为网段精细化服务质量管理的评价依据，完成网点服务监督，在有效节约人力的同时，提高监督结果的准确性，完成高效的网点服务监督。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：

图1为本申请一实施例所提供的网点服务监督方法的流程示意图；

图2为本申请一实施例所提供的向量数据集的生成流程示意图；

图3为本申请一实施例所提供的向量数据集的生成流程示意图；

图4为本申请一实施例所提供的待监督对象的服务评价生成流程示意图；

图5为本申请一实施例所提供的待监督对象的服务评价生成流程示意图；

图6为本申请一实施例所提供的网点服务监督系统的结构示意图；

图7为本申请一实施例所提供的电子设备的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本申请中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本申请的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1所示，本申请所提供的一种网点服务监督方法，所述方法包含：

S101根据当前网点的网点属性确定多个检测区域，根据所述检测区域和待监督对象的身份信息确定监督评价范围；

S102采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集；

S103根据所述向量数据集通过预设表情识别模型分析获得用户预定表情信息的出现频率，将所述出现频率与预设阈值比较获得第一比较结果；

S104根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果。

在实际工作中，人脸抓拍技术已成熟，可以利用现有的人脸检测与属性分析模块，对人脸追踪、动态定位人脸，活体检测，获得眼、口、鼻轮廓，得出识别多种人脸属性，如性别，年龄，表情等信息，为此，本申请采用用户表情来判断待监督对象的服务情况，如用户微笑次数高于预设次数，代表用户当前心情较好，此时说明服务质量较佳，由此确定对应检测区域的待监督对象的服务评价结果。

在本申请一实施例中，根据当前网点的网点属性确定多个检测区域可包含：根据预定网点内各服务设备的位置信息和公共区域信息，通过位置相近原则进行分区获得公共区域和多个检测区域，并对所述公共区域和所述检测区域分别编号。在实际工作中对网点大厅内各设备可以位置相近原则进行分区和编号，当顾客进入机具区域时显示固定编号，大厅公共区域编号为0，人物进入网点位置的连续编号是一个一维向量，合并到人物一维向量数据集中；顾客离开前最后一个机具位置为该顾客的目的位置，顾客进入网点的目的可能性是机具种类的个数。具体的，请参考图2所示，在本申请另一实施例中，采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集可包含：

S201根据网点用户在各检测区域采集到的人脸数据的采集时间，将各检测区域的编号排序生成一维向量数据；

S202将所述人脸数据合并至所述一维向量数据中获得向量数据集。

由此，该向量数据集包含任务属性，为一个人进入大堂监控范围内的并且成功到达网点机具附近为一个闭环，该闭环为一个一维向量组，包含异常提取的参数数值。

请参考图3所示，在本申请一实施例中，采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集包含：

S301通过人脸追踪技术采集网点用户的监控视频数据；

S302分析所述监控视频数据中的多帧图像数据获得用户的全身朝向、观察方向和位置数据；

S303根据多帧图像数据中用户的所述位置数据获得网点用户在各检测区域的停留时间；

S304根据所述全身朝向、所述观察方向、所述位置数据和所述停留时间生成向量数据集。

在实际工作中，分析网点用户的特征可包含以下部分：行人的全身朝向(行人移动方向角度),行人的注意力方向/头部姿态估计(行人观察方向),行人的距离和尺寸(高度和宽度)和在监控范围的区域位置,行人存在的识别,行人的性别识别(男性或女性)；为进一步提高分析结果的准确性还可补入当前网点属性，如：1:商业街附近，2：居民区附近，3：远郊，4：村镇，5：交通枢纽，6：政府机关等信息，由该些网点属性予以辅助分析网点用户目的，当然实际工作中，本领域相关技术人员可根据实际需要选择设定，本申请对此并不做进一步限定。

请参考图4所示，在本申请一实施例中，根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果可包含：

S401根据所述向量数据集分析获得网点用户办理的业务类别，通过所述停留时间和所述业务类别获得业务办理时间；

S402将所述业务办理时间与预设业务办理阈值比较获得第二比较结果，根据所述第二比较结果获得待监督对象的服务评价结果。

以此，根据各网点用户的业务办理时间确定待监督对象是否在用户满意的情况下，高效完成业务指引；进一步的，当某一检测区域存在多个待监督对象时，可如图5所示，根据所述第二比较结果获得待监督对象的服务评价结果还可包含：

S501采集各待监督对象在对应检测区域的停留时间，并比较各待监督对象的停留时间获得第三比较结果；

S502根据第二比较结果和第三比较结果获得待监督对象的服务评价结果。

由此，通过比较各待监督对象的停留时间予以确认其与用户的交互和服务，为进一步判断到底是哪一个待监督对象与网点用户交涉更有成效，在实际应用时还可分析用户与待监督对象交互时的表情变化，如微笑出现频率等。

以银行网点员工为待监督对象为例，应用本申请所提供的网点服务监督方法时可包含如下流程：

一、利用人脸抓拍机制，在员工和客服的面对面业务办理过程中，例如在顾客进入网点大门前对客户的抓拍(感知紧急程度)，客户踏入网点时的抓拍(感知目标方位，预判是高柜地柜)，客户在大厅等待大堂经理过程中和与大堂经理对话过程中的面部表情(感知紧张程度和迫切程度)，客户在办理业务时，结束业务时，离开网点时的抓拍(感知客户满意度)对客户和员工进行人脸抓拍；如顾客微笑次数达到阀值，则考核接待各员工优等积分一次。

二、对抓拍到的人脸图像进行特征提取：在抓拍前建立顾客模ID，并根据人工智能对顾客进行信息提取，根据人工智能判断进行预归类，提高预判准确度，根据预设笑脸识别模型和提取到的人脸特征，例如在客户接近网点时，对顾客的身高，体重，性别，衣着，是否带公文包，是否戴眼镜等人体特征进行提取，提出重要程度低的客户；确定员工笑脸次数，对现场声音进行提取，如果笑脸加声音，就是更高程度的微笑，满意度较高，如顾客微笑次数达到阀值，则考核接待各员工优等积分一次。

三、对笑脸次数较高的员工进行服务评级提升：(例如：一般小孩，老年人，有拐杖，眼疾，衣着不规范的客户标注为低级别的客户，需要一般大堂经理进行服务，对于高级别的用户需要星级大堂经理进行第一时间服务，优化人力资源)。

进一步还可利用人脸抓拍技术，对走入大厅人员进行抓拍，对抓拍到人脸尽心检查，对未带口罩的人员进行预警，提请大厅经理及时给予帮助，提升网点的防疫能力。

在该实施例中，考核接待各员工优等积分的方式可采用如下方式：

因所述向量数据集是一个列向量，包含1、网点位置维度信息，2、进入网点区域顾客的维度信息，3、进入每个网点机具区域顾客的采集到信息(包含微笑，行为，面部朝向网点机具区域编号)，为此，构造一个得分函数公式对向量进行运算求值，函数公式1如下：

f(x,W)＝Wx(+h)；

对该一维向量进行求得分值，其中x为该顾客进入网点办理业务前的一个一列向量。W是一个行(随机)向量，为顾客进入网点的数据集各个数值对应的权重，b为一个顾客进入网段目的个数的一个一列目的个数的列向量，作为一个偏执参数(我们初始值为1)，根据结果做为权重的微调。

顾客进入网点到出网点最后离开时的机具号码，为我们需要求得的目标值。根据目标值，对该得分函数进行损失值计算，即得分函数求得的错误得分，减去正确得分的值，对值大于零的为损失值，小于等于零的为没有损失，由此得出损失函数。

损失函数：

损失函数定义为对所有的客户进入网点到办理业务后出网点的数据集进行得分函数计算，计算后根据损失函数进行运算。对公式1得分函数进行运算，将错误的值减去正确的值，然后加1(可变参数，可容忍程度)进行求和，这个值越小越好，对小于零的数值进行丢弃，然后多所有数据集进行求和，取平均数。

其中f(x

对其进行正则化转换：

使用顾客进入网点的数据集，和权重参数使用得分函数进行计算，然后利用得分值基于正确值进行损失计算，在加上正则化惩罚项，得出可以有区分含义的的损失值。

其中惩罚项

最后使用softmax分类器进行分类，公式如下：

将机具分类的得分值计算出来后，将所有得分类进行分类，方法为将的分值进行e幂计算，即s为的得分值，计算后分类更为清晰，然后将所有制进行归一化，即机具得分之和的值作为分母，将机具得分值为分子，计算出每个值的概率值(概率值为正数所以在值前面加负号)。利用损失值对每组W权重参数进行优化，对每一个W权重参数进行链式求导得出W权重参数变化趋势，为求得最小的损失可根据每个最优化方程式如下：

根据W权重参数计算出的趋势对W权重参数进行优化，在数据集足够多的情况下，W权重参数会形成一个固定范围值，数据集越多，W权重值范围越小，然后将x即顾客进入网点办理业务前的一个一列向量的值带入得分函数公式就可以预判顾客是具体做那种业务和可能做那种业务的概率。然后利用预判对大堂经理和网点高低柜员工处理流程参与度进行评分。

实际工作中，上述积分计算流程可作为具量化网点内各待监督对象的服务级别的一种方式，本领域相关技术人员也可采用其他方式予以评价，本申请在此仅为提供一种实施方式，并不做进一步限定。

请参考图6所示，本申请还提供一种网点服务监督系统，所述系统包含定义模块、采集模块、比较模块和分析模块；所述定义模块用于根据当前网点的网点属性确定多个检测区域，根据所述检测区域和待监督对象的身份信息确定监督评价范围；所述采集模块用于采集网点用户进入和离开各所述检测区域内的人脸数据生成向量数据集；所述比较模块用于根据所述向量数据集通过预设表情识别模型分析获得用户预定表情信息的出现频率，将所述出现频率与预设阈值比较获得第一比较结果；所述分析模块用于根据所述第一比较结果和所述向量数据集获得对应检测区域的待监督对象的服务评价结果。

在上述实施例中，所述定义模块可包含分区单元，所述分区单元用于根据预定网点内各服务设备的位置信息和公共区域信息，通过位置相近原则进行分区获得公共区域和多个检测区域，并对所述公共区域和所述检测区域分别编号。所述采集模块可包含追踪单元，所述追踪单元用于通过人脸追踪技术采集网点用户的监控视频数据；分析所述监控视频数据中的多帧图像数据获得用户的全身朝向、观察方向和位置数据；根据多帧图像数据中用户的所述位置数据获得网点用户在各检测区域的停留时间；根据所述全身朝向、所述观察方向、所述位置数据和所述停留时间生成向量数据集。在另一实施例中，所述分析模块还可包含：根据所述向量数据集分析获得网点用户办理的业务类别，通过所述停留时间和所述业务类别获得业务办理时间；将所述业务办理时间与预设业务办理阈值比较获得第二比较结果，根据所述第二比较结果获得待监督对象的服务评价结果。

基于上述实施例，本申请所提供的网点服务监督系统在实际应用时主要包含以下三种实施方式：

一、利用顾客进入网点大门时的顾客进行预判顾客办理的业务，大堂经理是否及时引导和顾客办理业务的平均时间是否在合理范围内(办理业务平均值，即每类业务顾客进入网点到出网点的平均时间)，如大堂经理及时接入，并且顾客成功及时办理业务，则考核优等积分一次。对得分次数除以接待次数得出员工服务效果评分表，可以得到员工的服务质量稳定性排序；对每一种办理的业务的时间进行排序得出服务效果排序。

二、利用顾客进入网点大门时的顾客肖像进行预判顾客是否急需大堂经理接待(判断打通经理和重点顾客在同一个区域)，例如高龄大爷大妈，需要大堂经理尽快进行接待，或者幼年无成年人看管的小孩，和盲人等；如大堂经理及时接入，则考核优等积分一次。

三、利用利用顾客进入网点的每个区域停滞的时间，当在一个区域停滞时间超过阀值时，确认打通经理是否跟进(判断打通经理和重点顾客在同一个区域)，如大堂经理及时接入，则考核优等积分一次。

本申请的有益技术效果在于：可以作为网段精细化服务质量管理的评价依据，完成网点服务监督，在有效节约人力的同时，提高监督结果的准确性，完成高效的网点服务监督。

本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图7所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理器130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图7中所示的所有部件；此外，电子设备600还可以包括图7中没有示出的部件，可以参考现有技术。

如图7所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。