监控代理对联络中心中的人工智能内容的监督

摘要

公开了监控代理对联络中心中的人工智能内容的监督。各实施例提供了一种监督机制，其使用眼睛跟踪来监控人类代理对联络中心通信会话中的人工智能生成的联络的审阅。由人工智能引擎针对每个会话生成的内容可以通过用户界面呈现给人类代理以供人类代理审阅。在呈现所生成的内容的同时，相关联的眼睛跟踪系统可以监控人类代理对所生成的内容的审阅。可以基于对于人类代理对内容的审阅的监控来生成人类代理对所生成的内容的关注水平的指示。人类代理的关注水平的指示可以被存储在人类代理的一组关键绩效指标(KPI)中。可以基于KPI来提供一个或多个报告。

说明书

技术领域

本公开的实施例一般地涉及用于管理通信会话中的内容的方法和系统，并且更具体地涉及监控代理对与联络中心的通信会话中提供的人工智能内容的监督。

背景技术

联络中心或系统提供联络点，客户可通过该联络点访问有关企业提供的产品或服务的信息和/或帮助。例如，可以通过对与企业相关联的电话号码(诸如免费的客户服务号码)的语音呼叫来访问联络中心。寻求信息或帮助(诸如企业提供的产品或服务的故障排除帮助)的客户可以拨打这样的号码并与可以提供这种信息或帮助的客户服务代理建立联络。联络中心也可以通过各种其它通信渠道访问，包括但不限于电子邮件、短消息服务(SMS)或多媒体消息服务(MMS)文本消息、web页面界面、即时消息(IM)或其它聊天服务等。

随着人工智能(AI)技术的发展和进步，与联络中心的通信越来越多地由各种AI组件处理。例如，聊天机器人是能够经由基于文本的通信(诸如电子邮件、SMS或MMS文本、IM等)与人类联络人(诸如联络中心的客户联络人)进行对话的计算机程序。在许多情况下，聊天机器人或其它AI组件处理与客户的联络会话的初始部分以例如确定联络的原因或话题，从而使得可以将联络正确地路由到人类代理以处理该联络。在其它情况下，AI组件可以能够在不涉及人类代理的情况下向客户提供足够的信息或解决方案。预期联络中心将继续使用诸如聊天机器人之类的AI组件来提高自动化水平，并且设想很大比例的人类代理聊天或其它通信会话将包含分布在整个会话中的多个AI生成的内容片段，而不仅仅是在客户的初始进入点。因此，取决于通信会话的上下文，聊天或其它通信会话可能包括人类代理生成的内容和AI生成的内容的混合。

随着这种AI参与水平的提升，还希望衡量人类代理将施予AI生成的内容的监督的质量。如果这种监督太少，则存在AI内容可能不合适并且会引起客户不满的危险。相反，如果监督太多，则使用AI帮助的优点大大减少，这是因为人类代理花费太多时间复核AI组件提供的每条内容。因此，需要用于管理在联络中心通信会话中提供的AI生成的内容以确保施加适当的监督水平的改进的方法和系统。

发明内容

本公开的各实施例提供了用于监控代理对联络中心中的人工智能内容的监督的系统和方法。更具体地，各实施例提供了使用眼睛跟踪来监控人类代理对联络中心通信会话中的人工智能生成的联络的审阅的监督机制。根据一个实施例，监控代理对联络中心中自动生成的内容的监督可以包括：通过联络中心的一个或多个通信模块，在一个或多个通信信道上与多个客户端设备中的每个进行通信会话。每个客户端设备可以与客户联络人相关联。例如，与多个客户联络人的通信会话可以包括客户联络人与人类代理之间的聊天会话、短消息服务(SMS)交换、电子邮件交换中的一个或多个或其它基于文本的交换。

例如，可以通过诸如聊天机器人之类的联络中心的人工智能引擎针对每个通信会话生成内容。在将所生成的内容提供给任何客户端设备之前，可以将针对每个会话生成的内容提供给与人类代理相关联的代理设备。所提供的生成的内容可以通过由代理设备提供的用户界面而被呈现给人类代理以供人类代理审阅。

在通过由代理设备提供的用户界面呈现所生成的内容的同时，与代理设备相关联的眼睛跟踪系统可以监控人类代理对所生成的内容的审阅。可以基于监控人类代理对内容的审阅来生成人类代理对所生成的内容的关注水平的指示。人类代理的关注水平的指示可以被存储在人类代理的一组关键绩效指标(KPI)中。可以基于KPI提供一个或多个报告。

在某些情况下，生成的人类代理的关注水平的指示可以是相对于预定的预期关注水平而言的。另外，针对每个通信会话生成内容还可以包括针对所生成的内容生成置信水平。在这种情况下，预定的预期关注水平可以基于针对所生成的内容而生成的置信水平。在一些情况下，可以通过由代理设备提供的用户界面连同所生成的内容一起提供针对所生成的内容而生成的置信水平的指示。

附图说明

图1是示出可以实现本公开的实施例的示例性计算环境的元件的框图。

图2是示出可以实现本公开的实施例的示例性计算设备的元件的框图。

图3是示出可以实现本公开的实施例的示例性联络中心的元件的框图。

图4是示出根据一个实施例的监控代理对联络中心中的人工智能内容的监督的框图。

图5是示出根据一个实施例的用于监控代理对联络中心中的人工智能内容的监督的示例性方法的流程图。

在附图中，相同的组件和/或特征可以具有相同的参考标号。此外，可以通过在参考标号之后用区分相似组件的字母来区分相同类型的各种组件。如果在说明书中仅使用第一参考标签，则该描述适用于具有相同第一参考标签的任何一个类似组件，而不管第二参考标签如何。

具体实施方式

在以下描述中，出于说明的目的，阐述了许多具体细节以便提供对本文公开的各种实施例的透彻理解。然而，对于本领域技术人员清楚的是，可以在没有这些具体细节中的一些的情况下实践本公开的各种实施例。随后的描述仅提供示例性实施例，并且不旨在限制本公开的范围或适用性。此外，为了避免不必要地模糊本公开，前面的描述省略了许多已知的结构和设备。该省略不应被解释为对权利要求的范围的限制。而是，随后对示例性实施例的描述将为本领域技术人员提供用于实现示例性实施例的使能描述。然而，应当理解，本公开可以以超出本文阐述的具体细节的各种方式来实践。

虽然这里示出的示例性方面、实施例和/或配置示出系统的各种组件并置，但是系统的某些组件可以远程地定位在诸如LAN和/或因特网之类的分布式网络的远端部分或者专用系统内。因此，应当理解，系统的组件可以组合到一个或多个设备中或者并置在分布式网络(诸如模拟和/或数字电信网络、分组交换网络或电路交换网络)的特定节点上。从以下描述中会理解，并且出于计算效率的原因，系统的组件可以在不影响系统的操作的情况下布置在分布式组件网络内的任何位置处。

此外，应当理解，连接元件的各种链路可以是有线或无线链路，或其任何组合，或能够向和从连接的元件供给和/或传送数据的任何其它已知或以后开发的元件。这些有线或无线链路也可以是安全链路，并且可以能够传送加密信息。例如，用作链路的传输介质可以是用于电信号的任何合适的载体，包括同轴电缆、铜线和光纤，并且可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些。

如本文所使用的，短语“至少一个”、“一个或多个”、“或”以及“和/或”是在操作中结合和分离的开放式表述。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”、“A、B和/或C”、“A、B或C”中的每个表示单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起或A、B和C一起。

术语“一”或“一个”实体是指一个或多个该实体。因此，术语“一”(或“一个”)、“一个或多个”和“至少一个”在本文中可互换使用。还应注意，术语“包含”、“包括”和“具有”可互换使用。

如本文所使用的术语“自动”及其变型是指在执行处理或操作时在没有实质人类输入的情况下进行的任何处理或操作。然而，如果在执行处理或操作之前接收到输入，则即使处理或操作的执行使用实质或非实质人类输入，处理或操作也可以是自动的。如果这种输入影响处理或操作的执行方式，则认为人类输入是实质的。同意执行处理或操作的人类输入不被认为是“实质”的。

这里使用的术语“计算机可读介质”是指参与向处理器提供指令以供执行的任何有形存储和/或传输介质。这种介质可以采用许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如NVRAM或磁盘或光盘。易失性介质包括动态存储器，诸如主存储器。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带或任何其它磁介质、磁光介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM和EPROM、FLASH-EPROM、如存储器卡的固态介质、任何其它存储器芯片或盒、如下文所述的载波、或者计算机可以读取的任何其它介质。电子邮件的数字文件附件或其它自包含信息档案或档案集被认为是等同于有形存储介质的分发介质。当计算机可读介质被配置为数据库时，应该理解，数据库可以是任何类型的数据库，诸如关系、分层、面向对象和/或类似的数据库。因此，本公开被认为包括其中存储本公开的软件实现的有形存储介质或分布介质以及现有技术认可的等同和后继介质。

“计算机可读信号”介质可以包括传播的数据信号，该数据信号中例如在基带中或作为载波的一部分包含计算机可读程序代码。这种传播信号可以采用多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质而可以传送、传播或输送程序以供指令执行系统、装置或设备使用或与之结合使用的任何计算机可读介质。计算机可读介质上包含的程序代码可以使用任何适当的介质传输，包括但不限于无线、有线、光纤电缆、RF等或者前述的任何合适的组合。

如本文所使用的术语“确定”、“计算”和“运算”及其变型可互换使用，并且包括任何类型的方法、处理、数学计算或技术。

应当理解，本文所用的术语“装置”(means)应根据35U.S.C.第112节第6段给出尽可能宽泛的解释。因此，包含术语“装置”的权利要求应涵盖本文阐述的所有结构、材料或动作及其所有等同物。此外，结构、材料或动作及其等同物应包括在本公开的发明内容、附图说明、具体实施方式、摘要和权利要求本身中描述的所有那些结构、材料或动作及其等同物。

本公开的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或者组合软件和硬件方面的实施例的形式，这些实施例在本文中通常都可以称为“电路”、“模块”或“系统”。可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。

在又一个实施例中，本公开的系统和方法可以结合以下来实现：专用计算机、编程的微处理器或微控制器和外围集成电路元件、ASIC或其它集成电路、数字信号处理器、硬连线电子或逻辑电路(诸如分立元件电路)、可编程逻辑器件或门阵列(诸如PLD、PLA、FPGA、PAI)、专用计算机、任何可比较的装置等。通常，能够实现本文所示方法的任何设备或装置可用于实现本公开的各个方面。可以用于所公开的实施例、配置和方面的示例性硬件包括计算机、手持设备、电话(例如，蜂窝、支持因特网的、数字、模拟、混合和其它)以及本领域中已知的其它硬件。这些设备中的一些包括处理器(例如，单个或多个微处理器)、存储器、非易失性存储器、输入设备和输出设备。此外，还可以构造替代软件实现以实现本文描述的方法，替代软件实现包括但不限于分布式处理或组件/对象分布式处理、并行处理或虚拟机处理。

这里描述的处理器的示例可以包括但不限于以下中的至少一个：

800和801、具有4G LTE集成和64位计算的610和615、具有64位架构的A7处理器、M7运动协处理器、系列、Core^TM处理器家族、处理器家族、Atom^TM处理器家族、Intel处理器家族、i5-46701K和i7-4770K 22nm Haswell、i5-3570K22nm Ivy Bridge、FX^TM处理器家族、FX-4300、FX-6300和FX-8350 32nmVishera、Kaveri处理器、TexasJacinto C6000^TM汽车信息娱乐处理器、TexasOMAP^TM汽车级移动处理器、Cortex^TM-M处理器、Cortex-A和ARM926EJ-S^TM处理器、其它工业等同处理器，并且处理器可以使用任何已知或未来开发的标准、指令集、库和/或架构来执行计算功能。

在又一个实施例中，所公开的方法可以容易地结合使用对象或面向对象的软件开发环境的软件来实现，该软件开发环境提供可以在各种计算机或工作站平台上使用的便携式源代码。可替代地，所公开的系统可以使用标准逻辑电路或VLSI设计来部分地或完全地在硬件中实现。使用软件还是硬件来实现根据本公开的系统取决于系统的速度和/或效率要求、特定功能以及所使用的特定软件或硬件系统或微处理器或微计算机系统。

在又一个实施例中，所公开的方法可以部分地以软件实现，该软件可以存储在存储介质上，与控制器和存储器、专用计算机、微处理器等协作在编程的通用计算机上执行。在这些情况下，本公开的系统和方法可以实现为嵌入在个人计算机上的程序(诸如applet、或CGI脚本)，驻留在服务器或计算机工作站上的资源，嵌入在专用测量系统、系统组件等中的例程。该系统还可以通过将系统和/或方法物理地结合到软件和/或硬件系统中来实现。

虽然本公开参考特定标准和协议描述了在各方面、实施例和/或配置中实现的组件和功能，但是这些方面、实施例和/或配置不限于这些标准和协议。存在本文未提及的其它类似标准和协议并且被认为包括在本公开中。此外，本文提到的标准和协议以及本文未提及的其它类似标准和协议周期性地被具有基本相同功能的更快或更有效的等同物取代。具有相同功能的这种替换标准和协议被认为是包括在本公开中的等同物。

本公开的各实施例提供用于监控代理对联络中心中的人工智能内容的监督的系统和方法。更具体地，各实施例提供使用眼睛跟踪来监控人类代理对联络中心通信会话中的人工智能生成的联络的审阅的监督机制。根据一个实施例，监控代理对联络中心中的自动生成的内容的监督可以包括：在多个客户联络人与人类代理之间进行通信会话，诸如聊天会话、短消息服务(SMS)交换、电子邮件交换或其它基于文本的交换。由人工智能引擎针对每个会话生成的内容可以通过用户界面被呈现给人类代理以供人类代理审阅。在呈现所生成的内容的同时，相关联的眼睛跟踪系统可以监控人类代理对所生成的内容的审阅。可以基于监控人类代理对内容的审阅来生成人类代理对所生成的内容的关注水平的指示。人类代理的关注水平的指示可以被存储在人类代理的一组关键绩效指标(KPI)中。可以基于KPI提供一个或多个报告。

下面将参考附图描述本公开的实施例的各种附加细节。虽然将关于事件的特定序列讨论和说明流程图，但应当理解，可以在不实质影响所公开的实施例、配置和方面的操作的情况下对该序列进行改变、添加和省略。

图1是示出可以实现本公开实施例的示例性计算环境的元件的框图。更具体地，该示例示出可以用作本文提供和描述的服务器、用户计算机或其它系统的计算环境100。环境100包括诸如计算设备104、通信设备108和/或更多112之类的一个或多个用户计算机或计算设备。计算设备104、108、112可以包括通用个人计算机(仅举例来说，包括运行各种版本的Microsoft公司的和/或Apple公司的操作系统的个人计算机和/或膝上型计算机)和/或运行各种商业可用的或类UNIX操作系统中的任一个的工作站计算机。这些计算设备104、108、112还可以具有各种应用中的任一个，包括例如数据库客户端和/或服务器应用以及web浏览器应用。可替代地，计算设备104、108、112可以是能够经由网络110通信和/或显示和浏览web页面或其它类型的电子文档的任何其它电子设备，诸如瘦客户端计算机、支持因特网的移动电话和/或个人数字助理。尽管示出具有两个计算设备的示例性计算机环境100，但是可以支持任何数量的用户计算机或计算设备。

环境100还包括网络110。网络110可以是本领域技术人员熟悉的任何类型的网络，其可以使用各种商业可用协议中的任何协议来支持数据通信，协议包括但不限于SIP、TCP/IP、SNA、IPX、AppleTalk等。仅作为示例，网络110可以是局域网(“LAN”)，诸如以太网、令牌环网络等；广域网；虚拟网络，包括但不限于虚拟专用网络(“VPN”)；因特网；内联网；外联网；公共交换电话网络(“PSTN”)；红外网络；无线网络(例如，在任何IEEE 802.9协议套件、本领域已知的蓝牙协议和/或任何其它无线协议下操作的网络)；和/或这些和/或其它网络的任何组合。

系统还可以包括一个或多个服务器114、116。在该示例中，服务器114被示出为web服务器，并且服务器116被示出为应用服务器。web服务器114可以用于处理来自计算设备104、108、112的对web页面或其它电子文档的请求。web服务器114可以运行包括上面讨论的操作系统中的任一个的操作系统，以及任何商业可用服务器操作系统。web服务器114还可以运行各种服务器应用，包括SIP(会话启动协议)服务器、HTTP服务器、FTP服务器、CGI服务器、数据库服务器、Java服务器等。在一些实例中，web服务器114可以将操作可用操作发布为一个或多个web服务。

环境100还可以包括一个或多个文件和/或应用服务器116，除了操作系统之外，服务器116还可以包括在计算设备104、108、112中的一个或多个上运行的客户端可访问的一个或多个应用。服务器116和/或114可以是能够响应于计算设备104、108、112执行程序或脚本的一个或多个通用计算机。作为一个示例，服务器116、114可以执行一个或多个web应用。web应用可以实现为用任何编程语言编写的一个或多个脚本或程序，编程语言诸如是JavaTM、C、或C++和/或诸如Perl、Python或TCL之类的任何脚本语言以及任何编程/脚本语言的组合。应用服务器116还可以包括数据库服务器，

包括但不限于从等商业可获得的数据库服务器，其可以处理来自在计算设备104、108、112上运行的数据库客户端的请求。

由服务器114和/或116创建的web页面可以经由web(文件)服务器114、116转发到计算设备104、108、112。类似地，web服务器114可以能够接收来自计算设备104、108、112(例如，用户计算机等)的web页面请求、web服务调用和/或输入数据，并且可以将web页面请求和/或输入数据转发到web(应用)服务器116。在进一步的实施例中，服务器116可以用作文件服务器。尽管为了便于描述，图1示出单独的web服务器114和文件/应用服务器116，但是本领域技术人员将认识到关于服务器114、116描述的功能可以由单个服务器和/或多个专用服务器执行，这取决于依实现而定的需求和参数。计算机系统104、108、112、web(文件)服务器114和/或web(应用)服务器116可以用作本文描述的系统、设备或组件。

环境100还可以包括数据库118。数据库118可以驻留在各种位置。举例来说，数据库118可以驻留在计算机104、108、112、114、116中的一个或多个的本地存储介质上(和/或驻留在其中)。可替代地，数据库118可以远离计算机104、108、112、114、116中的任一个或所有，并且与这些中的一个或多个通信(例如，经由网络110)。数据库118可以驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。类似地，用于执行归属于计算机104、108、112、114、116的功能的任何必要文件可以适当地本地存储在相应计算机上和/或远程存储。数据库118可以是关系数据库，诸如Oracle其适于响应于SQL格式的命令来存储、更新和取回数据。

图2是示出可以实现本公开的实施例的示例性计算设备的元件的框图。更具体地，该示例示出计算机系统200的一个实施例，在该计算机系统200上可以部署或执行上述服务器、用户计算机、计算设备或其它系统或组件。计算机系统200被示出为包括可以经由总线204电耦接的硬件元件。硬件元件可以包括一个或多个中央处理单元(CPU)208；一个或多个输入设备212(例如，鼠标、键盘等)；以及一个或多个输出设备216(例如，显示设备、打印机等)。计算机系统200还可以包括一个或多个存储设备220。作为示例，存储设备220可以是磁盘驱动器、光学存储设备、固态存储设备(诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，存储设备可以是可编程的、闪存可更新的和/或类似的。

计算机系统200可以另外包括计算机可读存储介质读取器224；通信系统228(例如，调制解调器、网卡(无线或有线的)、红外通信设备等)；和工作存储器236，其可以包括如上所述的RAM和ROM设备。计算机系统200还可以包括处理加速单元232，其可以包括DSP、专用处理器和/或类似物。

计算机可读存储介质读取器224还可以连接到计算机可读存储介质，与计算机可读存储介质一起(可选地，与存储设备220结合)全面地表示远程、本地、固定和/或可移动存储设备加上用于临时和/或更持久地包含计算机可读信息的存储介质。通信系统228可以允许与上面关于这里描述的计算机环境描述的网络和/或任何其它计算机交换数据。此外，如本文所公开的，术语“存储介质”可表示用于存储数据的一个或多个设备，包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、核心存储器、磁盘存储介质、光存储介质、闪存存储器设备和/或用于存储信息的其它机器可读介质。

计算机系统200还可以包括软件元件，软件元件示出为当前位于工作存储器236内，工作存储器236包括操作系统240和/或其它代码244。应当理解，计算机系统200的替代实施例可以具有从上述实施例的许多变型。例如，也可以使用定制硬件和/或可以在硬件、软件(包括便携式软件，诸如小应用)或两者中实现特定元件。此外，可以采用与诸如网络输入/输出设备之类的其它计算设备的连接。

这里描述的处理器208的示例可以包括但不限于以下中的至少一个：

800和801、具有4G LTE集成和64位计算的620和615、具有64位架构的A7处理器、M7运动协处理器、系列、Core^TM处理器家族、处理器家族、Atom^TM处理器家族、Intel处理器家族、i5-4670K和i7-4770K 22nm Haswell、i5-3570K22nm Ivy Bridge、FX^TM处理器家族、FX4300、FX-6300和FX-8350 32nmVishera、Kaveri处理器、TexasJacinto C6000^TM汽车信息娱乐处理器、TexasOMAP^TM汽车级移动处理器、Cortex^TM-M处理器、Cortex-A和ARM926EJ-S^TM处理器、其它工业等同处理器，并且处理器可以使用任何已知或未来开发的标准、指令集、库和/或架构来执行计算功能。

图3是示出可以实现本公开的实施例的示例性联络中心的元件的框图。如该示例中所示，系统300可以包括联络中心系统305，联络中心系统305包括如上所述的一个或多个服务器和/或其它计算机。系统300还可以包括一个或多个客户联络设备310A-310D。这些客户联络设备310A-310D可以包括例如如上所述或本领域已知的各种计算设备中的任何一种，包括但不限于台式计算机或膝上型计算机、平板电脑、蜂窝电话或其它移动设备、电话等。客户联络设备310A-310D可以通过诸如因特网或如上所述的其它局域网或广域网之类的一个或多个有线或无线网络(这里未示出)与联络中心系统305通信。

一般而言，联络中心系统305可以包括用于建立和进行与客户联络设备310A-31D的通信会话的多个不同的通信模块或子系统。例如，通信模块或子系统可以包括但不限于交互式语音响应(IVR)系统315、web服务或系统320、专用分组交换机(PBX)系统325、即时消息传送(IM)系统330、电子邮件系统335、短消息服务(SMS)和/或多媒体消息服务(MMS)文本消息传送系统340等。通过这些各种系统，可以在客户联络设备310A-310D与联络中心系统305之间建立通信会话。例如，客户联络设备310A可以发送IM消息或SMS消息以请求关于特定产品的信息或请求解决该产品的问题的帮助。类似地，客户联络设备310B可以访问由联络中心系统305的web服务或系统320提供的客户服务web页面以完成表格或以其它方式请求信息或帮助。

无论所使用的消息或通信渠道的类型如何，都可以在客户联络设备310A和联络中心系统305之间建立通信会话。联络中心系统305还可以包括本领域已知的自动呼叫分配(ACD)模块或系统345。一般而言，ACD模块或系统345可以分析通过与客户联络设备310A-310D建立的通信会话而接收的消息，并且在通信会话中需要人类代理来帮助客户的情况下可以从一组可用代理中选择人类代理来帮助会话。如本领域所知，该选择可以基于通信会话的话题、代理的技能和/或知识、代理的当前工作负荷等。

一旦选择了代理，则与所选择的人类代理相关联的代理系统350可以通过联络中心系统305加入到与客户联络设备310A的通信会话中。代理系统350可以包括计算机、工作站或者如上所述的其它计算设备。代理系统350可以执行代理桌面应用355，代理桌面应用355例如通过代理系统350的显示设备呈现代理桌面用户界面360。通过代理桌面应用355和代理桌面用户界面360，人类代理可以读取从客户联络设备310A发送的消息，向客户联络设备310A输入消息，与客户联络设备310A进行音频和/或视频会议，以及以其它方式参与通信会话以帮助客户。在诸如语音呼叫或视频会议的一些情况下，代理系统350可以被添加到与单个客户联络设备310A的通信会话中。在其它情况下，代理系统350可以一次添加到与多于一个客户联络设备310A-310D的通信会话中。例如，人类代理能够同时读取和响应多个正在进行的IM聊天会话。类似地，人类代理可以读取和响应多个并发电子邮件和/或文本消息会话或者IM、电子邮件、文本或其它会话的某种组合。

联络中心系统305还可以包括一个或多个人工智能(AI)模块或系统365。一般而言，AI模块或系统可以包括能够经由语音或诸如电子邮件、SMS或MMS文本、IM等的基于文本的通信与人类联络人进行对话的一个或多个应用。在许多情况下，AI模块或系统365可以处理与客户的联络会话的初始部分以例如确定联络的原因或话题，从而使得联络可以被正确地路由到人类代理以处理该联络。在其它情况下，AI模块或系统365可以在不涉及人类代理的情况下向客户提供足够的信息或解决方案。在许多情况下，AI生成的内容片段可以分布在整个通信会话中，而不仅仅是在客户的初始进入点。因此，取决于通信会话的上下文，聊天或其它通信会话可以包括人类代理生成的内容和AI生成的内容的混合。

聊天机器人是可以使用人工智能来帮助代理为代理正在服务的多个活动聊天会话生成文本内容的一个示例。如本领域中已知的实现为AI引擎365或通过AI引擎365实现的聊天机器人可以在客户联络人和人类代理之间的聊天会话的各个阶段生成有用内容，而不仅仅是在会话开始时。这种AI生成的内容可以减少人类代理在每个聊天会话上必需花费的时间量。与没有聊天机器人帮助的情况相比，这进而可以使人类代理能够同时处理更多的聊天会话。因此，每个代理的聊天会话能力与聊天机器人帮助的增多成比例，因此，随着人工智能技术在未来的发展，单个代理的能力也将会如此。

由于聊天或其它通信会话可以包括散布的人类代理生成的内容和AI生成的内容的组合，因此可以标记AI生成的内容的片段，从而使得可以将其与由代理创建的内容区分开。随着AI引擎365越来越多地参与会话，存在人类代理可能对AI生成的内容没有施予足够的监督和尽职调查的风险，这可能导致客户的负面体验。例如，如果客户从聊天会话中收到稍微不合逻辑或令人困惑的内容，他们会觉察这是机器交互并可能会终止会话。因此，AI生成的内容可以通过代理桌面用户界面360呈现给人类代理，以在其被提供给客户联络设备310A之前由人类代理进行审阅和批准或修改。

根据一个实施例，眼睛跟踪技术可用于分析与在代理桌面用户界面360上呈现的AI生成的内容相关的人类代理的眼睛运动。以这种方式，可以监控人类代理对AI生成的内容的审阅以确定是否适当的代理监督关注水平正被应用于AI生成的内容从而避免客户失去对人类交互的感知或者否则变得对不正确或不准确的内容感到沮丧。更具体地，代理系统350可以包括眼睛跟踪模块或系统375或者与眼睛跟踪模块或系统375连接，眼睛跟踪模块或系统375在AI生成的内容正被显示在代理桌面用户界面上的同时检测和监控人类代理的眼睛位置或“凝视”。

如本领域中已知的，眼睛跟踪是测量凝视点(人们正在观看的地方)和/或眼睛相对于头部或相对于正被观看的场景(诸如用户界面显示)的运动的处理。眼睛跟踪器(诸如眼睛跟踪模块或系统375)是用于测量眼睛位置和眼睛运动的设备。眼睛跟踪器通常用在视觉系统、心理学、心理语言学、市场营销的研究中，作为人机交互的输入设备用在产品设计中，并且用在许多其它领域和应用中。眼睛跟踪系统的最广泛使用的当前设计是基于视频的眼睛跟踪器，其中相机聚焦在个人或观看者的一只或两只眼睛上并且在观看者观看某种场景或刺激时记录眼睛运动。大多数眼睛跟踪器系统使用瞳孔的中心和红外或近红外非准直光来创建来自眼睛表面的角膜反射(CR)。瞳孔中心和角膜反射之间的矢量可用于计算对场景或刺激的注意点或凝视方向。

如本领域中还已知的，以这种方式检测到的眼睛运动可以被划分为当眼睛凝视停在某个位置时的注视和当眼睛移动到另一个位置时的扫视。由此产生的一系列注视和扫视被称为扫描路径。平稳追踪描述跟随移动物体的眼睛。注视眼睛运动包括微扫视，微扫视是在意图注视期间发生的小的、不自主的扫视。来自眼睛的大多数信息都是在注视或平稳追踪期间获得的，而不是在扫视期间获得的。沿扫描路径的注视位置或平稳追踪显示在眼睛跟踪会话期间处理了刺激的哪些信息轨迹。注视、微扫视和扫视的持续时间可用于确定观看者是否正在读取语言文本、观看场景或场景的一部分、移动到新场景或场景的一部分等。

为了允许解释由眼睛跟踪模块或系统375记录的数据，可以图形地或定量地表示人类代理或观看者的眼睛运动。例如，可以分析能够从监控人类代理眼睛在代理桌面用户界面360上的移动生成的热图、盲区图、扫描路径和其它表示以确定代理在观看哪里、代理是在读取AI生成的文本还是其它内容、持续多长时间等。如本领域中已知的，热图是检测到的观看者凝视和眼睛运动的图形表示，其中“热区”或具有较高密度的区域指定用户以更高的频率或更长的时间聚焦他的目光的区域。盲区图是热图的一个版本，其中视觉上较少注意的区域被清楚地或突出地显示以示出用户未观看场景或UI的哪些区域或位置。扫描路径是场景或UI上的注视和扫视的图形表示。眼睛跟踪模块或系统375可以生成本领域已知的代理桌面用户界面360的人类代理视图的其它类型的图形或定量表示，并且这被认为是在本发明的范围内。

基于对人类代理的眼睛运动及其生成的表示的监控，眼睛跟踪模块或系统375可以生成指示人类代理对AI生成的内容的关注水平的元数据或其它信息。根据一个实施例，可以将该元数据添加到通信会话的记录中。以这种方式，通信会话的记录可以包括内容的记录，其中例如使用颜色编码或其它手段来区分内容以指示哪些内容是人类代理生成的并且哪些内容是AI生成的。会话记录还可以包含生成的元数据，该元数据描述代理对内容的物理审阅、审阅的时间、审阅所花费的时间等。

根据一个实施例，然后可以将这样的元数据汇总成或用于生成用于内容监督的更高级别的关键绩效指标(KPI)380，其可以进而与期望值进行比较。例如，基于此比较，具有低监督KPI的代理可能未对AI生成的内容施予足够的监督。相反，监督KPI 380过高的代理可能花费了过多时间来审阅AI生成的内容，因此使具有AI帮助的优点无效。

根据一个实施例，可以通过AI引擎365基于AI内容本身来生成人类代理与之比较的这种预期或最佳关注水平。例如，并且如本领域中已知的，AI引擎365可以生成与内容一起的并指示所生成的内容与被询问的问题和/或通信会话的上下文相关的置信水平的图灵风险因子或其它相关性得分。因此，如果AI引擎365某种程度上不确定特定内容的相关性，则可以用如下置信水平对该内容进行评级，该置信水平指示该特定内容可能导致客户怀疑他们正在与机器交互的风险。在某些情况下，可能通过所呈现内容上的简单背景颜色编码布置，代理可以看到该置信水平或风险因子。在这种情况下，较高的风险因子或较低的置信评分可能指示并且对应于代理的更高关注水平，即，代理应该花费更多时间来审阅该特定内容。相反，具有低风险评分或高置信水平的内容可以具有更低的预期关注水平，其中相对于预期关注水平来对代理进行考量。

换句话说，监控代理对联络中心305中自动生成的内容的监督可以包括：通过联络中心305的一个或多个通信模块315-340，在一个或多个通信信道上与多个客户端设备310A-310D中的每个进行通信会话。每个客户端设备310A-310D可以与客户联络人相关联。例如，通信会话可以包括客户联络人与人类代理之间的聊天会话、短消息服务(SMS)交换和电子邮件交换中的一个或多个或者其它基于文本的交换。

每个通信会话的内容可以由联络中心305的人工智能引擎365生成。例如，如上所述的聊天机器人或其它人工智能系统可以读取和分析来自客户联络人的消息并生成对该消息的应答。针对每个通信会话生成内容还可以包括针对所生成的内容生成置信水平。也就是说，聊天机器人或其它人工智能系统可以生成所生成的内容对于客户联络消息而言是正确且适当的可能性的置信评分、概率或其它指示。

在将生成的内容提供给客户端设备310A-31D中的任一个之前，可以将由人工智能引擎365针对每个会话生成的内容提供给与人类代理相关联的代理设备350。所提供的内容可以通过由代理设备350提供的用户界面360呈现给人类代理。也就是说，人工智能引擎365生成的内容可以被呈现或显示在代理的用户界面360上以在其被发送给客户联络人之前由代理审阅和批准。在一些情况下，在可从人工智能引擎365获得置信水平的情况下，还可以通过用户界面将针对内容所生成的置信水平的指示与所生成的内容一起呈现给代理。以这种方式，具有低置信水平的内容可以被识别为需要更仔细的审阅，而具有高置信水平的内容可以被识别为需要不太仔细的审阅。

与代理设备350相关联的眼睛跟踪系统375可以在通过由代理设备350提供的用户界面360呈现所生成的内容的同时监控人类代理对所生成的内容的审阅。也就是说，在代理的用户界面360中显示内容的同时，眼睛跟踪系统375可以监控代理在内容上的凝视位置，在界面360上的眼睛运动等，并确定代理正在观看哪些内容、代理是否正在主动读取该内容、持续多长时间等。

基于这些因子，眼睛跟踪系统375可以生成人类代理对所生成的内容的关注水平的指示。该指示可以包括相对于预定的预期关注水平的水平的指示，即，大于、大约等于或小于预期或理想的关注水平。在一些情况下，预定的预期关注水平可以是基于针对所生成的内容而生成的置信水平的。也就是说，可以预期具有高置信水平的内容将被审阅更短的时间或甚至根本不审阅，而具有低置信水平的内容可以被给予更长或更高的预期关注水平。

所生成的人类代理关注水平的指示被存储在人类代理的一组KPI 380中。也就是说，可以扩展KPI 380元数据以包括代理对自动生成的内容的关注水平的一个或多个指标。此元数据可用于生成一个或多个报告，当落在特定范围之外时向代理或代理的主管提供警报，提供代理性能的仪表板指标等。

图4是示出根据一个实施例的监控代理对联络中心中的人工智能内容的监督的框图。如该示例中所示，人类代理405可以进行多个同时或并发通信会话410A-410D，诸如与如上所述的客户联络人的聊天会话。在这样的会话的一个示例410B中，文本415可以由如上所述的AI引擎365生成为与客户联络人的对话的一部分。在将该文本发送给客户联络人之前，可以将其呈现给人类代理405以供审阅。还可以提供该内容的置信水平或风险因子(例如图灵风险因子)的指示420。该指示可以包括例如标志、标记、下划线、突出显示、文本字体、大小、颜色等、图标或用户界面中的任何其它图形或文本指示，以指示与所生成的内容相关联的相对风险或置信度。例如，具有低风险或高置信水平的AI生成的内容的指示符可以是绿色，而其它指示符可以是黄色和红色以指示增大的水平或风险或降低的置信水平。

一旦人类代理405审阅并批准了该内容415，就可以将其发送给客户联络人，并且回复425可以被接收并呈现给代理405。如该示例所示，代理405可以生成并发送响应430并继续对话。随着对话继续，可以呈现另外的AI生成的内容435以供代理405审阅。再一次地，还可以提供该内容的置信水平或风险因子(例如图灵风险因子)的指示符440。

如上面详细描述的，眼睛跟踪系统375可以基于监控和跟踪代理的眼睛来生成代理405对AI生成的内容415和435的审阅的一个或多个图形或定量表示445。例如，热图、盲区图、扫描路径和其它表示可以通过监控人类代理的眼睛在代理桌面用户界面上的移动来生成，并且可以被分析以确定代理正在看的位置、代理是正在读取AI生成的文本415和435还是其它内容、持续多长时间等。

如上所述，可以监控和记录通信会话和/或其各个方面。例如，眼睛跟踪模块或系统375可以生成指示人类代理对AI生成的内容的关注水平的元数据450或其它信息。根据一个实施例，该元数据450可以被添加到通信会话的记录和/或被记录为一个或多个KPI。该元数据可以包括但不限于指示通信会话中人类生成的内容对比AI生成的内容的信息、各种眼睛跟踪度量、AI生成的内容审阅持续时间、图灵风险因子或AI生成的内容的风险或置信度的其它指示等。

使用该记录的元数据450，可以生成代理绩效的仪表板455或其它表示并将其呈现给代理和/或代理的主管。该呈现455可以采用多种形式中的任一种。例如，呈现可以包括表示对于各种度量的代理绩效的一组仪表或其它图形。所表示的一个这样的度量可以是指示相对于预期关注水平的代理的注水平的AI内容审阅度量，该预期关注水平例如基于针对每条AI生成的内容确定和指示的风险或置信水平。应当理解，在不脱离本公开的范围的情况下，确切的表示可以依赖于确切的实现而显著变化。

图5是示出根据一个实施例的用于监控代理对联络中心中的人工智能内容的监督的示例性处理的流程图。如该示例中所示，监控代理对联络中心中的自动生成的内容的监督可以包括：通过联络中心的一个或多个通信模块，在一个或多个通信信道上与多个客户端设备中的每个客户端设备进行505通信会话。每个客户端设备可以与客户联络人相关联。例如，通信会话可以包括客户联络人与人类代理之间的聊天会话、短消息服务(SMS)交换、电子邮件交换中的一个或多个或其它基于文本的交换。

每个通信会话的内容可以由联络中心的人工智能引擎生成510。例如，如上所述的聊天机器人或其它人工智能系统可以读取和分析来自客户联络人的消息并生成对该消息的应答。针对每个通信会话生成510内容可以进一步包括对于所生成的内容生成置信水平。也就是说，聊天机器人或其它人工智能系统可以生成所生成的内容对于客户联络消息而言是正确且适当的可能性的置信评分、概率或其它指示。

在将生成的内容提供给客户端设备中的任一个之前，可以将由人工智能引擎针对每个会话生成510的内容提供515给与人类代理相关联的代理设备。所提供515的内容可以通过由代理设备提供的用户界面呈现给人类代理。也就是说，由人工智能引擎生成510的内容可以在其被发送给客户联络人之前被呈现或显示在代理的用户界面上以由代理审阅和批准。在可从人工智能引擎获得置信水平的某些情况下，还可以通过用户界面将针对内容生成的置信水平的指示与所生成的内容一起呈现给代理。以这种方式，具有低置信水平的内容可被识别为需要更仔细的审阅，而具有高置信水平的内容可被识别为需要不太仔细的审阅。

在通过由代理设备提供的用户界面呈现所生成的内容的同时，与代理设备相关联的眼睛跟踪系统可以监控520人类代理对所生成的内容的审阅。也就是说，在内容被显示在代理的用户界面中的同时，眼睛跟踪系统可以监控520代理在内容上的凝视位置、界面上的眼睛移动等，并确定代理正在查看哪些内容、代理是否正在主动读取该内容、持续多长时间等。

基于这些因子，眼睛跟踪系统可以生成525人类代理对所生成的内容的关注水平的指示。该指示可以包括相对于预定的预期关注水平的水平的指示，即，大于、大约等于或小于预期或理想的关注水平。在一些情况下，预定的预期关注水平可以基于针对所生成的内容而生成的置信水平。也就是说，可以预期具有高置信水平的内容将被审阅更短的时间或甚至根本不审阅，而具有低置信水平的内容可以被给予更长或更高的预期关注水平。

所生成的人类代理的关注水平的指示存储530在人类代理的一组关键绩效指标(KPl)中。也就是说，可以扩展KPI元数据以包括代理对自动生成的内容的关注水平的一个或多个指标。此元数据可用于生成一个或多个报告，当落在某些范围之外时向代理或代理的主管提供警报，提供代理绩效的仪表板指标等。

在各个方面、实施例和/或配置中，本公开包括基本上如本文描绘和描述的组件、方法、处理、系统和/或装置，这些组件、方法、处理、系统和/或装置包括各个方面、实施例、配置实施例、子组合和/或其子集。在理解本公开之后，本领域技术人员将理解如何进行和使用所公开的方面、实施例和/或配置。在各个方面、实施例和/或配置中，本公开包括在没有本文未描绘和/或描述的项目的情况下或在其各个方面、实施例和/或配置中提供装置和处理，包括在没有可能已经在先前的设备或处理中使用的项目的情况下，例如，用于改进性能、实现简易性和/或降低实现的成本。

已经出于说明和描述的目的给出前述讨论。前述讨论并非旨在将本公开限制于本文公开的一种或多种形式。在前面的具体实施方式中，例如，为了简化本公开，本公开的各种特征在一个或多个方面、实施例和/或配置中被组合在一起。本公开的各方面、实施例和/或配置的特征可以在除了上面讨论的那些之外的替代方面、实施例和/或配置中组合。该公开方法不应被解释为反映权利要求需要比每个权利要求中明确记载的更多特征的意图。而是，如所附权利要求所反映的，发明方面在于少于单个前述公开的方面、实施例和/或配置的所有特征。因此，所附权利要求在此并入该具体实施方式中，其中每个权利要求自身作为本公开的单独的优选实施例。

此外，尽管描述已经包括对一个或多个方面、实施例和/或配置以及某些变型和修改的描述，但是其它变型、组合和修改也在本公开的范围内，例如，在理解本公开之后，可以在本领域技术人员的技术和知识范围内。意在在允许的范围内获得包括替代方面、实施例和/或配置的权益，包括所要求保护的那些的替代的、可互换的和/或等同的结构、功能、范围或步骤，而无论在本文中是否公开了这种替代的、可互换的和/或等同的结构、功能、范围或步骤，并且不意在公然地贡献任何可专利的主题。