用于交互式声音响应系统的方法和装置

摘要

一种在交互式声音响应(IVR)系统中使用的方法，所述交互式声音响应系统与计算机网络连接，用于接收来自网络中的节点的流声音数据格式的声音数据，并在IVR信道上播放所接收到的声音数据，所述声音数据代表交替的发音周期和自然寂静周期，所述方法包括：存储从节点接收到的声音数据；在缓冲器中识别声音数据的整个序列，该序列包括自然寂静之间的发音；以及如果在缓冲器中的声音数据形成声音数据的完整序列时，则在IVR信道上播放声音数据。

说明书

技术领域

本发明涉及用于交互式声音响应系统的方法和装置。

背景技术

电话可以用于目录定购、核对航班时间表、查询价格、查看账户余额、通知客户、记录和检索消息、以及其它商业服务。通常，每个电话呼叫涉及以下述内容为代表的服务，即与用户讲话、询问问题、向计算机输入响应、以及从终端屏幕读出信息给用户。这一处理可以通过以播放声音提示并从例如语音识别或从DTMF音调接收用户输入的能力来替代交互式声音响应系统(IVR)来被自动化。

交互式声音响应系统通常使用这样的客户服务器配置来实现，即电话接口和声音应用程序在客户机上运行，而诸如文本到语音或声音提示数据库的声音数据提供服务器软件在服务器上运行，局域网络连接这两台机器。当应用程序请求声音数据时，其请求声音服务器开始向客户传输声音数据流。客户将等待，直到在缓冲器中累计了一定量的声音数据，然后开始播放声音数据，以打开电话信道。

直到播放操作开始的那一点的任何延迟感觉上就是相对无害的初始延迟。然而，一旦开始播放，必须以恒定的流，例如每秒8千字节，向打开的电话信道馈送声音数据，这一流中的中断的表现则被感觉为质量问题，例如结巴(stutter)或喀哒(click)声。

保持电话信道的恒定的声音数据流是声音服务器中的实际问题。如果该流被延迟，则只从留有声音数据的缓冲器继续播放声音数据。当声音缓冲器被完全耗尽时，只有两种替换方法：1)以错误来停止整个流和播放操作；或者2)填充时间，直到新的声音数据到来，例如人造的寂静。如果客户端和服务器之间的连接比LAN更遥远，诸如广域网络或因特网，那么问题就增加了。随着VoiceXML应用程序的发展，这种相距遥远的客户端和服务器也正在增长。

此外，很可能LAN或另一个网络同时为许多信道处理声音服务器业务。网络也可能处理其它数据业务。这两个因素都增加了声音分组在网络中传送时被延迟的机会。IVR和声音服务器之间的路由器、网关等也会增加整个网络延迟。

当前对此问题的一个解决方案就是在客户端使用大缓冲器，从而在缓冲器中保持有足够多的数据以处理从声音服务器接收到的声音数据的最长间隙。然而，在填充缓冲器时，这将引起开始操作时长时间的延迟。

发明内容

根据本发明的第一个方面，提供了一种交互式声音响应(IVR)系统，其与计算机网络连接，用于接收来自网络中的节点的流式声音数据，并在IVR信道上播放所接收到的声音数据，所述声音数据代表交替的发音周期和自然寂静周期，所述IVR系统包括：

缓冲器，用于存储从节点接收到的声音数据；

序列控制器，用于识别声音数据的序列，每个序列包括自然寂静之间的发音；

以及播放控制器，用于当在缓冲器中接收到声音数据的整个序列时，在IVR信道上播放声音数据。以这种方式，如果在声音数据的播放中存在不连续，那么不连续将在自然寂静中发生。

序列控制器扫描到来声音是声音还是寂静。将连续两个寂静周期之间的声音数据识别为形成整个发音的序列。每个寂静周期必须长于最小周期，否则将记入一些音素之间的小间隙，而一个单词可能被计为两个发音。在优选实施例中，序列控制器处理声音数据，以区分代表声音的声音数据和代表寂静的声音数据。在第二和第三个实施例中，IVR序列控制器在识别声音或寂静的声音数据中扫描标记，该标记由远程序列控制器引入该声音数据，而该远程序列控制器处理该声音数据以在声音和寂静之间进行区分。

在缓冲器中以声音数据分组的形式存储提示，并且序列控制器扫描每个声音分组以确定其为声音还是寂静。在优选实施例中，声音分组足够小，从而可以将单个声音分组计为一个单元的声音或寂静。最好分组大小在10至50毫秒(msec)之间，对两个人彼此交谈的交互式声音而言，20msec为最佳大小。然而，例如，当双方之一为IVR时，分组可以大到一秒。将每个声音分组标记为声音或寂静。标记可以放置在声音分组的首标或声音分组的有效负载部分。声音缓冲器中存储的分组与经网络传送的分组相同，并且在将其放置到声音缓冲器中之前，不由传输控制器将其连续化。

标记分组的一种有利方式是，如果是寂静，就使声音分组的有效载荷部分为空。非零值将表示声音。另一个有利方式是，用一个值来标记分组的首标，以识别声音或寂静。

合适的是，如果序列控制器识别了缓冲器中要播放的数据序列，那么将使该序列能够被播放。当一个序列是要播放的下一个序列时，其变为当前序列。对于当前序列，序列控制器获取在缓冲器中的开始和结束分组号。

在优选实施例中，在IVR中处理从声音提示数据库或TTS引擎发送的声音分组，以识别声音和寂静数据的序列。这使得任何声音服务器都能够向本实施例发送声音数据。然而，IVR处理许多信道的声音数据处理，而其数字信号处理资源是有限的。所以，对于网络服务器而言，代之进行信号处理是有利的。

在第二个实施例中，在声音服务器进行对声音数据的处理，并使用标记来标明分组数据中的序列。现在IVR中的序列控制器只在声音数据中扫描标记，这释放了IVR的数字信号处理资源。

此外，在第二个实施例中，一旦处理了声音提示，并加标记以标明发音序列，就不需要再次对其进行处理，并且可以将其存储在声音提示数据库中，以备以后检索使用已标记的内容。

然而，并不总是需要对声音数据进行数字信号处理。在第三个实施例中，TTS引擎通过扫描文本单词及标点符号之间的空格来识别文本数据中的发音，并在声音提示中嵌入标记，以标明整个发音。所以，对于TTS，不需要使用数字信号处理来在声音数据中扫描寂静周期。发音可以取为单个单词，但是在第三个实施例中，发音是整个语句，因为在这里，更可能发生声音的自然停顿。在替换实施例中，由其它标点符号分离开的短语也可以取为发音。

根据本发明的第二个方面，提供了一种用于在如权利要求中所描述的IVR系统内播放提示的方法。

根据本发明的第三个方面，提供了一种计算机程序产品，用于处理一组或多组数据处理任务，所述计算机程序产品包括在计算机可读存储介质上存储的计算机程序指令，当将该计算机程序指令载入计算机中并执行时，使计算机执行权利要求中所描述的步骤。

附图说明

为了促进对本发明上述和其它方面的进一步理解，现在将只利用示例，参考附图描述本发明的实施例，其中：

图1展示了根据现有技术的交互式声音响应系统(IVR)100和声音服务器102的示意图；

图2展示了指示声音数据分组在现有技术计算机网络中找到通路所耗费时间的图；

图3展示了现有技术中用户与连接到网络提示数据库和网络TTS引擎的IVR的交互作用；

图4A、B、C展示了现有技术处理的概述例子；

图5A、B、C展示了根据本发明优选实施例的处理的概述例子；

图6展示了根据本发明优选实施例的IVR的示意图；

图7展示了根据本发明优选实施例的顺序控制器的步骤；

图8展示了根据本发明优选实施例的缓冲控制器方法的步骤；

图9A展示了根据本发明优选实施例的缓冲器表；

图9B展示了根据本发明优选实施例的缓冲寄存器；

图10展示了根据本发明第二个实施例的声音服务器；以及

图11展示了根据本发明第三个实施例的文本到语音引擎。

具体实施方式

参考图1，其中展示了根据现有技术的交互式声音响应系统(IVR)100和声音服务器102的示意图。电话机104经由电话网络106连接到交互式声音响应系统(IVR)100。IVR 100经由计算机网络108连接到声音服务器102。声音服务器102连接到文本到语音引擎(TTS)110和声音提示数据库112。

电话网络106是公共交换电话网络(PSTN)。计算机网络108是局域网络LAN。

IVR 100包括：应用程序114、传输控制器116、声音缓冲器118、以及播放控制器120。声音服务器102包括：声音缓冲器122和传输控制器124。在正常操作中，声音数据在应用程序114的控制下，在打开的信道中，从电话机104经电话网络106流入IVR 100。声音数据还从TTS 110或声音提示数据库112经由声音服务器102，并经由IVR 100流入电话机104。提示数据库中的声音数据包括预先记录的声音提示。来自TTS引擎110的声音数据包括从文本数据转换的合成声音。

IVR 100包括具有IBM DirectTalk^*技术的IBM^*WebSphere^*声音响应3.1(WVR)。在优选实施例中，使用Java Beans(豆)和Java应用程序114来控制IVR 100。WVR非常适于大型企业或电信商业。其可缩放、鲁棒、并且设计为一天24小时一周7天连续工作。AIX的WebSphere声音响应可以支持单个系统中12至480个同时电话信道。可以将多个系统联网在一起，以提供更大的配置。优选实施例使用AIX的WebSphere声音响应3.1，其支持单个IBMpSeries^*服务器上1至16个E1或T1数字干线，其中单个系统上具有多达1,500个端口。可以在19英寸机架中支持2000多个使用T1或E1连接的电话信道。支持包括PSTN、ISDN、CAS、SS7、VoIP网络的多个网络上的网络连接性。优选实施例涉及给入局呼叫例如ISDN和SS7提供用户识别号的那些网络。^*AIX、DirectTalk、IBM、pSeries以及WebSphere是国际商用机器公司在美国、其它国家、或同时在美国或其它国家的注册商标。

传输控制器116在计算机网络上为IVR 100接收并发送声音数据。其接收声音数据分组，并在将分组存储到声音缓冲器118中之前使其连续。传输协议是TCP/IP。传输控制器124在声音服务器102内在计算机网络上接收并发送声音数据。

声音缓冲器118在从网络接收到声音数据之后和播放控制器将其播放之前，以连续形式存储声音数据。声音缓冲器118是FIFO缓冲器，从而先进入的数据也先输出。随着数据输入到缓冲器的一部分，来自另一部分的数据就可以输出。缓冲器内的数据量稳定地变化，如果数据输出多于输入则减少，或者如果数据输入多于输出就增加。

播放控制器120移动来自缓冲器的已连续化的声音数据，并在声音信道上播放。声音缓冲器118具有指示IVR缓冲器中的声音数据太少而不能播放的下限水平。播放控制器120只在声音数据水平在下限水平之上时才移动声音数据。当数据水平低于下限水平时，播放控制器120停止从IVR缓冲器播放声音数据。当声音缓冲器118中的数据水平达到上限水平时，播放控制器120再次开始移动声音数据。一个有用的比较是水容器，其从顶部填充，并在底部具有一出口，容器中的水量达到一定水平。当容器中的水的水平低于下限水平时，不再准许水流出。再次准许水流出之前，容器中的水必须达到上限。下限水平不影响声音数据流的最后字节的播放，无论其是否低于下限水平，IVR都将播放最后字节。

参考图2，其中展示了表示声音数据分组在典型的现有技术计算机网络中找到通路所耗费时间的图。在一定的时间内大量分组到达，但是由于网络加载，剩余的分组耗费较长的时间来穿过网络。随着网络负载变化，该延迟呈指数减少。有一个由网络的物理大小掌控的最小时间。

参考图3，其中展示了现有技术中用户与连接到网络提示数据库和网络TTS引擎的IVR的交互作用。这一交互作用由步骤301至309描述。在步骤301，用户呼叫IVR，IVR打开声音信道，并且IVR应用程序114控制声音信道。在步骤302，应用程序114在打开的信道上向用户播放第一条提示。第一条提示是由应用程序114存储在IVR 100上的预先记录的声音数据。在播放之前，声音数据可以传输到缓冲器，也可以不传输到缓冲器。在步骤303，响应于该提示，从用户接收DTMF(按钮拨号(touch-tone))数据。在步骤304，向提示数据库112请求声音数据。在步骤305，提示数据库112经网络108将声音数据返回到IVR的缓冲器118。在步骤306，随着缓冲器118中填满声音数据，应用程序114向用户播放声音数据作为第二次提示。在步骤307，应用程序请求网络文本到语音引擎110将一些文本转换为声音数据。在步骤308，文本到语音引擎110经网络108向IVR 100的缓冲器发送合成声音数据。在步骤309，随着缓冲器118中已填满声音数据，应用程序114向用户播放声音数据作为第三次提示。在步骤305和308的每一步中，声音数据经网络108发送到IVR 100，正是在这些点上，网络延迟的问题将影响声音数据接收的连续性。

通常(但非必要)，数据以固定长度的离散分组在网络上发送。在因特网协议网络中，分组包括：TCP/IP首标，其位于每个声音分组的开始部分；和声音分组的“有效载荷”，包含实际声音数据。通常使用1字节PCM格式(mu或A-law格式)，以标准电话采样率8kHz即每秒8千字节或64千比特的数据速率，表示声音数据。典型的分组可能包含160个字节，对应于20毫秒的声音。这意味着，为了维持8kHz的数据速率，需要发送机每秒发送50个分组。

图4A、B、C给出了三个不同阶段的现有技术IVR声音数据缓冲器的一般例子。图4A、B、C中每一个展示了IVR 100和缓冲器118，其经由计算机网络108连接到具有缓冲器122的声音服务器102。声音服务器以低于或高于8kHz电话速率的速率产生声音分组。声音数据以恒定速率(8kHz)播放。P1、P2、P3、P4代表单词“the”的发音序列，而P5、P6、P7、P8代表单词“cow”的发音序列。四个分组P1、P2、P3、P4在IVR缓冲器中等待播放，并且IVR缓冲器中有空余容量。仅就此例而言，每个分组是200ms，这意味着如果另一个分组在接下来的800ms内没有到达，则缓冲器将被耗尽，或者发生欠载运行错误，或者需要在语音信号内任意点上播放寂静，直到下一分组到达。这些都是所不希望。图4B展示了图4A接下来阶段的情况，三个分组P1、P2、P3已被播放，另一个分组P5从声音服务器到达，并做好播放准备。还有三个分组P6、P7、P8尚未开通网络，正在等待声音服务器缓冲器。图4C展示了图4B接下来的阶段的情况，其中分组P4和P5已被播放，而其它三个分组P6、P7、P8仍在延迟。在这种情况下，IVR除了以支持(underpin)错误停止操作，或者插入寂静直到新的分组到来，别无选择。需要注意的是，在P5和P6之间发生了寂静，并且将导致结巴的效果。在现有技术中，寂静的出现是不可控制的，因为其可以在任何分组之间发生。

图5A、B、C给出了根据本发明实施例三个不同阶段的IVR声音数据缓冲器的一般例子。本实施例提出播放中的寂静发生在确定为合适的点，例如字或标点符号之间。图5A、B、C除现在描述本发明的结果之外，与图4A、B、C相似。IVR在数据流中识别适当的寂静间隙，并在此点插入标记。IVR只播放两个连续阶段之间的数据。与图4A、B、C一样，IVR缓冲器包含代表单词“the”的分组P1、P2、P3、P4，而声音服务器缓冲器包含代表单词“cow”的分组P5、P6、P7、P8。可是在这种情况下，标记51位于在IVR缓冲器内第一个单词的第一个分组(P1)之前，以识别单词之间的自然寂静。紧接着从声音服务器接收到分组P5。同样，IVR已在P4中识别出寂静间隙，并插入标记53以识别它。在图5A、B、C中，P1和P5以黑体标明，并加下划线，以表示单词的第一个分组。参考图5B，已播放了分组P1、P2、P3，即将播放P4，而P5将被延迟，直到下一个寂静间隙内的分组全部接收到。分组P6、P7、P8尚未发送，并还在延迟。参考图5C，已播放了分组P4，但是因为P5是尚未完全到达的单词的第一部分，并没有播放P5(与图4C相比较)。分组P6、P7、P8仍尚未发送，并还在延迟。

参考图6，其中展示了根据本发明第一个实施例的IVR 600的示意图。IVR 600包括现有技术IVR 100的组件：应用程序114、声音缓冲器118、播放控制器120。此外，IVR 600还包括新的组件：传输控制器602、序列控制器604、缓冲器控制器606、缓冲器表608以及缓冲器寄存器610。

传输控制器602从网络108接收分组数据，但是并不在声音缓冲器118中使声音数据连续化。相反，保持原分组结构，并存储在声音缓冲器中。

序列控制器604在声音分组从声音服务器102到达时截取声音分组，并处理声音分组，以判断该数据为声音还是寂静。序列控制器604以其发现来更新缓冲器表608。序列控制器604的方法700将参考图7进行描述。

缓冲控制器606分析要播放的声音数据的当前序列是否在缓冲器中，以及当前序列的播放是否将使缓冲器水平低于下限水平。缓冲器控制器606的方法800将参考图8进行描述。

缓冲器表608存储缓冲器的声音和寂静位置。序列控制器更新缓冲器表608，而缓冲器控制器606使用缓冲器表608来在满足条件的情况下控制序列的播放。图9A中展示了缓冲器表608的例子。

缓冲器寄存器610存储缓冲器表608的对应物理存储地址，和开始和结束分组号。其还存储下限水平分组号。图9B中展示了缓冲器寄存器的例子。由缓冲器控制器604来更新开始分组号和下限分组号。由序列控制器606来更新结束分组号。

现在参考图7，其中展示了根据本实施例的序列控制器方法700的序列的步骤。只要由传输控制器602接收到来声音分组，此方法就是连续的。步骤702处理是声音或是寂静的到来分组。每个分组在被接收时，都由数字信号处理器分析以确定其是声音还是寂静。由于寂静声音分组的能量水平将远低于包含实际声音的声音分组，所以对声音分组的能量进行测量。这一步骤由数字信号处理器进行。步骤704以分组是声音或寂静来更新寂静表。在此实施例中，以开始和结束分组号列出声音和寂静的交替周期。步骤706在缓冲器中放置分组。接着，将分组放置到缓冲器中。该分组将具有缓冲器中的物理地址，但是这里使用逻辑分组号来描述分组在缓冲器中的位置。步骤708检查该分组是否最后一个分组。如果该分组不是最后一个分组，那么一旦接收到下一分组，就以相同方式对其进行处理。在步骤710中，获取了下一分组，并再次从步骤702开始本方法。步骤712是该方法的结束。如果该分组是最后一个分组，那么该方法在步骤712处结束。实际上，该处理一般是连续的，直到信道被关闭。

现在参考图8，其中展示了根据本发明的缓冲器控制器方法800的步骤。只要缓冲器中有声音数据序列，该方法就继续。初始化步骤802指向缓冲器中第一个序列的第一个声音分组，并将其定义为当前序列。在步骤804，如果接收到了当前序列的最后一个分组，则缓冲器控制器尝试从缓冲器表中获取当前序列的最后一分组号。在步骤806，缓冲器控制器检查整个序列是否都在缓冲器中。在步骤808，如果尚未接收到最后一个分组，那么缓冲器控制器等待最后一个分组。如果当前序列的最后一个分组在缓冲器中，则在步骤810播放当前序列。在步骤812，如果该序列是提示中最后一个序列，那么这就是该方法的结束步骤816。如果当前分组是最后一个分组，那么在步骤818，更新计数器，以指向缓冲器表中下一个序列。

代替对整个发音是否已在缓冲器中的判断，替换实施例中使用缓冲器中下限或上限水平的概念。在该替换实施例中，下限水平是缓冲器中固定数量的数据分组。缓冲器的开始以分组数来定义，并随着分组被播放而经常更新，下限水平是此前预定数量的分组。例如，下限水平可以是缓冲器的开始之前100个分组。声音分组序列可以跨越下限水平。步骤806被修改为考虑下限水平，使得如果序列中的结束分组在下限水平之上，就播放该序列。例如，在下限水平为100个分组的情况下，如果从缓冲器的开始处起，开始分组小于100个分组，而结束分组多于100分组，则可以发生播放。需要注意的重要之处是，尽管播放使缓冲器低于下限水平，但是也播放整个序列。可选地，修改步骤806，使得只在开始和结束分组都在下限水平之上时才播放序列。使用下限和上限水平，不重新发生播放，直到缓冲器中的分组达到上限水平或接收到了提示中的最后一个分组。

参考图9A，其中展示了缓冲器表608，其具有由序列控制器604创建的信息。缓冲器表608具有两列。第一列指示该分组是寂静还是声音，而第二列列出对应的分组号。一次发音是一段声音之后跟随一段寂静的周期，或反之。

参考图9B，其中展示了缓冲器寄存器610，包括：由序列控制器604和缓冲器控制器606更新并使用的变量。缓冲器寄存器610包括缓冲器的开始(由缓冲器控制器606更新)、缓冲器的结束(由序列控制器604更新)以及下限水平(此例中总是比缓冲器的开始多100个分组)的变量。

参考图10，其中展示了第二个实施例的示意声音服务器1000。在此实施例中，在声音服务器1000中，而不是在IVR 100中识别分组是声音还是寂静分组。声音服务器1000包括：声音数据缓冲器1002、寂静分析器1004、标记汇编器1010、声音数据缓冲器1012、以及传输控制器1014。声音数据缓冲器1002从，例如，文本到语音服务器110或声音提示数据库112接收数据。寂静分析器1004进行数字信号处理，以确定分组包括声音还是寂静。标记汇编器1010给该分组加以标记，以识别其是声音还是寂静，该标记可由序列控制器604检查。声音数据缓冲器1012在已修改的声音分组被发送到IVR之前保持已修改的声音分组，传输控制器1014影响分组的传输。在此实施例中，IVR 100中的序列控制器604在分组中扫描标记，而不是处理分组。

参考图11，其中展示了根据第三个实施例的示意的文本到语音服务器1100。在第三个实施例中，不在声音服务器或IVR中对声音分组进行数字信号处理来识别其是声音还是寂静。作为替代，提示中的寂静被文本语句之间的空格来识别，寂静标记插在代表连续的句子的声音数据之间，以识别自然停顿。文本到语音服务器1100包括：文本缓冲器1102、寂静分析器1104、合成模块1106、音素模块1108、标记汇编器1110、声音数据缓冲器1112以及传输器1114。

文本缓冲器保持由IVR向其发送的要转换为语音的文本。寂静分析器1104以停顿将文本缓冲器1102中的文本打断为多个发音。在此实施例中，取整个语句优选为寂静，但是在其它实施例中，还使用单词和短语。将每个发音传给合成模块1106，同时，向标记汇编器1110发送该发音的通知。合成模块1106将发音的单词映射到来自音素模块1108的音素和对应的声音数据，并将声音数据发送给标记汇编器1110。标记汇编器1110将每个发音的声音数据转换为声音数据分组，然后标记开始和结束分组为寂静分组，标记其间的分组为声音分组。所标记的声音分组在传输控制器1114将它们传输到声音服务器102和IVR 100之前，临时存储在声音数据缓冲器1112中。本实施例中，IVR 100中的序列控制器117在分组中扫描标记，而不处理分组。

在优选实施例中，电话网络是PSTN，但是可以使用任何电话网络，例如ISDN或IP上的声音(Voice over IP)。尽管在优选实施例中使用LAN来将IVR连接到声音服务器，但是也可以使用任何网络，包括因特网。

尽管以AIX的IBM MVR描述了实施例，但是也可以使用其它IVR来实现本发明。例如，用于具有直接对话技术的视窗NT和视窗2000的IBMWebSphere声音响应(IBM WebSphere Voice Response for Windows^*NT^*andWindows 2000 with DirectTalk Technology)是为更喜欢用基于视窗的操作环境来运行自我服务应用程序的用户设计的交互式声音响应(IVR)产品。WebSphere声音响应能够支持从简单到复杂的应用程序，并可在网络配置中升级至上千行。Windows和Windows NT是微软公司在美国、其它国家、或者在美国和其它国家两者中的商标。