模态同步控制方法及多模态界面系统

摘要

一种模态同步控制方法及多模态界面系统。该方法是预先准备好对应同步的多个模态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，并包括：对于来自浏览器的处理请求，参照所述选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件的步骤；对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容的步骤。从而可达到几乎不修改现有的Web应用程序，就可以使多个模态用的浏览器同步，容易地实现多模态服务的目的。

说明书

技术领域

本发明涉及使多个用户界面同步的方法、实现该方法的系统及其程序。

背景技术

伴随因特网的普及和Web技术的发展，用户使用Web浏览器可以从WWW服务器(World Wide Web)取得因特网上的各种信息并阅读。从WWW服务器取得的内容用HTML(Hyper Text Markup Language)描述语言进行描述，Web浏览器解释这些信息并在画面上显示信息。

这些Web系统不仅单纯地取得服务器上的静态内容并显示在画面上，而且发展到根据来自Web浏览器的输入数据，在服务器侧进行以数据库等为对象的信息处理，并且以该结果为基础生成动态内容输出给浏览器的Web应用程序。这样，用户可以轻松地通过Web浏览器利用网上商店等因特网上的各种服务。

另一方面，为了也可以根据电话机等的语音来利用这些Web技术，提出了VoiceXML这种内容记述语言。在VoiceXML系统中，通过在电话机和WWW服务器之间设置VoiceXML浏览器，VoiceXML浏览器通过解释VoiceXML来与用户进行对话，根据用户的语音识别结果，根据需要向WWW服务器请求新的VoiceXML。

如上所述，虽然已经具备了可以通过Web浏览器等的GUI(图形用户界面)模态和语音等的语音模态等的用户界面来利用因特网上的各种服务的环境，但在通过将语音输入的便利性和GUI的阅览性这两方面的便利性组合的多个模态来利用各种服务的情况下，需要由内容提供方实现用于使各模态浏览器同步的结构，因而存在着增大开发者的负担的问题。

对此，作为使多个模态用浏览器同步的结构，例如，提出有如专利文献1所公开的多个用户界面的同步方法及其系统的方案。在该发明中，在用各浏览器显示静态存在的HTML和VoiceXML时，预先在同步服务器中定义HTML内容和VoiceXML内容的各自url(统一资源地址(uniformresource locator))的对应关系，在一方的浏览器请求url时，通过将与该url对应的另一方的模态用url通知同步的浏览器，使同步的浏览器取得与该url对应的内容来实现同步。另外，在为象Web应用程序那样生成动态内容的服务器情况下，通过在一方的浏览器进行提交时，也使对应的浏览器同时进行提交，并且按照每个模态对以不同模态存在的CGI等程序进行相同处理，从而根据同一处理结果生成不同模态的内容，来实现内容之间的同步。

专利文献1特开2003-150440号公报

上述专利文献1所记载的发明，虽然在使静态存在的每个模态的内容同步时没有问题，但在应用于根据服务器侧的处理结果而动态地生成内容的Web应用程序时，则会产生问题。

例如，在网上商店等订货系统中，在进行多模态服务时，预先对每个模态准备好向订货系统转发订货数据并根据处理结果而生成内容的CGI(公共网关界面)程序，通过在一方的浏览器进行订货委托时，使另一方的同步的模态也同时进行订货委托，从而实现同步。

但是，由于两个浏览器同时进行相同的处理委托，所以产生订货系统多次处理相同订货的双重执行的问题。作为解决该问题的方法，可以考虑仅由一方的CGI向订货系统进行订货委托的方法，但由于不进行订货委托的CGI也需要根据处理结果生成内容，所以需要从实际进行处理委托的CGI取得处理结果。另外，需要实现在利用通常的单模态时，激活CGI的订货处理功能，而仅在以多模态利用时使CGI功能无效的处理。

这样，在使多个浏览器进行相同的处理委托的本方式中，Web应用程序的开发者应该安装的同步处理功能复杂，因而存在着增大开发者的负担的问题。

发明内容

本发明就是为了解决上述问题而做出的，其目的是在通过解释特定模态的内容来与用户进行交互对话的浏览器，和根据来自浏览器的请求进行信息处理，根据处理结果生成内容并输出给浏览器的信息处理系统中，几乎不用修改现有的Web应用程序，就可以使多个模态用的浏览器同步，容易地实现多模态服务。

本发明的模态同步控制方法是一种在使每个模态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态界面系统中的模态同步控制方法，其特征在于，预先准备好对应同步的多个模态的组合而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，并包括：对于来自浏览器的处理请求，参照所述选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件的步骤；对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容的步骤。

此处，可以构成为还包括：对于同步的其它浏览器进行内容的取得通知的步骤和根据来自同步的其它浏览器的取得请求而输出内容的步骤。

另外，本发明的程序是一种用于使计算机执行模态同步控制方法的程序，该程序用于实现在使每个模态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态界面系统中的模态同步控制方法，其特征在于，包括：对于来自浏览器的处理请求，参照对应同步的多个模态的组合而而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件的步骤；对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容的步骤。

本发明的多模态界面系统，是一种在使每个模态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态界面系统，其特征在于，具有：选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模态的组合而而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件；内容输出部，对于作为处理请求方的浏览器，输出通过应用所述被选择的内容生成文件而生成的内容，同时对于与所述浏览器同步的其它浏览器，输出通过应用所述被选择的内容生成文件中对应的内容生成文件而生成的内容。

此处，可以构成为还具有管理同步的多个模态的组合的模态管理部。

另外，模态管理部可以构成为，在接受来自浏览器的处理请求的同时，向作为处理请求方的浏览器发送由内容输出部生成的内容。

根据本发明的其它观点的多模态界面系统，是一种在使每个模态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态界面系统，其特征在于，具有：模态管理部，管理同步的多个模态的组合，同时进行与各模态的信息收发；选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模态的组合而而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择每个模态所适用的内容生成文件，通过每个模态的内容生成文件生成与该模态对应的内容，对于处理请求方的浏览器，输出由内容生成文件所生成的内容，同时对于同步的其它浏览器，向模态管理部通知用于取得由内容生成文件所生成的内容的取得请求信息；内容管理部，根据从同步的其它浏览器发送来的取得请求信息，向该浏览器输出对应该取得请求信息的内容。

在该情况下，内容管理部可以构成为还具有在对于与作为处理请求方的浏览器同步的其它浏览器的取得请求输出对应的内容后，删除所生成的内容的功能。

根据本发明的另外其它观点的多模态界面系统，是一种在使每个模态都具有通过解释对于特定模态的内容来与用户进行交互对话的浏览器，对应来自所述任意一个浏览器的请求进行信息处理，并根据处理结果生成内容并输出给各浏览器的多模态界面系统，其特征在于，具有：模态管理部，管理同步的多个模态的组合，同时进行与各模态的信息收发；选择处理部，对于来自浏览器的处理请求，参照对应同步的多个模态的组合而而相关联地存储了应适用的每种模态的内容生成文件的选择定义信息，根据与所述浏览器同步的其它浏览器和模态的组合，选择应适用于每个模态的内容生成文件，对于处理请求方的浏览器，输出由内容生成文件所生成的内容，同时对于同步的其它浏览器，而相关联地存储了用于识别所选择的内容生成文件的信息和关于对应来自浏览器的处理请求而执行的处理的处理结果的信息，并向模态管理部通知用于取得内容的取得请求信息；内容管理部，按照从同步的其它浏览器发送来的取得请求信息，根据与该取得请求信息对应的内容生成文件和处理结果的相关信息生成内容，向该浏览器输出所生成的内容。

本发明只需记述每个模态类别的内容生成文件和用于定义与同步的模态类别的组合适用的内容生成文件的组合的内容生成文件的选择定义信息，就能够使现有的单模态用Web应用程序容易地对应多模态。

附图说明

图1是单模态用Web应用程序的构成图。

图2是第1实施方式的多模态界面系统的构成图。

图3是表示模态管理部的动作的流程图。

图4是模态管理表的说明图。

图5A是HTML浏览器用初始画面的说明图。

图5B是VXML浏览器用初始对话的说明图。

图6是表示模态管理部的动作的流程图。

图7是处理结果数据的说明图。

图8是内容生成文件的选择定义信息的说明图。

图9是HTML内容生成文件的说明图。

图10是VXML内容生成文件的说明图。

图11是表示内容管理部的动作的流程图。

图12A是HTML浏览器用内容的流程图。

图12B是VXML浏览器用内容的流程图。

图13是第2实施方式的构成图。

图14是表示选择处理部的流程图。

图15是由选择处理部生成的内部表的说明图。

图16是处理结果数据的说明图。

图17是表示内容管理部的动作的流程图。

具体实施方式

<概要构成>

通常在Web应用程序的开发中，为了减轻开发者的开发负担，一般按照MVC(Model，View，Controller)模型将应用程序中的各种功能分量化。在MVC中，Model进行对数据库的检索处理等各种数据管理和处理逻辑，View实现根据Model的处理结果生成内容的功能。另外，Controller根据来自浏览器的输入数据和内部状态决定调出方的Model和View，进行将Model的处理结果转发给View的处理。这样，在MVC模型中，通过将进行实际处理的分量(Controller Model)与根据处理结果生成内容的分量(View)分离，并通过仅变更View部分，可以不变更处理逻辑就能容易变更画面设计。在本发明中，通过有效利用将处理逻辑部分和画面生成部分分离的Web应用程序的特征，构成了可容易地将现有的应用程序多模态化的单元。

图1表示一般的单模态用网上商店的Web应用程序构成图。服务器20由以下部分构成：接受来自HTML浏览器(Web浏览器)10的输入数据的接受订货控制器(相当于Controller)21；根据接受订货控制器21的委托进行实际的订货处理的订货系统(相当于Model)22；根据订货系统22的处理结果生成html内容的html内容生成文件(相当于View)23。在内容生成文件为Java系统时，可以使用JSP(Java Server Pages)等。参照附图说明容易将这种Web应用程序多模态化的模态同步控制方法和多模态界面系统的实施方式。

<第1实施方式>

在本实施方式中，对适用于接受处理商品订货的订货系统的示例进行说明。

图2是本发明第1实施方式的多模态界面系统的整体构成图。

此处，服务器20具有：管理目前同步的模态和浏览器相关信息的模态管理部24；通过模态管理部24接受来自浏览器的输入数据的接受订货控制器21；根据接受订货控制器21的委托进行实际的订货处理的订货系统22；根据内容生成文件的选择定义文件25选择内容生成文件的选择处理部26；根据来自浏览器的同步内容取得请求输出内容的内容管理部31。

在处于同步的模态是HTML浏览器10和VXML浏览器11时，模态管理部24管理这两个浏览器的同步。图4表示模态管理部24管理的管理数据一例。图4表示由同步ID、浏览器识别符、模态名称各项目构成的表，位于一个同步ID内的模态分别同步，相关联地存储各模态和浏览器。

接受订货控制器21根据请求方浏览器的请求，委托订货系统22进行处理，同时根据订货系统22的处理结果，向合适的选择定义文件25转发处理结果。图8表示内容生成文件的选择定义文件25的一例。本实施方式的内容生成文件的选择定义文件25是按照在订货系统22中可能产生的每种处理结果做成的。图8是表示向订货系统22订货的商品有错误时的示例，表示所订货商品可以按照订单接受的情况或预先设定其它可能发生的每种处理结果。在该示例中，在<mm：multi-modal>标识符中，对于模态的组合是HTML和VXML、CHTML和VXML时，进行与各模态对应的内容生成文件的定义，记述各自适应的内容生成文件名称，例如JSP(JavaServer Pages)名称。

选择定义文件25通过从接受订货控制器21转发处理结果而被执行，在执行的同时，选择处理部26读取选择定义文件并进行选择处理。在图8的示例中，位于定义前头的“mmtaglib.jar”程序库是执行选择定义文件25时被同时起动的选择处理。

在选择处理部26中，根据选择定义文件25的定义内容和与请求方浏览器同步的其它浏览器的模态的组合，抽出应该适用的每个模态的内容生成文件名称，向所抽出的各个内容生成文件转发从接受订货控制器21转发的处理结果。

此处，根据HTML浏览器10或VXML浏览器11的请求，选择处理部26从内容生成文件的选择定义文件25抽出相应的HTML内容生成文件27和VXML内容生成文件，向各个内容生成文件转发订货系统的信息处理结果，生成HTML内容29和VXML内容30。例如，在对于来自HTML浏览器10的请求，从接受订货控制器21执行了图8的选择定义文件25时，与HTML浏览器10同步的其它浏览器是VXML浏览器11，模态的组合是“HTML”和“VXML”，所以对于HTML浏览器10选择“merr_html.jsp”的内容生成文件，对于VXML浏览器11选择“merr_vxml.jsp”的内容生成文件，将处理结果转发给内容生成文件。图9表示“merr_html.jsp”的内容，图10表示“merr_vxml.jsp”的内容。另外，作为转发给各内容生成文件的处理结果数据，例如图7所示，可以由内容中的项目名称和结果数据相关联的表构成。此处，所生成的各内容分别作为文件被保存，但对于作为处理请求方的浏览器而生成的内容仅通过模态管理部24转发，不进行保存。

图12A、图12B表示在上述的内容生成文件中反映了处理结果数据的内容的示例。图12A表示在HTML内容生成文件27中反映了处理结果数据的HTML浏览器用内容，图12B表示在VXML内容生成文件28中反映了处理结果数据的VXML浏览器用发声信息。

下面，根据流程图说明该第1实施方式的动作。图3是模态管理部24的动作的流程图。

在步骤S11中，服务器20处于事件等待状态，在有来自浏览器的初始页面取得请求时转入步骤S12，在有结束请求时转入步骤S18，在有内容取得请求时转入步骤S20。

在步骤S12中，模态管理部24通过判别初始页面取得请求中包含的模态类别，特定请求方浏览器的模态类别。模态类别的判定，例如根据在浏览器有内容请求时发送的HTTP标题信息进行判定。

在步骤S13中，模态管理部24生成用于区别与其它浏览器的请求的浏览器识别符。

在步骤S14中，模态管理部24判别浏览器的初始页面取得请求中是否有指定的同步ID。在判断为未指定同步ID时转入步骤S15，在判断为已指定同步ID时转入步骤S16。

在步骤S15中，模态管理部24对于作为初始页面取得请求方的浏览器，生成新的同步ID。

在步骤S16中，在模态管理部24管理的模态管理表中记述同步ID、浏览器识别符和模态类别。模态管理表如前面所述，例如为图4所示的构成。

在步骤S17中，模态管理部24同时回复与模态类别相应的初始页面和浏览器识别符。作为初始页面，例如，准备图5A所示的HTML浏览器用初始画面，图5B所示的VXML浏览器用初始对话，模态管理部24将这些内容生成数据发送给作为请求方的浏览器。另外，和初始页面的内容生成数据一起发送的浏览器识别符在浏览器有处理请求时包含在该请求中被发送，模态管理部24根据浏览器识别符可以判别该浏览器的模态类别和同步的其它模态。

然后，转入步骤S11。

在步骤S18中，模态管理部24取得有结束请求的浏览器的浏览器识别符。

在步骤S19中，模态管理部24删除所管理的模态管理表中的适应浏览器识别符的栏。

然后，转入步骤S11。

在步骤S20中，模态管理部24取得有内容取得请求的浏览器的浏览器识别符。

在步骤S21中，模态管理部24根据所取得的浏览器识别符并参照模态管理表，取得属于同一同步ID的浏览器的模态类别。

在步骤S22中，模态管理部24将同步的所有模态的模态类别和内容取得请求一起发送给接受订货控制器21。发送模态类别时，例如可以使用HTTP标题进行发送。

在步骤S23中，模态管理部24从接受订货控制器21取得作为处理请求方的浏览器用内容和与处理请求方的浏览器同步的其它浏览器用同步内容取得用URL。处理请求方的浏览器用内容是根据由选择处理部26抽出的内容生成文件和订货系统22的处理结束数据而生成的。另外，同步内容取得用URL相对与处理请求方的浏览器同步的其它浏览器，表示根据内容生成文件和处理结果数据所生成的内容的存储位置。

在步骤S24中，模态管理部24向处理请求方的浏览器发送所生成的内容。

在步骤S25中，模态管理部24向与作为处理请求方的浏览器同步的其它浏览器通知同步内容取得用URL。

然后，转入步骤S11。

根据图6所示的流程图说明选择处理部26的动作。

在步骤S31中，选择处理部26通过接受订货控制器21取得订货系统22的处理结果和同步的模态类别信息。

在步骤S32中，选择处理部26根据同步的模态类别信息和内容生成文件的选择定义信息，选择每个模态类别的内容生成文件。如上所述，选择处理部26从图8所示的选择定义信息25抽出适应的内容生成文件27、28。

在步骤S33中，选择处理部26向所选择的各内容生成文件转发订货系统22的处理结果数据。例如，向图9所示的HTML内容生成文件27和图10所示的VXML内容生成文件转发图7所示的处理结果数据，结果，生成反映了订货系统22的处理结果的各浏览器用内容。

在步骤S34中，选择处理部26将所生成的各内容保存在文件中。对于处理请求方的内容没必要必须保存，可以通过模态管理部24仅发送。

在步骤S35中，选择处理部26向作为处理请求方的浏览器回复所生成的内容，向同步的其它浏览器通知同步内容取得用URL。

根据图11所示的流程图说明内容管理部31的动作。

在步骤S41中，内容管理部31处于事件等待状态，在浏览器有内容取得请求时转入步骤S42。

在步骤S42中，内容管理部31根据浏览器的内容取得请求，读出所保存的内容并回复给请求方的浏览器。在该情况下，是来自接受到同步内容的取得通知的浏览器的内容取得请求，在该取得请求中包括从模态管理部24通知的同步内容取得用URL。内容管理部31根据浏览器的取得请求中包含的同步内容取得用URL，读出同步内容，并将其发送给作为请求方的浏览器。

在步骤S43中，内容管理部31删除浏览器所请求的已发送的内容。

<第2实施方式>

图13表示本发明第2实施方式的多模态界面系统的整体构成。

在该第2实施方式中，和第1实施方式相同，服务器20具有：管理目前同步的模态和浏览器相关信息的模态管理部24；通过模态管理部24接受来自浏览器的输入数据的接受订货控制器21；根据接受订货控制器21的委托进行实际的订货处理的订货系统22；根据内容生成文件的选择定义文件25选择内容生成文件的选择处理部26；根据来自浏览器的同步内容取得请求输出内容的内容管理部31。

在第2实施方式中，不是象第1实施方式那样按照每个模态类别根据由选择处理部26选择的内容生成文件27、28来生成内容文件，而是仅将生成内容所需的数据保存在内部存储器中，根据需要生成每个模态类别的内容。

模态管理部24的动作和第1实施方式时相同，在此省略说明。根据图14的流程图说明选择处理部26的动作。

在步骤S51中，选择处理部26通过接受订货控制器21取得订货系统22的处理结果和同步的模态类别信息。

在步骤S52中，选择处理部26根据同步的模态类别信息和内容生成文件的选择定义信息，选择每个模态类别的内容生成文件。如上所述，选择处理部26从图8所示的选择定义信息25抽出相应的内容生成文件27、28。

在步骤S53中，选择处理部26将所选择的各内容生成文件中除作为处理请求方的浏览器的模态以外的对于同步的模态的内容生成文件名称、和订货系统22的处理结果数据与识别ID一起存储在内部表中。该内部表例如图15所示，由识别ID、处理结果数据ID、输入模态名称、适用的内容生成文件名称等项目构成。处理结果数据是将订货系统22的处理结果做成列表的列表数据，例如图16所示，由与各项目对应的数据构成，被附加了处理结果数据ID(在该图中为“err数据1”)。

在步骤S54中，选择处理部26向所选择的各内容生成文件中与作为处理请求方的浏览器模态对应的内容生成文件转发订货系统22的处理结果数据，生成内容。

在步骤S55中，选择处理部26对作为处理请求方的浏览器回复所生成的内容，同时生成附加了识别ID的同步内容取得用URL，相对同步的浏览器，将同步内容取得用URL通知对应的浏览器。

下面，根据图17所示的流程图对内容管理部31的动作进行说明。

在步骤S61中，内容管理部31处于事件等待状态，在有来自浏览器的内容取得请求时转入步骤S62。

在步骤S62中，内容管理部31根据浏览器的内容取得请求抽出识别ID。在该情况下，是来自接受到同步内容的取得通知的浏览器的内容取得请求，在取得请求中包括从模态管理部24通知的同步内容取得用URL。在该同步内容取得用URL存储由选择处理部26h生成的内部表的识别ID，内容管理部31抽出该识别ID。

在步骤S63中，内容管理部31取得作为取得请求方的浏览器的模态类别。

在步骤S64中，内容管理部31根据由选择管理部26生成的内部表和识别ID，获取与请求方浏览器的模态类别对应的内容生成文件名称和处理结果数据。

在步骤S65中，内容管理部31向所取得的内容生成文件转发处理结果数据，生成与浏览器对应的内容。

在步骤S66中，内容管理部31向请求方的浏览器回复所生成的内容。

在步骤S67中，内容管理部31删除与所发送的内容的识别ID对应的请求方浏览器的模态类别的相应栏。

例如，模态类别是VXML的浏览器对内容管理部31指定“识别id001”并进行内容请求时，作为应该适用的内容生成文件名称，从图15的内部表抽出“merr_vxml.jsp”和作为处理结果数据的“err数据1”，通过向“merr_vxml.jsp”转发处理结果数据“err数据1”的内容，生成相对请求方浏览器的内容，将所生成的内容回复给请求方浏览器。

根据上述的本发明，Web应用程序开发者仅需记述相当于VIEW的每个模态类别的内容生成文件、和用于定义与同步的模态类别的组合和适用的内容生成文件的组合的内容生成文件的选择定义信息，就能够使现有的单模态用Web应用程序适应多模态界面系统。