通过第三远程用户界面客户端控制远程用户界面客户端的方法和装置

摘要

用于在另一个远程用户界面客户端(RUIC)上控制其上显示远程用户界面的RUIC的方法和装置，其中，另一个RUIC向所述RUIC传送包括控制信息的消息，所述控制信息指示对应于用户输入的控制动作，并且所述RUIC确定包括在所述消息中的控制信息是预定义的信息还是未定义的信息。如果控制信息是预定义的信息，则所述RUIC中的网络服务器将包括在所述消息中的控制信息递送到所述RUIC中的应用，并且所述应用执行对应于所述控制信息的控制操作。如果控制信息是未定义的信息，则所述RUIC中的网络服务器通过所述RUIC中的遥控插件(plug-in)将接收的控制信息递送到应用，来执行对应于所述控制信息的控制操作。

说明书

技术领域

本发明一般涉及利用第三设备控制表现在远程UI设备上的远程用户界 面(UI)屏幕的方法和装置，更具体地，涉及在保持预定义的控制信息的同 时传送未定义的控制信息的方法和装置。

背景技术

许多工业标准组织，如数字生活网络联盟(Digital Living Network  Alliance，DLNA)、家庭音频视频互操作性(Home Audio-Video Interoperability， HAVi)、通用即插即用(UPnP)等，都在进行研究来改善家庭网络技术。

在家庭网络中，远程用户界面(RUI)技术可以用来允许一个设备来控 制其它设备的功能。简要地讲，基于客户端-服务器结构的RUI技术使得RUI 客户端能够从RUI服务器取得UI，从而用户可以通过在RUI客户端上的UI 控制RUI服务器。

发明内容

技术问题

在这种RUI技术中，为了使能够遥控远程UI设备的第三RUI设备控制 远程UI设备或表现在远程UI设备中的远程UI屏幕，应当定义用于传送控制 信息的协议和方法。

技术方案

本发明的一个方面是为了解决至少上述问题和/或缺点，并提供至少下述 优点。因此，本发明的示范性实施例的一个方面提供允许表现在能够遥控远 程UI设备的第三设备中的控制UI、传送并在远程UI设备或表现在远程UI 设备中的远程UI屏幕上处理预定义的控制信息和未定义的控制信息的方法 和装置。

根据本发明的一个方面，提供用于在另一个远程用户界面客户端(RUIC) 上控制其上显示远程用户界面的RUIC的方法。在所述方法中，另一个RUIC 向所述RUIC传送包括控制信息的消息，所述控制信息指示对应于用户输入 的控制动作。所述RUIC确定包括在消息中的控制信息是预定义的信息还是 未定义的信息。如果控制信息是预定义的信息，则所述RUIC中的网络服务 器将包括在所述消息中的控制信息递送到所述RUIC中的应用，并且所述应 用执行对应于所述控制信息的控制操作。如果控制信息是未定义的信息，则 所述RUIC中的网络服务器通过所述RUIC中的遥控插件(plug-in)将接收的 控制信息递送到应用，以执行对应于所述控制信息的控制操作。

根据本发明的另一个方面，提供远程用户界面客户端(RUIC)，用于允 许用户在另一个RUIC上控制其上显示远程用户界面的所述RUIC。所述RUIC 包括：网络服务器，用于从另一个RUIC接收包括指示对应于用户输入的控 制动作的控制信息的消息，确定包括在所述消息中的控制信息是预定义的信 息还是未定义的信息，以及基于所述确定传送包括在所述消息中的控制信息； 应用，用于从网络服务器接收控制信息，并且如果控制信息是预定义的信息， 则执行对应于所述控制信息的控制操作；以及遥控插件，用于如果控制信息 是未定义的信息，则从网络服务器接收控制信息，生成对应于控制信息的具 体事件，并将控制信息传送到所述应用。

技术效果

从前述描述中可以清楚地看出，根据本发明的示范性实施例，与RUIC 设备中呈现(rendered)的RUI相关联的控制UI能够任意地创建控制信息， 而无需考虑设备之间预定义的控制信息，从而容易地递送未定义的控制信息 到RUI。这样，不需要以有限的控制信息来实现扩展的控制功能，使得能够 向用户提供更多改善的用户体验(UX)。

附图说明

图1是示出用于通过第三RUIC 102控制RUIC 100的一般结构的示图；

图2是示出结构的示图，其中在图1中示出的RUIC 100被呈现为包括 RUIS 202和RUIC 201的一个设备，并且在RUIC 201中具有遥控插件；

图3是示出结构的示图，其中在图1中示出的RUIC 100被呈现为包括用 作RUIC的DAE实体302和DLNA RUIS实体303的OITF 300，并且第三 RUIC被表示为在其中具有DLNARUIC实体的远程设备；

图4是示出通过在第三设备或遥控器中的控制UI来控制RUIC的典型示 例的示图；

图5是示出根据本发明实施例的、在表现在RUIC中的RUI和表现在第 三设备中用于控制RUI的控制UI之间的接口的示图；

图6是示出根据本发明实施例的、第三设备和RUIC的结构和接口的示 图；

图7是示出根据本发明实施例的、用于发送预定义的控制信息和未定义 的控制信息的流程的示图；

图8是示出通过HTTP协议在第三设备和RUIC之间递送预定义的控制 信息的示例的示图；

图9是示出根据本发明实施例的、通过HTTP协议在第三设备和RUIC 之间递送未定义的控制信息的示例的示图；

图10是示出根据本发明实施例的、通过HTTP协议在第三设备和RUIC 之间递送未定义的控制信息(能够直接执行在RUIC中运行的RUI中的功能) 的示例的示图；

图11是示出根据本发明实施例的、表现用于以XML、JSON、纯文本等 形式在第三设备和RUIC之间发送未定义的消息的方法的HTTP协议的示图；

图12是示出当使用图11的HTTP协议时、能够包括在HTTP主体中的 XML格式的示例的示图；

图13是示出根据本发明实施例的API的示图；

图14示出了根据本发明实施例的、使用预定义的键控代码值(key code  value)由第三设备将预定义的或未定义的命令或消息传送到OITF终端的接 口和传送步骤；以及

图15是示出根据本发明实施例的、用于发送预定义的控制信息和未定义 的控制信息的流程的示图。

具体实施方式

现在将参考附图详细描述本发明的示范性实施例。在以下描述中，诸如 详细配置和组件的具体细节仅仅被提供用来帮助对本发明的示范性实施例的 全面理解。因此，本领域技术人员应当理解，可以对这里描述的实施例进行 各种改变和修改，而不脱离本发明的范围和精神。此外，为了清楚和简洁， 省略了对于熟知功能和构造的描述。

在本发明的示范性实施例中，远程UI客户端是指在客户端-服务器体系 结构中将远程用户界面(RUI)和控制信息传送到客户端的设备。远程用户 界面客户端(RUIC)从远程用户界面服务器(RUIS)接收表现在RUIC中的 UI和能够控制表现在RUIC中的UI的控制UI，并且RUIC和/或在RUIC中 呈现的远程UI(RUI)由控制UI来控制。作为RUIC设备的第三设备利用 UI控制RUIC，并且从RUIC或RUIS接收UI。第三设备可以是移动设备， 如移动电话，或者可以是便携设备，如带有通信功能的小型显示设备。在以 下描述中，术语“RUIC设备”可以被解释为指代第三设备或第三RUIC。

图1示出了通过第三RUIC控制RUIC的一般结构。

参考图1，RUIC 100通过现在使用的接口#1 103从RUIS 101接收RUI 和控制信息。如这里所述，控制信息可以不仅包括能够控制表现在RUIC中 的RUI的控制信息，而且还包括UI。在RUIC 100中，所接收的控制信息由 控制UI管理器105分离，并且控制UI通过控制UI管理器105被递送到第三 RUIC 102用于控制RUIC 100。通过控制UI管理器105递送的控制UI被表 现(呈现)在第三RUIC 102上，并且用户可以利用通过控制UI管理器105 递送的控制UI来控制RUIC 100。作为逻辑实体的控制UI管理器105可以存 在于RUIC 100的内部或外部。

图2和图3示出了控制UI管理器存在于RUIC内部和外部的不同结构。

参考图2，在图1中示出的RUIC 100被表现为包括RUIS 202和RUIC 201 的一个设备200，并且RUIC 201在其中具有遥控(RC)插件203。

参考图3，在图1中示出的RUIC 100被表现为开放IPTV终端功能(OITF) 300，其包括用作RUIC的声明应用环境(Declarative Application Environment， DAE)实体302和数字生活网络联盟(DLNA)RUIS实体303，并且在图1 中示出的第三RUIC 102表现为其中包括DLNA RUIC实体304的远程设备 305。

如图2和图3中所考虑的，控制UI管理器可以是消费者电子协会 (Consumer Electronics Association，CEA)-2014的DLNA RUIS 303或RUIS  202，以及存在于OITF 300中的嵌入服务器功能实体(未示出)，用于与移动 /便携设备进行通信。此外，控制UI管理器也可以起到RUIC 200中遥控插件 203的作用。而且，控制UI管理器可以利用控制UI来控制RUIC或表现在 RUIC中的RUI，所述控制UI使用UPnP或超文本传输协议(HTTP)通过在 图1的RUIC 100和第三RUIC 102之间的接口#2 104表现在第三RUIC 102 中。

图4示出了通过第三设备中的控制UI或遥控器来控制RUIC的典型示 例。

当从RUIS 400接收到RUI 403和控制UI 404时，RUIC 401在其屏幕上 表现RUI 403，并将控制UI 404传送到第三RUIC 402。第三RUIC 402将所 接收的控制UI 404表现在其屏幕上，并且用户通过表现在第三RUIC 402屏 幕上的控制UI 404来控制RUIC 401或表现在RUIC 401中的RUI 403。此外， 用户使用传统的遥控器405将预定义的控制信息传送到RUIC 401。

在这个方案中，当传送控制信息到RUIC 401时，第三RUIC 402或遥控 器405通常发送在两个设备402和401(或405和401)之间预定义的控制信 息。例如，当为表现在RUIC 401中的RUI 403发出STOP命令时，单一的命 令STOP被从第三RUIC 402传送到RUIC 401。然而，在这个方案中，不可 能执行以下的复杂功能：停止当前表现在RUIC 401中的RUI 403，在屏幕上 表现与RUI 403具有高度相关性的戏剧(drama)列表，将焦点转移到列表中 用户最喜欢的项目，并将关于该项目的信息递送到第三RUIC 402中的控制 UI 404。

而且，在添加新的“个性化频道(personalized channel)”功能的情况下， 即使在用户意图传送用于指令将屏幕改变到个性化频道的分段(fragmentary) 控制信息的情况下，因为没有预定义与该功能相关联的键，用户应当将该功 能映射到预定义的按钮，或者应当使用导航键移动到表现在RUIC 401的屏幕 上的“个性化频道”按钮，来选择该功能。具体来讲，在先前的该功能映射 到预定义的按钮的情况下，这样的映射信息应当事先在RUIC 401和第三 RUIC 402之间商定。然而，在这种情况下，当结合其它RUIC或其它第三RUIC 操作时，RUIC 401可能不兼容。此外，在使用导航键的后一种情况下，用户 应当按下/点击很多按钮，来选择个性化频道功能。为了解决这些以及其它缺 点，本发明提供了方法和装置，用于传送在另一个RUIC中未定义的控制信 息，并且将该未定义的控制信息递送到另一个RUIC或表现另一个RUIC的 RUI，从而控制信息可以实际控制控制目标。

图5示出了根据本发明实施例的、在表现在RUIC中的RUI和表现在第 三设备中用于控制RUI的控制UI之间的接口。

参考图5，如果从RUIS 501提供的RUI被传送到RUIC 500，RUI被表 现在RUIC 500的浏览器#1 505中，RUIC 500从RUIS 501接收能够控制表现 在浏览器#1 505中的RUI的控制UI，并通过嵌入服务器506将所接收的控制 UI传送到第三设备502。然后，第三设备502将控制UI表现在浏览器#2 507 上，从而用户可以使用。

在图5中，粗线指示递送控制信息的路径，其包括控制UI和表现在浏览 器#1 505中的RUI。对于浏览器#2 507和嵌入服务器506之间的接口#2 504， 定义了关于预定义的或未定义的所有控制信息的协议信息。此外，当从第三 设备502传送的控制信息与已有控制信息相同时，在嵌入服务器506和浏览 器#1 505之间的接口#3 509指示传送已有控制信息的接口。在嵌入服务器506 和遥控插件508之间的接口#4 510指示用于传送未定义的控制信息的接口。

图6示出了根据本发明实施例的第三设备和RUIC 500的结构和接口。

参考图6，接口#2、#3和#4与图5中的相同，并且接口#5指示能够将递 送到遥控插件508的控制信息递送到在浏览器#1 505中运行的RUI的接口。

图7示出了根据本发明实施例的、用于发送预定义的控制信息和未定义 的控制信息的流程。

如果在步骤710用户通过第三设备700做出控制动作，在步骤711，相 关联的控制信息以HTTP消息的形式传送到RUIC 704中的嵌入网络服务器 701。嵌入网络服务器701包括能够处理从第三设备700传送的HTTP消息的 控制处理器(handler)应用(未示出)。控制信息以存在于超文本标记语言 (HTML)消息中的‘form’标签或‘a’标签中的统一资源识别符(URI) 的形式、表现在呈现于第三设备700中的控制UI中。这样的URI形式可以 如图8到图10所示那样表现。

对于所传送的控制信息，在步骤712，在嵌入网络服务器701中的控制 处理器应用确定控制信息是否是预定义的控制信息。换句话说，当从第三设 备700接收HTTP请求消息时，嵌入网络服务器701确定预定义的参数的键 值(key value)(例如，键字符(keychar)等)是否包括在HTTP消息中，如 果是，则在嵌入网络服务器701中的控制处理器应用提取对应于参数的键值 的‘Value’值，然后生成预定义的事件，将提取的‘Value’值插入到事件的 参数中，并在步骤713将其递送到应用703。基于与事件一起通过参数递送 的‘Value’值，通过Java脚本功能在应用703中执行对应于键的操作。

另一方面，如果除了预定义的参数键值之外的所有参数键值被递送到嵌 入网络服务器701，则在嵌入网络服务器701中的控制处理器应用提取对应 于相关参数键值的‘Value’值，并且然后在步骤714将具有提取的‘Value’ 的控制信息传送到遥控插件702。‘Value’值可以以各种不同的方式从嵌入网 络服务器701递送到遥控插件702，举例来说，其可以通过内部套接字通信 (internal socket communication)来递送。

当接收到提取的‘Value’值时，在步骤715，遥控插件702以诸如 onReceivingMsg的文件对象模型(Document Object Model，DOM)事件的形 式、将提取的‘value’值递送到当前连接到遥控插件702的应用703。

同时，如果HTTP请求消息利用POST方法从第三设备700递送到嵌入 网络服务器701，其中具有包括可扩展标记语言(XML)的HTTP请求主体 和Java脚本对象注释(JSON)内容，然后在步骤714，在嵌入网络服务器701 中的控制处理器应用提取完整的(intact)HTTP请求主体，并将其递送到遥 控插件702。在步骤715，通过生成onReceivingMsg事件，遥控插件702将 HTTP请求主体的内容插入到事件的参数中，并将其递送到应用703。应用 703能够通过用于处理事件中参数的功能来处理从第三设备700提供的控制 信息。

作为用于处理HTTP请求的主体内容的另一个方法，如果用于控制RUIC 704的内容(例如，基于键字提取的)被包含在从第三设备700提供的HTTP 请求的主体中，则在嵌入网络服务器701中的控制处理器应用通过提取所述 内容来控制RUIC 704，并且如果包含要递送到应用703的内容，则控制处理 器应用只提取相关部分，并将控制信息以上述方式递送到应用703。

简而言之，如果从第三设备700传送的控制信息是预定义的控制信息， 则在步骤713，控制信息从嵌入网络服务器701直接传送到RUIC 704中的浏 览器，并且所传送的控制信息在事件基础上被传送到在RUIC 704中的浏览器 中运行的应用703。所述事件意味着预定义的事件，如onKeyDown、 onKeyPress、以及onKeyUp。然而，如果控制信息不是预定义的控制信息， 则在步骤714，控制信息从嵌入网络服务器701传送到遥控插件702，并且遥 控插件702命令RUIC 704中的浏览器生成事件，并在步骤715将未定义的控 制信息递送到应用703。例如，事件可以以onReceivingMsg的名义来递送， 并且用于连接的第三设备700的设备处理值(Device Handle value)和控制信 息可以作为参数来递送。关于控制信息，HTTP消息的标题(Header)和/或 主体信息可以通过时间参数来递送。

图8示出了根据本发明实施例的、通过HTTP协议在第三设备800和 RUIC 801之间递送预定义的控制信息的示例。

参考图8，如果用户按下第三设备800上用于视频的PLAY按钮，在两 个终端800和801之间预定义的PLAY信息可以通过HTTP消息802从第三 设备800递送到RUIC 801。在图8，为了得知预定义的PLAY信息的传送， RUIC 801使用键字符作为‘键’值，并且键字符在与其相关联的信息(例如， VK_PLAY)进行匹配之后被传送到RUIC 801。当接收到控制信息时，RUIC  801在事件基础上将控制信息递送到远程UI。RUIC 801可以使用预定义的事 件，如onKeyDown、onKeyUp、以及onKeyPress。此外，当发送HTTP消息 到RUIC 801时，第三设备800可以采用将控制信息插入到HTTP消息的URL 参数或主体中的方式、指令使用预定义的事件中的具体事件将控制信息递送 到应用703。

图9示出了根据本发明实施例的、通过HTTP协议在第三设备和RUIC 之间递送未定义的控制信息(例如，未定义的消息格式中的一系列字母和数 字)的示例。

通常，诸如字符或数字的预定义的信息应当被逐一地传送。然而，如图 9中所示，如果第三设备800在传送控制信息到RUIC 801时使用了HTTP消 息900，则可能每次递送若干个字母或数字。通过表现在第三设备800中的 控制UI，通过写入他或她希望递送的多个字符/数字消息(例如，‘Hello’)， 然后按下SEND按钮，用户可以以集合的方式(collective manner)通过HTTP 消息900发送消息。‘键’值可以是‘msg’，而用户希望发送的消息信息可以 被插入到对应于该‘键’值的值中。

图10示出了根据本发明实施例的、通过HTTP协议在第三设备和RUIC 之间递送未定义的控制信息(能够直接执行在RUIC中执行的功能)的示例。 在第三设备800上，用户发送HTTP消息1000到RUIC 801。如果用户点击 第三设备800中的控制UI上的特定按钮，则调用存在于在RUIC 801中运行 的RUI中的功能。当发送HTTP消息时，‘键’值可以是‘功能’，而对应于 ‘键’值的‘Value’值可以是能够启动电影和执行聊天的 startMovieAndExecuteChatting。

图11示出了根据本发明实施例的、表现用于以XML、JSON、纯文本等 形式在第三设备和RUIC之间发送未定义的消息的方法的HTTP协议。

在图11的方法中，不需要通过以URL划分图9和图10的方法来发送控 制信息，第三设备800可以定义用于HTTP消息的形式动作(form action)1100， 以XML、JSON、纯文本(Plain Text)等形式将希望的消息插入到HTTP主体中， 并将其发送到RUIC 801。例如，如图12中所示，第三设备800可以以XML 形式来表现在图10中描述的功能，将其插入到HTTP主体中，并将其发送到 RUIC 801。

图13示出了根据本发明实施例的应用编程接口(API)。

如果未定义的命令(例如，XML JSON、URI、或纯文本)被从第三设备 传送到OITF终端，则OITF终端中的遥控插件在事件基础上将相关联的命令 发送到DAE实体。onReceivingMsg事件功能的第一参数是用于发送命令的第 三设备的设备处理值，并且通过参数值，可以传送用于发送命令的第三设备 的返回值或附加消息。其第二参数为从第三设备传送到DAE实体的消息值。

图14示出了根据本发明实施例的、使用预定义的键控代码值由第三设备 将预定义的或未定义的命令或消息传送到OITF终端的接口和传送步骤。

如图14中所示，传送步骤大略包括三个步骤。在第一步骤，通过在第三 设备中运行的控制UI，HTTP消息被发送到OITF终端。对于发送预定义的 键控代码值的一种情况以及发送未定义的命令或消息的另一种情况，HTTP 消息可以以不同的方式来发送。

在发送预定义的键控代码值的前一种情况下，如在步骤1-1的HTTP请 求标题中所定义的，URI(/rcf/send_keycode)和参数键值是预定义的，并且 使用GET或POST方法发送到OITF终端。即使在发送未定义的命令或消息 的后一种情况下，如步骤1-2中所示，命令或消息可以插入到HTTP主体中， 并使用POST方法通过预定义的URI(/rcf/send_message)来发送。以这种方 式，对于这两种情况，能够通过划分URI来定义独立协议，或者能够将两种 不同的URI整合到一个URI中，然后再另外使用用于指示命令是预定义的命 令还是未定义的命令的参数值。

在第二步骤中，控制UI等待，直到在第一步骤中发送HTTP消息之后接 收到响应。

在第三步骤中，如果命令发送成功，则OITF终端发送200 OK HTTP消 息到第三设备。在HTTP消息的主体中可以插入OITF终端发送给第三设备 的适当消息，或者HTTP消息的主体可以为空。

图15示出了根据本发明实施例的、用于发送预定义的控制信息和未定义 的控制信息的流程。

如图15中所示，如果在步骤1510和步骤1511，用户通过在DLNA设备 (+RUIPL+)1500中运行的控制UI将控制命令(或控制动作)发送到OITF 终端1504中的DLNA功能(+RUISRC+)1501，则在步骤1512，DLNA功 能(+RUISRC+)1501检查命令类型。如果所述命令是预定义的键控代码值， 则在步骤1513，DLNA功能(+RUISRC+)1501命令DAE浏览器通过事件 (onKeyDown、onKeyPress、onKeyUp等)将键控代码值递送到DAE应用 1503。然而，如果所述命令不是预定义的键控代码值，则在步骤1514，DLNA 功能1501将其相关联的命令或消息发送到遥控插件1502。在步骤1515，遥 控插件1502生成onReceivingMsg事件功能，并将命令或消息发送到DAE应 用1503，以便在步骤1517允许DAE应用1503处理所述命令。

虽然已经参考本发明的示范性实施例示出和描述了本发明，本领域技术 人员将理解，可以在这里进行形式和细节上的各种改变，而不脱离由所附权 利要求及其等效物定义的本发明的精神和范围。