分布式控制系统和分布式控制方法

摘要

一种分布式控制系统通过通信网络分布数据到通信终端。所述分布式控制系统包括：配置成从所述通信终端接收表示从当数据由分布式控制系统分布时到当数据由通信终端接收时的传输延迟时间的传输延迟时间信息；以及改变单元，其配置为基于由接收器接收到的传输延迟时间信息，当数据由通信终端再现时改变再现质量的参数。

说明书

技术领域

本发明涉及一种分布式控制系统和分布式控制方法.

背景技术

随着近来因特网的广泛使用，云计算已应用于各个领域。云计算是 服务使用模式(service usage pattern)，其中用户通过使用连接到因特网的 通信终端并付费来使用由因特网上的服务器提供的服务(云服务)。

在因特网上携带的网络内容(web content)趋于丰富，用于响应各种 需求。因此，当通过使用通信终端来使用丰富的内容以通过因特网使用 服务时，存在这样的问题：不利的是，通信终端上的负载高。

作为一种用于减小通信终端上负载的技术，有这样一种技术被称为 瘦客户端(参见日本专利申请，公开号2007-221229)。通过这种瘦客户 端技术，通过使用因特网环境可以以基于网络(web-based)的方式在通 信终端上执行各种应用。

然而，即使在使用瘦客户端技术时，当内容发展的丰富或诸如因特 网之类的通信信道变得拥塞时，对从服务器传输到通信终端的上述内容 的数据等到达通信终端而言，消耗太多时间，从而导致以下问题，即不 可能流畅地在通信终端上再现数据。

发明概述

本发明的目的就是至少部分地解决传统技术中的问题。

根据实施例，提供了一种分布式控制系统，用于通过通信网络将数 据分布到通信终端。该分布式控制系统包括：接收器，经配置来从所述 通信终端接收传输延迟时间信息，所述传输延迟时间信息指示从当分布 式控制系统分布数据时到当数据被通信终端接收时的传输延迟时间；以 及改变单元，经配置来基于由接收器接收的所述传输延迟时间，当通信 终端再现数据时，改变再现质量的参数。

根据另一实施例，提供了一种由分布式控制系统执行的分布式控制 方法，用于通过通信网络将数据分布到通信终端。所述的分布式控制方 法包括：从所述通信终端接收传输延迟时间信息，所述传输延迟时间信 息指示从当分布式控制系统分布数据时到当数据被通信终端接收时的传 输延迟时间；以及基于在接收时接收的所述传输延迟时间信息，当通信 终端再现数据时，改变再现质量的参数。

根据另一实施例，提供了一种分布式控制系统，用于通过通信网络 将数据分布到通信终端。该分布式控制系统包括：接收器，经配置来从 所述通信终端接收从当数据被分布式控制系统分布时到当数据被通信终 端接收时的时间；以及改变单元，经配置来基于接收器接收的时间和数 据的大小改变转换器的操作，所述转换器经配置来将数据转换为要分布 的数据。

当结合附图考虑时，本发明上述及其他目的、特点、优点以及技术 和工业意义，通过阅读本发明的目前优选实施例的以下详细说明可更好 地理解。

附图说明

图1是依据实施例的分布式系统的示意图；

图2是当软件狗(dongle)被连接到通信终端时的概念图；

图3是示出基本分布式方法的概念图；

图4是组播的概念图；

图5是多显示器的概念图；

图6是通过分布式控制系统使用多个通信终端的复合分布的概念图；

图7的分布式控制系统、通信终端、终端管理系统和网络服务器的 硬件配置图；

图8是软件狗的硬件配置图；

图9是主要示出分布式控制系统的功能的功能框图；

图10是主要示出通信终端的功能的功能框图；

图11是示出了终端管理系统的功能的功能框图；

图12是分布目的地选择菜单屏幕的概念图；

图13是终端管理表的概念图；

图14是可用终端管理表的概念图；

图15是编码器桥接单元的详细图；

图16是示出转换器的功能的功能框图；

图17是示出分布式控制系统的基本分布处理的顺序图；

图18是示出通过分布式控制系统使用多个通信终端进行通信处理的 顺序图；

图19是示出时间调整的处理的顺序图；

图20是示出对从分布式控制系统传输到通信终端的数据进行信道适 应控制控制的顺序图；

图21是示出对从通信终端传输到分布式控制系统的数据进行信道适 应控制控制的顺序图；

图22是示出多显示器处理的顺序图；

图23是示出多显示器处理的顺序图；

图24是示出多显示器处理的顺序图；

图25示出了包括在参数组中的多个参数的例子的示图；

图26是当改变所述参数组的质量时，用于示出准则的示例的示图；

图27是用于示出当图26中的准则被采用时参数组的改变的示图。

具体实施方式

以下参照附图描述依据实施例的分布式系统1。下文中详细描述一种 发明，该发明通过使用云计算使网络浏览器(以下表示为“浏览器”)以 及编码器在云上互相合作执行，并发送视频数据、声音数据等到通信终 端。

下文所称“图像”包括静止图像和运动图像。下文所称“视频”基本上是 指运动图像并且也包括被停止为静止图像的运动图像。指示静止图像和 声音的至少之一的情况被表示为“静止图像(声音)”。指示图像和声音 的至少之一的情况被表示为“图像(声音)”。指示视频和声音的至少之 一的情况被表示为“视频(声音)”。

实施例的概述

参照图1描述的是依据本发明的实施例的概述。图1是依据本发明 实施例的分布式系统的示意图。

系统配置的概述

首先描述的是分布式系统1的配置概述。

如图1所示，根据本实施例的分布式系统1由分布式控制系统2、多 个通信终端(5a至5f)、终端管理系统7和网络服务器(web server)8 构成。在下文中，通信终端(5a至5f)中的任何通信终端被表示为“通信 终端5”。分布式控制系统2、终端管理系统7和网络服务器8都是由服 务器计算机构成。

通信终端5是接收分布式系统1的服务的用户所使用的终端。通信 终端5a是笔记本个人计算机(PC)。通信终端5b是移动终端，如智能电 话和平板终端。通信终端5c是多功能外围设备/打印机/产品(MFP)，其 中，复制、扫描、打印和传真的功能结合在一起。通信终端5d是投影仪。 通信终端5e是TV(视频)会议终端，其具有照相机、麦克风和扬声器。 通信终端5f是能够电子地转换用户画的图等的电子黑板(白板)。

通信终端5不仅是如图1所示的终端，也可以是通过诸如因特网这 样的通信网络可通信的设备，包括手表、自动售货机、汽车导航设备、 游戏机、空调、照明装置、单独的照相机、单独的麦克风和单独的扬声 器。

分布式控制系统2、通信终端5、终端管理系统7与网络服务器8可 通过诸如因特网和局域网(LAN)的通信网络9互相通信。通信网络9 包括无线通信网络，例如第三代(3G)、微波接入全球互操作性(WiMAX) 和长期演进(LTE)。

通信终端5，类似通信终端5d，可以不具有通过通信网络9与其它 终端和系统进行通信的功能。然而，如图2所示，用户将软件狗(dongle) 99插入到通信终端5d的通用串行总线(USB)的接口或高清晰度多媒体 接口(HDMI)，从而使其与其它的终端和系统进行通信。图2是当软件 狗被连接到通信终端时的示意图。

分布式控制系统2具有在云上的浏览器20，并且在浏览器20中呈现 (rendering)的功能获取以某种描述语言描述的单条或多条内容数据并在 其上执行呈现，由此产生作为静止图像的诸如由红、绿和蓝(RGB)构 成的位图数据的帧数据或诸如脉码调制(PCM)数据(即静止图像(声 音)数据)的声音数据。内容数据是从网络服务器8、任何通信终端等获 取的数据，并且包括超文本标记语言(HTML)和层叠样式表(CSS)的 图像(声音)数据、MP4(MPEG-4)的图像(声音)数据、高级音频编 码(AAC)的声音数据等。

分布式控制系统2具有在云上的编码单元19，并且编码单元19起到 编码器的作用，由此将作为多条静止图像(声音)数据的多条帧数据转 换为压缩编码系统的视频(声音)数据，例如H.264(MPEG-4AVC)、 H.265和运动JPEG。

终端管理系统7在通信终端5上执行登录认证并管理通信终端5的 合同信息等。终端管理系统7具有用于传输电子邮件的简单邮件传输协 议(SMTP)服务器的功能。终端管理系统7可以被实施为，例如，云服 务(IaaS：基础设施作为服务)上开发的假想机器。理想的是，终端管理 系统7被以复用的方式操作，以便处理意外事件来执行连续的服务供应。

浏览器20使能实时通信/协作(RTC)。分布式控制系统2具有下文 所述图16中的编码单元19，并且编码单元19可对由浏览器20输出的帧 数据执行实时编码并输出通过基于H.264标准等转换所产生的视频(声 音)数据。因此，分布式控制系统2的处理不同于例如其中记录在DVD 中的非实时视频(声音)数据由DVD播放器读取和分配的情况。

不仅分布式控制系统2具有浏览器，而且通信终端5也可以具有浏 览器。在这种情况下，更新(updating)分布式控制系统2的浏览器20 不再需要启动相应的通信终端5的浏览器。

各种类型的分布式方法的概述

下面描述各种类型的分布式方法的概述。

基本分布

图3是示出基本分布式方法的示意图。在分布式系统1中，如图3 所示，分布式控制系统2的浏览器20从网络服务器8获取网络内容数据 [A]作为图像(声音)数据并呈现它，从而产生多条帧数据[A]作为多条 静止图像(声音)数据。包括编码单元19的编码器桥接单元30对多条 帧数据[A]执行编码等，从而把它转换成压缩编码系统例如H.264的视频 (声音)数据。分布式控制系统2将被转换后的视频(声音)数据[A](传 输数据的例子)分布到通信终端5。

由此，当分布式控制系统2在云上将网络内容数据从以HTML格式 等的网络内容数据转换为H.264等的压缩的视频(声音)数据时，分布 式控制系统2可以分布更丰富的网络内容数据到通信终端5。结果，网络 内容可被流畅地再现在通信终端5侧上，而不需要时间、精力和成本来 改进中央处理单元(CPU)、操作系统(OS)等的规范(specification)。

即使在将来进行网络内容的丰富时，因为只有在云上的分布式控制 系统2中的浏览器20、CPU等的规范须要改进，所以通信终端5的规范 不需改进。

应用以上的分布式方法，如图4到图6所示，分布式系统1还可以 将网络内容数据作为视频(声音)数据分布到多个的站点。此处描述了 图4到图6示出的分布式方法。

组播(multicast)

图4是组播的示意图。如图4所示，分布控制系统2的单个浏览器 20从网络服务器8获取网络内容数据[A]作为图像(声音)数据并呈现它， 从而产生多条帧数据[A]作为多条静止图像(声音)数据。编码器桥接 单元30编码多条帧数据[A]，从而将它们转换成视频(声音)数据。然 后，分布式控制系统2分布视频(声音)数据[A]到多个通信终端(5f1， 5f2，5f3)。

因此，相同的视频(声音)在站点再现。在这种情况下，通信终端 (5f1，5f2，5f3)不需要具有相同的显示再现能力(例如，相同的分辨 率)。像这样的分布式方法被称为，例如，“组播”。

多显示器(multidisplay)

图5是多显示器的示意图。如图5所示，分布式控制系统2的单个 浏览器20从网络服务器8获取网络内容数据[XYZ]作为图像(声音)数 据并呈现它，从而产生多条帧数据[XYZ]作为多条静止图像(声音)数 据。对于每一帧的数据[XYZ]，编码器桥接单元30划分其为多条帧数据 ([X]，[Y]，[Z])，然后对它们进行编码，从而转换它为多条视频(声音) 数据([X]，[Y]，[Z])。然后，分布式控制系统2分布视频(声音)数据 [X]到通信终端5f1。类似地，分布式控制系统2分布视频(声音)数据[Y] 到通信终端5f2并分布视频(声音)数据[Z]到通信终端5f3。

因此，例如，即使对于景观(1andscape)网络内容[XYZ]，视频(声 音)由通信终端5以划分的方式再现。结果，当通信终端(5f1，5f2，5f3) 安装在一条线上，能够获得与一条大视频的再现相同的效果。在这种情 况下，通信终端(5f1，5f2，5f3)需要具有相同的显示再现能力(例如， 相同的分辨率)。像这样的分布式方法被称为，例如，“多显示器”。

复合分布

图6是通过分布式控制系统使用多个通信终端的复合分布的示意 图。如图6所示，在第一站点(图6的右侧)，使用作为电子黑板的通信 终端5f1和作为电视会议终端的通信终端5e1，类似地，在第二站点(图 6的左侧)，使用作为电子黑板的通信终端5f2和作为电视会议终端的通 信终端5e2。在第一站点，电子笔P1用于通过在通信终端5f1上的笔画 (stroke)来绘制字符等。在第二站点，电子笔P2用于通过在通信终端 5f2上的笔画来绘制字符等。

在第一站点，由通信端5el获取的视频(声音)数据由编码单元60 编码，然后被传输到分布式控制系统2。此后，它由分布式控制系统2的 解码单元40解码，然后被输入到浏览器20。指示通过电子笔P1由通信 终端5f1所绘制的笔画的操作数据(在这种情况下，通信终端5f1等的显 示器上的坐标数据)被发送到分布式控制系统2以被输入到浏览器20。 同样，在第二站点，由通信终端5e2获得的视频(声音)数据由编码单 元60编码，然后被传输到分布式控制系统2。此后，它由分布式控制系 统2的解码单元40解码，然后被输入到浏览器20。指示通过电子笔P1 由通信终端5f2所绘制的笔画的操作数据(在这种情况下，通信终端5f2 等的显示器上的坐标数据)被发送到分布式控制系统2以被输入到浏览 器20。

例如，所述浏览器20从网络服务器8获取例如，作为背景图像的网 络内容数据[A]，其显示在通信终端(5f1、5f2)的相应显示器。浏览器 20组合网络内容数据[A]、操作数据([p1]，[p2])、视频(声音)内容数 据([E1]，[E2])并呈现它们，由此产生作为多条静止图像(声音)数据 的多条帧数据，其中所述各条内容数据([A]，[p1]，[p2]，[E1]，[E2]) 被设置为期望的布局。编码器桥接单元30编码多条帧数据，并且分布式 控制系统2将指示相同内容([A]，[p1]，[p2]，[E1]，[E2])的视频(声 音)数据分布到两个站点。从而，在第一站点，视频([A]，[p1]，[p2]， [E1(视频部分)]和[E2(视频部分)])被显示在通信终端5f1的显示器 上并且声音[E2(声音部分)]从通信终端5e1的扬声器被输出。同样，在 第二站点，视频([A]，[p1]，[p2]，[E1(视频部分)]和[E2(视频部分)]) 被显示在通信终端5f2的显示器上，并且声音[E1(声音部分)]从通信 终端5e2的扬声器被输出。在所述第一站点，由于通信终端5f1的回波消 除功能，站点本身的声音[E1(声音部分)]不被输出。在第二站点，由于 通信终端5f2的回波消除功能，站点本身的声音[E2(声音部分)]不被输 出。

因此，在第一站点和第二站点，可以执行远程共享处理，其在远程 站点实时共享相同的信息，从而使得根据本发明实施例的分布式系统1 在电话会议等中有效。

实施例的详细的描述

下面参考图7至图24对本实施例进行详细描述。

实施例的硬件配置

首先参考图7和图8描述本实施例的硬件配置。图7是分布式控制 系统、通信终端、终端管理系统和网络服务器的硬件配置图。图8是软 件狗的硬件配置图。因为与通信终端的通信相关的硬件配置与通信终端 的硬件配置的部分是相同的，所以省略对其的描述。

如图7所示，分布式控制系统2包括：(主机)CPU201，其控制分 布式控制系统2的整个操作；ROM202，在其中存储诸如IPL的用于驱 动CPU201的程序；RAM203，用作CPU201的工作区；HDD204，在 其中存储各种类型的数据，例如程序；硬盘控制器(HDC)205，其在 CPU201的控制下控制从HDD204中读取和向HDD204写入各种数据； 介质驱动器207，其控制从诸如闪存这样的存储介质206中读取和向存储 介质206写入数据；显示器208，其显示各种类型的信息；I/F209，其用 于使用通信网络9传输数据并连接软件狗99；键盘211；鼠标212；麦克 风213，扬声器214，图形处理单元(GPU)215；和诸如用于与图7所 示的上述组件电连接的地址总线和数据总线的总线线路220。因为通信终 端5d作为投影机，所以可以不提供所述GPU。由于终端管理系统7和网 络服务器8的硬件配置与分布式控制系统2的硬件配置相同，所以省略 对其的描述。

下面参考图8描述图2中所示软件狗的硬件配置。如图8所示，所 述软件狗99包括：CPU91，其控制软件狗99的整体操作；ROM92，在 其中存储基本输入/输出程序；RAM93，其被用作CPU91的工作区；电 可擦除和可编程ROM(EEPROM)94，在CPU91的控制下执行读取和 写入数据；GPU95；接口I/F96，连接到通信终端5的接口I/F209；天 线97a；通信单元97，其通过使用天线97a由短距离无线技术执行通信； 和总线线路90，诸如用于电连接上述单元的地址总线和数据总线。短距 离无线技术的实例包括近场通信(NFC)标准、蓝牙(注册商标)、无线 保真(WiFi)和ZigBee。由于软件狗99包括GPU95，甚至在通信终端 5d不包括GPU的情况下，所以如图2所示，通信终端5通过连接到软件 狗99可执行图形显示所需的计算处理。

实施例的功能配置

下面参考图9至图16描述本实施例的功能配置。

分布式控制系统的功能配置

首先参照图9描述分布式控制系统2的功能配置。图9是主要示出 分布式控制系统的功能的功能框图。图9示出了分布式控制系统2分布 视频(声音)数据到通信终端5f1时的功能配置，此外当分布目的地不是 通信终端5f1时，分布式控制系统2具有相同的功能配置。尽管分布式控 制系统2包括多个分布引擎服务器，下面将描述包括单个分布引擎服务 器的情况，以简化描述。

如图9所示，分布式控制系统2具有图9中所示的功能组件，其包 括由图7所示的诸如CPU201或GPU215这样的处理器的硬件配置和程 序。

具体地，分布式控制系统2包括浏览器20、发送器/接收器21、浏览 器管理单元22、传输先入先出(FIFO)缓冲器24、时间管理单元25、 时间获取单元26、信道适应控制控制器27、编码器桥接单元30、发送器 /接收器31、接收FIFO34、识别单元35、延迟信息获取单元37a、信道 适应控制控制器37b、解码单元40。分布式控制系统2还包括存储单元 2000，其由图7所示的HDD204构建。该存储单元2000在其中存储如下 所述从识别单元35输出并通过浏览器管理单元22发送的识别信息。由 浏览器20获取的内容数据被临时存储在作为高速缓存的存储单元2000 中。

在上述功能化组件中，所述浏览器20是在分布式控制系统2中操作 的浏览器。浏览器20相应于网络内容的丰富而时刻被更新。浏览器20 具有，例如媒体播放器、Flash播放器、JavaScript(注册商标)、CSS和 HTML呈现器(renderer)。JavaScript包括标准化产品和分布式系统1特 有的产品。

媒体播放器是用于在浏览器20内再现诸如视频(声音)文件这样的 多媒体文件的浏览器插件。Flash播放器是浏览器20中再现flash内容的 浏览插件。特有的JavaScript是JavaScript组，其提供分布式系统1特有 的服务应用编程接口(API)。CSS是一种用于有效地限定以HTML描述 的网络页面(web page)的外观和风格的技术。HTML呈现器是HTML 呈现引擎。

呈现器呈现内容数据，诸如网络内容数据作为图像(声音)数据， 从而生成作为多条静止图像(声音)数据的多条帧数据。如图6所示， 呈现器也是布局引擎，其执行多个种类的内容([A]，[p1]，[p2]，[E1]， [E2])的布局。

根据本实施例的本分布式系统1在分布式控制系统2中提供浏览器 20，并且从浏览器20中选择用于用户会话的云浏览器。下面顺次描述提 供单个浏览器20的情况，以简化描述。

发送器/接收器21向终端管理系统7和网络服务器8发送和从终端管 理系统7和网络服务器8接收各种类型的数据、各种类型的请求、各种 类型的指令等。例如，发送器/接收器21从网络服务器8的内容站点获取 网络内容数据。发送器/接收器21输出从终端管理系统7获取的各种类型 的数据到分布式控制系统2中的功能组件并且基于从终端管理系统7获 取的各种类型的数据、各种类型的请求、各种类型的指令等控制分布式 控制系统2内的功能组件。例如，对于提供的多个浏览器20，发送器/ 接收器21从终端管理系统7到浏览器管理单元22输出切换分布模式的 请求，浏览器管理单元22控制在多个浏览器20中从一个浏览器切换到 另一个浏览器。基于来自终端管理系统7的用于切换分布的请求，发送 器/接收器/21执行图15和图16所示的编码器桥接单元30中的组件组合 的切换。

浏览器管理单元22管理该浏览器20。例如，浏览器管理单元22指 示浏览器20启动和退出，并且在启动或退出时编号编码器ID。编码器 ID是浏览器管理单元22编号的识别信息，以管理对编码器桥接单元30 的处理。每次浏览器20被启动，浏览器管理单元22编号和管理浏览器 ID。浏览器ID是浏览器管理单元22编号的识别信息，来管理对浏览器 20的处理以识别浏览20。

浏览器管理单元22从通信终端5通过发送器/接收器31获取各种类 型操作数据并输出他们到浏览器20。操作数据是经由通信终端5上的操 作事件(通过键盘211、鼠标212等的操作，电子笔P的笔画等)而发生 的数据。当通信终端5提供采用各种传感器，例如温度传感器、加速度 传感器、湿度传感器时，浏览器管理单元22获取传感器信息，其为来自 通信终端5的传感器的输出信号，并将其输出到浏览器20。浏览器管理 单元22还从识别单元35获取图像(声音)数据并将其输出到浏览器20， 并从所述识别单元35获取如下所述识别信息并且将其存储在存储单元 2000中。浏览器管理单元22从接收FIFO34获取视频(声音)数据并将 其输出到浏览器20。

传输FIFO24是其中存储由浏览器20产生的作为多条静止图像(声 音)数据的多条帧数据的缓冲器。

时间管理单元25管理分布式控制系统2特有的时间T。

时间获取单元26结合下文描述的通信终端5中的时间控制器56执 行时间调整处理。特别地，时间获取单元26获取来自时间管理单元25 的指示分布式控制系统2中的时间T的时间信息(T)，经发送器/接收器 31和发送器/接收器51从下文所述的时间控制器56接收指示通信终端5 中的时间t的时间信息(t)，并且发送时间信息(t)和时间信息(T)到 时间控制器56。

信道适应控制控制器27，其被称为改变单元，基于传输延迟时间信 息(D)来计算再现延迟时间U，并且计算操作条件，如帧速率和编码 器桥接单元30中的转换器10的数据分辨率。该再现延迟时间U是通过 数据缓冲直到被再现的延迟再现的时间。换句话说，信道适应控制控制 器27基于传输延迟时间信息(D)改变编码器桥接单元30的操作以及数 据的大小(例如，比特数或者字节数)。如下面所描述的，传输延迟时间 信息(D)基于由通信终端5的延迟信息获取单元57从再现控制器53获 取的多个传输延迟时间D1来指示频率分布信息。传输延迟时间D1指示 从视频(音频)数据从分布控制系统2发送时的时间点到其被通信终端5 接收时的时间点的时间。

编码器桥接单元30将浏览器20产生的作为多条静止图像(声音)数据 的多条帧数据输出到下文描述的编码器桥接单元30中的转换器10。在这 种情况下，转换器10还基于由信道适应控制控制器27计算的操作条件 来操作。参照图15和图16对编码器桥接单元30进行更详细地描述。图 15是编码器桥接单元的详细图。图16是示出转换器功能的功能框图。

如图15所示，编码器桥接单元30由产生/选择单元310、选择单元 320和设置在两者其间的多个转换器(10a、10b、10c)构成。尽管这里 示出了三个转换器，但是可以提供任意数量的转换器。在下文中，任何 转换器由“转换器10”来表示。

该转换器10将浏览器20产生的作为多条静止图像(声音)数据的多条 帧数据的数据格式转换为能够通过通信网络9被分布到通信终端5的 H.264等的数据格式等。为此，如图16所示，转换器10包括微调单元 (trimming unit)11、尺寸调整单元12、分割单元13和编码单元19。微 调单元11、尺寸调整单元12和分割单元13不对声音数据进行任何处理。

微调单元11执行处理以仅切除的静止图像的一部分。尺寸调整单元 12改变静止图像的缩小规模。如图5所示，分割单元13分割静止图像。

编码单元19编码由浏览器20产生的作为多条静止图像(声音)数据的 多条帧数据，从而将它们转化使得视频(声音)数据可以通过通信网络9 分布给通信终端5。当视频不运动时(当没有帧间更新(变化))，此后插 入跳帧(有时可以被称为帧跳过)直到视频运动为止，以节省带宽。

当通过呈现，声音数据与静止图像数据一起产生时，这些条数据被 编码，当仅产生声音数据时，仅执行编码，而不执行微调、尺寸调整和 分割，将导致数据被压缩。

产生/选择单元310产生新的转换器10并选择要被输入到产生的转换 器10中的作为多条静止图像(声音)数据的多条帧数据。在产生时，产 生/选择单元310产生转换器10，其允许根据通信终端5的视频(声音) 数据的再现能力来转换。在选择时，已产生的转换器10被选择。例如， 除了分布到通信终端5a以外，还在开始分布到通信终端5b时，与被分 布的到通信终端5a的视频(声音)数据相同的视频(声音)数据可以被 分布到通信终端5b。在这种情况下，进一步地，当通信终端5b具有和通 信终端5a的视频(声音)再现能力相同的再现能力时，产生/选择单元 310利用已为通信终端5a产生的转换器10a而不为通信终端5b产生新的 转换器10b。

选择单元320从已经产生的多个转换器10中选择所需的一个。由选 择单元320和产生/选择单元310的选择可以执行如图6所示的各种模式 的分布。

发送器/接收器31从通信终端5接收和向通信终端5发送各种数据、 请求等。该发送器/接收器31通过通信网络9从云到通信终端5发送各种 数据、请求等，由此允许分布式控制系统2分布各种数据、请求等到通 信终端5。例如，在通信终端5的登录处理中，发送器/接收器31发送用 于提示用户登录请求的认证屏幕数据到通信终端5的发送器/接收器51。 发送器/接收器31还由对于分布式系统1特有的协议通过超文本安全套接 字传输协议(HTTPS)服务器执行从通信终端5的用户应用和通信终端5的 设备应用接收数据和向通信终端5的用户应用和通信终端5的设备应用 发送数据。这种特有的协议是基于HTTPS的应用层协议，用于在分布式 系统2和通信终端之间实时地发送和接收数据而不被打断。发送器/接收 器31还执行发送响应控制、实时数据生成、命令发送、接收响应控制、 接收数据分析和手势转换。

这其中，进行发送响应控制以管理用于通信终端5所请求的下载的 HTTPS会话以便从分布式控制系统2发送数据到通信终端5。用于下载 的HTTPS会话的响应不立刻结束，而是保持一段时间(一到几分钟)。 发送器/接收器31在响应的主体部分中动态地写入要被发送到通信终端5 的数据。为了消除重连(reconnection)的损失，在前一会话结束之前允 许来自通信终端的另一个请求到达。通过使发送器/接收器31进入待命状 态直到完成前一个请求，当进行重连时可消除额外开销(overhead)。

进行实时数据生成以给由图16中编码单元19产生的压缩视频(和 压缩的声音)的数据添加特有的头(header)并将其写入HTTPS的主体 部分。

命令发送是产生要被发送到通信终端5的命令数据并将其写入指向 通信终端5的HTTPS的主体部分的处理。

接收响应控制式管理由通信终端5所请求的HTTPS会话，以便分布 式控制系统2从通信终端5接收数据的处理。HTTPS会话响应不立刻结 束，而是保持一段时间(一到几分钟)。通信终端5在请求的主体部分动 态地写入要被发送到分布式控制系统2的发送器/接收器31的数据。

接收数据分析是根据类型分析来自通信终端5传输的数据并传送该 数据到必要的过程的处理。

手势转换将用户使用电子笔或手写输入到作为电子黑板的通信终端 5f的手势事件转换为能够由浏览器20接收的格式的数据。

接收FIFO34是缓冲器，在其中存储由解码单元40解码后的视频(声 音)数据。

识别单元35对从通信终端5接收的图像(声音)数据执行处理。特 别地，例如，识别单元35基于照相机62获取的图像作为标志识别出人 或动物的面部、年龄、性别等。对于办公室来说，识别单元35基于由照 相机62获取的图像通过面部识别执行名称标注和替换背景图像的处理。 识别单元35将指示已识别的细节的识别信息存储到存储单元2000中。 识别单元35通过使用识别扩展卡执行处理实现了加速。

与在进行下行信道的自适应控制中所使用的通信终端5的延迟信息 获取单元57相应，延迟信息获取单元37a是用于进行上行信道适应控制 控制。特别地，延迟信息获取单元37a从解码单元40获取指示传输延迟 时间d1的传输延迟时间信息(d1)并将其保持特定的一段时间，并且， 当多个传输延迟时间的信息(d1)被获取时，将传输延迟时间信息(d)输 出到信道适应控制控制器37b，所述传输延迟时间信息(d)由多个传输延 迟时间d1指示频率分布信息。传输延迟时间信息(d1)指示从视频(声 音)数据从通信终端5发送时的时间点到其被分布式控制系统2接收时 的时间点的时间。

相应于用于处理下行信道的自适应控制的信道适应控制控制器27， 信道适应控制控制器37b被用于处理上行信道的自适应控制。特别地， 信道适应控制控制器37b基于传输延迟时间信息(d)计算通信终端5的 编码单元60的操作条件。信道适应控制控制器37b通过发送器/接收器 31和发送器/接收器51将指示诸如的帧速率和数据分辨率这样的操作条 件的信道适应控制控制信号发送到通信终端5的编码单元60。

解码单元40解码从通信终端5发送的视频(声音)数据。解码单元 40还将指示传输延迟时间d1的传输延迟时间信息(d1)输出到延迟信息 获取单元37a。

通信终端的功能配置

下面参考图10描述通信终端5的功能配置。图10是主要示出通信 终端的功能的功能框图。通信终端5是用于作为用户执行登录到分布式 系统1、开始和停止视频(声音)数据的分布等的界面的终端。

如图10所示，通信终端5具有图10所示功能组件，其硬件配置包 括图7中所示的CPU201和程序。当通信终端5通过插入图2所示的软 件狗99变得通过通信网络9可与其它终端和系统进行通信时，通信终端 5具有如图10所示的功能组件，其硬件配置和程序由图7和图8所示。

具体地说，通信终端5包括解码单元50、发送器/接收器51、操作单 元52、再现控制器53、呈现单元55、时间控制器56、延迟信息获取单 元57、显示单元58和编码单元60。所述通信终端5还包括存储单元5000， 其由图7中示出的RAM203构建。存储单元5000在其中存储指示下文描 述的时间差Δ的时间差信息(Δ)和指示通信终端5中时间t的时间信息 (t)。

在这些中，解码单元50解码分布式控制系统2分布的视频(声音) 数据并从再现控制器53输出。

发送器/接收器51从分布式控制系统2的发送器/接收器31和终端管 理系统7的发送器/接收器71a接收和向分布式控制系统2的发送器/接收 器31和终端管理系统7的发送器/接收器71a发送各种数据、请求等。例 如，在通信终端5的登录处理中，发送器/接收器51通过操作单元52基 于通信终端5的启动执行到终端管理系统7的发送器/接收器71a的登录 请求。

操作单元52执行处理以接收由用户输入的操作，例如，以电源开关、 键盘、鼠标、电子笔P等接收输入、选择等和传输其作为操作数据到分 布式控制系统2的浏览器管理单元22。

考虑到再现延迟时间U，再现控制器53缓冲从发送器/接收器51接 收的视频(声音)数据(实时数据包)并输出到解码单元50。重现控制 器53还计算指示传输延迟时间D1的传输延迟时间信息(D1)，并且输出 传输延迟时间信息(D1)到延迟信息获取单元57。

呈现单元55呈现由解码单元50解码的数据。

时间控制器56结合分布式控制系统2的时间获取单元26执行时间 调整处理。具体地，时间控制器56从存储单元5000获取时间信息(t)， 其指示通信终端5中时间t。时间控制器56通过发送器/接收器51和发送 器/接收器31发出对指示在分布式控制系统2中时间T的时间信息(T) 的请求到分布式控制系统2的时间获取单元26。在这种情况下，时间信 息(t)与对时间信息(T)的请求同时地被发送。

延迟信息获取单元57从再现控制器53获取指示传输延迟时间D1的 传输延迟时间信息(D1)，并将其保持特定的一段时间，当多个传输延迟 时间信息(D1)被获取时，通过发送器/接收器51与发送器/接收器31 输出传输延迟时间信息(D)到信道适应控制控制器27，所述传输延迟 时间信息(D)由多个传输延迟时间信息D1指示频率分布信息。该传输 延迟时间信息(D)被发送，例如一百帧一次。

显示单元58再现呈现单元55呈现的数据。

编码单元60通过发送器/接收器51和发送器/接收器31将从内置麦 克风213或外部附接的相机62以及麦克风63获取的并被编码的视频(声 音)数据[E]、从存储单元5000获取的指示在通信终端5中当前时间t₀的时间信息(t₀)和从存储单元5000获取的指示时间差Δ的时间差信息 (Δ)发送到分布式控制系统2的解码单元40。时间差Δ指示由分布式 控制系统2独立管理的时间与由通信终端5独立管理的时间之间的差。 编码单元60基于从信道适应控制控制器37b接收的由信道适应控制控制 信号指示的操作条件来改变编码单元60的操作条件。编码单元60根据 新的操作条件通过发送器/接收器51和发送器/接收器31将从照相机62 和麦克风63获得的并被编码的视频(声音)数据[E]、从存储单元5000 获取的指示在通信终端5中当前时间t₀的时间信息(t₀)和从存储单元5000 获取的指示时间差Δ的时间差信息(Δ)发送到分布式控制系统2的解码 单元40。

内置麦克风213，外部附接的相机62和麦克风63等是输入单元的例 子和需要解码和编码的设备。输入单元除了视频(声音)数据还可输出 触摸数据和嗅觉数据。

输入单元包括各种传感器，例如温度传感器、方向传感器、加速度 传感器等。

终端管理系统的功能配置

下面参考图11描述终端管理系统7的功能配置。图11是示出了终 端管理系统的功能的功能框图。

如图11所示，终端管理系统7具有图11中所示功能组件11，其包 括由图7中所示的CPU201的硬件配置和程序。

具体地，终端管理系统7包括发送器/接收器71a、发送器/接收器71b 和认证单元75。终端管理系统7还包括存储单元7000，其通过图7中所 示的HDD204构建。存储单元7000中存储有分布目的地选择菜单数据、 终端管理表7010和可用终端管理表7020。

在这些中，分布目的地选择菜单是指示如图12所示的这种目的地选 择菜单屏幕的数据。

如图13所示，终端管理表7010相关联地管理通信终端5的终端ID、 用户证书、当用户使用分布式系统1的服务时的合同信息、通信终端5 的终端类型、指示各个通信终端5的本地统一资源定位符(URL)的设 置信息、各个通信终端5的执行环境信息、共享ID、安装位置信息以及 显示名称信息。其中，执行环境信息包括各个通信终端5的“收藏夹”，“先 前Cookie信息”和“缓存文件”，其在每个通信终端5登陆后连同设置信息 一起被发送到分布式控制系统2，并且被用于在每个通信终端5上执行的 个人服务。

共享ID是当每个用户将与被分布到他/她自己的通信终端5的视频 (声音)数据相同的视频(声音)数据分布到其它通信终端5由此执行 远程共享处理时所使用的ID，并且是识别其它通信终端和其它通信终端 组的识别信息。例如，终端1D“t006”的共享ID是“v006”，终端1D“t007” 的共享ID是“v006”，终端1D“t008”的共享ID是“v006”。当与终端 ID“v006”的通信终端(5f1，5f2，5f3)的远程共享处理的请求从具有终 端ID“t001”的通信终端5a发出时，分布式控制系统2将与分布到通信终 端5a的视频(声音)数据相同的视频(声音)数据分布到通信终端(5f1， 5f2，5f3)。然而，当通信终端5a和通信终端(5f1，5f2，5f3)显示单元 58的分辨率不同时，分布式控制系统2相应地分布视频(声音)数据。

如图5所示，例如，当通信终端(5f1，5f2，5f3)并排设置时，安 装位置信息指示安装位置。在图12所示的分布目的地选择菜单中，显示 名称信息是指示显示名称的细节的信息。

可用终端管理表格7020与每个终端ID相关联地管理指示通信终端 或通信终端组的共享ID，由该终端ID指示的通信终端5与通信终端或通 信终端组可以执行远程共享处理。

接下来返回图11描述功能组件.

发送器/接收器71a从通信终端5接收和向通信终端5发送各种数据、 请求等。例如，发送器/接收器71a接收来自通信终端5的发送器/接收器 51的登录请求并将登录请求的认证结果发送到发送器/接收器51。

发送器/接收器71b从分布式控制系统2接收和向分布式控制系统2 发送各种数据、请求等。例如，发送器/接收器71b接收来自分布式控制 系统2的发送器/接收器21的分布目的地选择菜单的数据的请求，并将分 布目的地选择菜单的数据发送到发送器/接收器21。

认证单元75基于从通信终端5接收的终端ID和用户证书搜索终端 管理表7010，从而确定是否有任何相同组合的终端ID和用户证书，由此 认证该通信终端5。

实施例的操作或处理

下面参照图17至图24描述本实施例的操作或处理步骤。这些处理 步骤由分布式控制系统2的各CPU、通信终端5、终端管理系统7与网 络服务器8根据存储在其中的相应程序来执行。

基本的分布处理

首先参考图17描述如图3所示的基本分布式方法中的特定分布处 理。图17是示出分布式控制系统的基本分布处理的序列图。尽管这里所 述的是一种使用通信终端5a发布登录请求的情况，但是可以使用除了通 信终端5a以外的通信终端5执行登录。

如图17所示，当用户打开通信终端5a时，通信终端5a的发送器/ 接收器51对终端管理系统7的发送器/接收器71a发出登录请求(步骤 S21)。这导致发送器/接收器71a接收该登录请求。该登录请求包括通信 终端5a终端ID和用户证书。然后，认证单元75获取通信终端5a的终 端ID和用户证书。

认证单元75基于终端ID与用户证书搜索终端管理表7010，从而确 定操作是否存在任何相同组合的终端ID和用户证书，由此认证该通信终 端5a(步骤S22)。以下顺次描述当终端管理表7010中存在相同组合的 终端ID和用户证书时，即，当通信终端5a被确定在分布式系统1中作 为合适的终端时的情况。

终端管理系统7的发送器/接收器71a发送分布式控制系统2的IP地 址到通信终端5a的发送器/接收器51(步骤S23)。分布式控制系统2的 IP地址事先由终端管理系统7从分布式控制系统2获得并存储在存储单 元7000中。

终端管理系统7的发送器/接收器71b发出浏览器20启动请求给分布 式控制系统2的发送器/接收器21(步骤S24)。这使得发送器/接收器21 接收浏览器20启动请求。浏览器管理单元22基于发送器/接收器21接收 到的启动请求启动浏览器20(步骤S25)。

编码器桥接单元30的产生/选择单元310依照通信终端5a的再现能 力(显示器的分辨率等)以及内容的类型产生转换器10(步骤S26)。接 着，发送器/接收器21根据浏览器20的指令发出对内容数据[A]的请求至 网络服务器8(步骤S27)。响应于此，网络服务器8从其自己的存储单 元(未图示)读取所请求的内容数据[A](步骤S28)。然后，网络服务器 8发送内容数据[A]到分布式控制系统2的发送器/接收器21(步骤S29)。

浏览器20呈现由发送器/接收器21接收的内容数据[A]，由此产生多 条帧数据作为多条静止图像(声音)数据并将它们输出到传输FIFO24(步 骤S30)。转换器10编码存储在传输F1FO24中的多条帧数据，从而将它 们转换成要被输出到通信终端5a的视频(声音)数据[A](步骤S31)。

发送器接收器31发送视频(声音)数据到通信终端5a的发送器/接 收器51(步骤S32)。这使得通信终端5a的发送器/接收器51接收视频(声 音)数据[A]并将其输出到再现控制器53。

在通信终端5a中，解码单元50从再现控制器53获取视频(声音) 数据[A]并将其解码(步骤S33)。之后，扬声器61基于所解码的声音数 据[A]再现声音，并且显示单元58基于从解码单元50获取并由呈现单元 55呈现的视频数据[A]再现视频(步骤S34)。

使用多个通信终端的复合分布处理

下面参考图18描述通过分布式控制系统使用多个通信终端的通信处 理。图18是示出通过分布式控制系统使用多个通信终端的分布处理的顺 序图。在此为图6所示模式如通信终端5描述了特定的处理。因为这里 也执行类似于步骤S21至S29的登录处理、浏览器启动等，所以首先描 述对应于步骤S29的处理。

如图18所示，分布式控制系统2的发送器/接收器21从网络服务器 8接收内容数据[A](步骤S41)。浏览器20呈现内容数据[A]，从而产生 作为多条静止图像(声音)数据的多条帧数据并将它们输出到传输FIFO24 (步骤S42)。

当通信终端5f1的编码单元60从相机62以及麦克风63接收作为视 频(声音)数据[E]的内容数据的输入(步骤S43)时，编码单元60对内 容数据[E]进行编码(步骤S44)。发送器/接收器51发送由编码单元60 编码的内容数据[E]到分布式控制系统2的发送器/接收器31(步骤S45)。 这导致分布式控制系统2的发送器/接收器31接收内容数据[E]。

分布式控制系统2的解码单元40对由发送器/接收器31接收的内容 数据[E]进行解码并将其输出到接收FIFO34(步骤S46)。浏览器20呈现 存储在接收FIFO34中的内容数据[E]，由此产生多条帧数据[E]作为多条 静止图像(声音)数据，并将其输出到传输FIFO24(步骤S47)。在这 种情况下，浏览器20以布局输出，所述布局中内容数据[E]与已经获取的 内容数据[A]相结合。

此外，当通信终端5f1的操作单元52接收到电子笔P1的笔画操作 输入(步骤S48)时，发送器/接收器51发送指示由操作单元52接收的 笔画操作的细节的操作数据[p]给分布式控制系统2的发送器/接收器31 (步骤S49)。这使得分布式控制系统2的发送器/接收器31接收操作数 据[p]。浏览器管理单元22将由发送器/接收器31接收的操作数据[p]输出 到浏览器20。

浏览器20呈现操作数据[p]，由此产生多条帧数据[p]作为多条静止图 像(声音)数据并将它们输出到传输FIFO24(步骤S50)。在这种情况下， 浏览器20以布局输出，所述布局中操作数据[p]与已经获得的内容数据 ([A]、[E])相结合。

转换器10对存储在传输FIFO24中的作为多条静止图像(声音)数 据的多条帧数据([A]、[E]、[p])进行编码，从而将其转化成要被分布到 通信终端5a的视频(声音)数据([A]、[E]、[p])(步骤S51)。

发送器/接收器31从包括转换器10的编码器桥接单元30获取所编码 的视频(声音)数据([A]、[E]、[p])，并且将其发送到通信终端5f1的 发送器/接收器51(步骤S52-1)。这使得通信终端5f1的发送器/接收器 51接收视频(声音)数据([A]、[E]、[p])并使得通信终端5f1的再现 控制器53来从发送器/接收器51获取视频(声音)数据([A]、[E]、[p])。 在通信终端5f1，解码单元50从再现控制器53获取视频(声音)数据([A]、 [E]、[p])并将其解码(步骤S53-1)。在那之后，扬声器61基于所解码 的声音数据([A]、[E])再现声音，且显示单元58基于从解码单元50获 得并由呈现单元55呈现的视频数据([A]、[E]、[p])再现视频(步骤S54-1)。

此外，对于通信终端5f2，如步骤S52-1的情况一样，发送器/接收器 31从编码器桥接单元30获取所编码的视频(声音)数据([A]、[E]、[p])， 并将其发送到通信终端5f2的发送器/接收器51(步骤S52-2)。这使得通 信终端5f2的再现控制器53获得视频(声音)数据([A]、[E]、[p])。在 通信终端5f1，解码单元50从再现控制器53获取视频(声音)数据([A]、 [E]、[p])并将其解码(步骤S53-2)。在那之后，扬声器61基于所解码 的声音数据([A]、[E])再现声音，并且显示单元58基于从解码单元50 获取并由呈现单元55呈现的视频数据([A]、[E]、[p])再现视频(步骤 S54-1)。

因此，与输出到通信终端5f1的视频(声音)相同的视频(声音)也 被输出到通信终端5f2。

时间调整的处理

下面参考图19描述时间调整的处理。图19是示出时间调整的处理 的顺序图。

为了获得指示当发送器/接收器51发出时间信息(T)的请求到分布 式控制系统2时的时间点的时间，通信终端5的时间控制器56从存储单 元5000获取在通信终端5中的时间信息(t_s)(步骤S81)。发送器/接收 器51发出时间信息(T)的请求到发送器/接收器31(步骤S82)。在这 种情况下，时间信息(t_s)是与时间信息(T)的请求一同发送的。

为了获得指示当发送器/接收器31在步骤S82接收请求时的时间点的 时间，分布式控制系统2的时间获取单元26从时间管理单元25获取在 分布式控制系统2中的时间信息(T_r)(步骤S83)。为了获得指示当发送 器/接收器31在步骤S82响应请求时的时间点的时间，时间获取单元26 还从时间管理单元25获取分布式控制系统2中的时间信息(T_s)(步骤 S84)。然后，发送器/接收器31发送时间信息(t_s，T_r，T_s)至发送器/接 收器51(步骤S85)。

为了获得指示当发送器/接收器51在步骤S85接收响应时的时间点的 时间，通信终端5的时间控制器56从存储单元5000获取通信终端5中 的时间信息(t_r)(步骤S86)。

通信终端5的时间控制器56计算分布式控制系统2与通信终端5之 间的时间差Δ(步骤S87)。此时间差Δ表示为下面的公式(1)。

Δ＝((T_r+T_s)/2)-((t_s+t_r)/2)  (1)

时间控制器56将指示时间差Δ的时间差信息(Δ)存储在存储单元 5000中(步骤S88)。这一系列的时间调整处理被执行，例如，每分钟定 期地。

下行信道适应控制控制的处理

下面参考图20描述对从分布式控制系统2发送到通信终端5(下行) 的数据的信道适应控制控制的处理。图20是示出对从分布式控制系统传 送到通信终端的数据进行信道适应控制控制的顺序图。

首先，分布式控制系统2的信道适应控制控制器27计算再现延迟时 间信息(U)并输出其到编码器桥接单元30(步骤S101)，再现延迟时间 信息(U)指示通过缓冲直到通信终端5的再现控制器53再现视频(声 音)数据以延迟再现的再现延迟时间U。

发送器/接收器31从编码器桥接单元30获取再现延迟时间信息(U) 并发送其至通信终端5的发送器/接收器51(步骤102)。这导致通信终端 5的发送器/接收器51接收再现延迟时间信息(U)。编码器桥接单元30 将指示时间T₀的时间信息(T₀)作为时间戳添加到例如从传输FIFO24 获取并被编码的视频(声音)数据中，所述时间T₀指示从时间管理单元 25获取的时间点(步骤S103)。发送器/接收器31发送分布式控制系统2 的视频(声音)数据和时间信息(T₀)到通信终端5的发送器/接收器51 (步骤S104)。这使得通信终端5的发送器/接收器51接收分布式控制系 统2的时间信息(T₀)并输出视频(声音)数据和时间信息(T₀)到再现 控制器53。

在通信终端5，基于在步骤S102获取的再现延迟时间信息(U)，在 步骤104获取的时间信息(T₀)和在步骤S88存储在存储单元5000中的 时间差信息(Δ)，再现控制器53等待直到通信终端5中的时间(T₀+U-Δ)， 然后输出在步骤S104获取的视频(声音)数据到解码单元50，因此导致 扬声器61输出声音并导致显示单元58通过呈现单元55再现视频(步骤 S105)。这使得只有通信终端5在下文公式(2)所表示的再现延迟时间 U的范围内接收的视频(声音)数据被再现，其通过下面的，而范围之 外的视频(声音)数据过分延迟并被删除而不再现。

U≥(t₀+Δ)-T₀  (2)

再现控制器53从存储单元5000读取在通信终端5中的当前时间t₀(步骤S106)。该时间t₀指示当通信终端5从分布式控制系统2接收视频 (声音)数据时的时间点的通信终端5中的时间。再现控制器53进一步 读取时间差信息(Δ)，其指示来自存储单元5000的在步骤S88存储的时 间差Δ(步骤S107)。然后，再现控制器53计算传输延迟时间D1，其指 示从当视频(声音)数据从分布式控制系统2被发送时到当其被通信终 端5接收时的时间(步骤S108)。这通过下面公式(3)计算；当通信网 络9变得拥塞时，传输延迟时间D1变得更长。

D1＝(t₀+Δ)-T₀  (3)

延迟信息获取单元57从再现控制器53获取指示传输延迟时间D1的 传输延迟时间信息(D1)，并将其保持特定的一段时间，并且当多个发送 延迟时间信息(D1)被获取时，将根据多个传输延迟时间D1指示频率 分布信息的传输延迟时间信息(D)输出至传输器/接收器51(步骤S109)。 发送器/接收器51发送传输延迟时间信息(D)到分布式控制系统2的发 送器/接收器31(步骤S110)。这使得分布式控制系统2的发送器/接收器 31接收传输延迟时间信息(D)并输出传输延迟时间信息(D)到信道适 应控制控制器27。

分布式控制系统2的信道适应控制控制器27基于传输延迟时间信息 (D)重新计算再现延迟信息U＇并计算操作条件，例如，帧速率和转换器 10的数据分辨率并把它们输出到编码器桥接单元30(步骤S111)。换句 话说，信道适应控制控制器27基于传输延迟时间信息(D)和数据的大 小(例如，比特数或字节数)来改变编码器桥接单元30的操作。

发送器/接收器31获取来自编码器桥接单元30的再现延迟时间信息 (U＇)，其指示在步骤S111计算的新再现延迟时间U＇，并传输再现延迟 时间信息(U＇)至通信终端5的发送器/接收器51(步骤S112)。这导致 通信终端5的发送器/接收器51接收再现延迟时间信息(U＇)。

编码器桥接单元30的转换器10基于指示操作条件的信道适应控制 控制信号进一步改变转换器10的操作条件(步骤S113)。例如，当传输 延迟时间D1过长时，当再现延迟时间U根据传输延迟时间D1变长时， 扬声器61和显示单元58的再现时间变得太延迟。如此，有使再现延迟 时间U更长的局限。考虑到这种情况，信道适应控制控制器27不仅使编 码器桥接单元30将再现延迟时间U变为再现延迟时间U＇，而且还使转换 器10减小视频(声音)数据的帧速率并减小视频(声音)数据的分辨率， 从而解决通信网络9的拥塞。这使编码器桥接单元30，如步骤103，根 据改变之后的操作条件将所述当前时间信息(T₀)作为时间戳加入到视 频(声音)数据[A]。视频(声音)数据被添加(步骤S114)。发送器/接 收器31发送视频(声音)数据和分布式控制系统2的时间信息(T₀)到 通信终端5的发送器/接收器51(步骤S115)。这使得通信终端5的发送 器/接收器51接收视频(声音)数据和分布式控制系统2的时间信息(T₀) 并输出视频(声音)数据和时间信息(T₀)到再现控制器53。

在通信终端5，基于在步骤112获取的再现延迟时间信息(U＇)、在 S115获取的时间信息(T₀)以及在步骤S88存储在存储单元5000的时差 信息(Δ)，再现控制器53等待直到通信终端5中的时间(T₀+U＇-Δ)，然 后输出视频(声音)数据到解码单元50，因此，如步骤105，使扬声器 61输出声音并使显示单元58通过呈现单元55再现视频(步骤S116)。 在那之后，在步骤S106及以后的处理连续进行。如此，连续执行下行信 道适应控制控制的处理。

上行信道适应控制控制的处理

下面参考图21描述对从通信终端5发送到分布式控制系统2(上行) 的数据进行信道适应控制控制。图20是示出对从通信终端5发送到分布 式控制系统2(上行)的数据的信道适应控制控制的处理的顺序图。首先， 通信终端5的编码单元60编码由摄像机62以及麦克风63输入的内容数 据作为视频(声音)数据[E](步骤S121)。在这种情况下，编码单元60 从存储单元5000获得指示通信终端5中当前时间t₀的时间信息(t₀)和 指示时间差Δ的时间差信息Δ并且不编码他们。发送器/接收器/51发送视 频(声音)数据[E]、时间信息(t₀)和时间差信息Δ到分布式控制系统2 的发送器/接收器/31(步骤S122)。这使得分布式控制系统2的发送器/ 接收器/31接收视频(声音)数据[E]、时间信息(t₀)和时间差信息(Δ)。

在分布式控制系统2中，解码单元40从时间管理单元25读取时间 T₀，其指示当在步骤S112视频(声音)数据[E]等被接收时的时间点(步 骤S123)。然后，解码单元40计算传输延迟时间d1，其指示从当视频(声 音)数据从通信终端5被发送时到当其被分布式控制系统2接收时的时 间(步骤S124)。通过下面的公式(4)进行此计算；当通信网络9变得 拥塞时，所述传输延迟时间d1变得更长。

d1＝T₀-(t₀+Δ)  (4)

如同延迟信息获取单元57，分布式控制系统2的延迟信息获取单元 37a从解码单元40获取指示传输延迟时间d1的传输延迟时间信息(d1) 并将其保持特定的一段时间，并且当多条传输延迟时间信息(d1)被获 取时，将传输延迟时间信息(d)输出到信道适应控制控制器37b，所述 传输延迟时间信息(d)指示多个传输延迟时间d1的频率分布信息(步 骤S125)。

基于所述传输延迟时间信息(d)，信道适应控制控制器37b计算编 码单元60的操作条件(步骤S126)。发送器/接收器31传送指示诸如帧 速率和数据分辨率这样的操作状态的信道适应控制控制信号至通信终端 5的发送器/接收器51(步骤S217)。这使得通信终端5的发送器/接收器 51接收信道适应控制控制信号。换句话说，如图20所示的信道适应控制 控制的情况下(下行)，信道适应控制信号被输出到在相同分布式控制系 统2中的编码器桥接单元30，并且与此相反，在如图21所示的信道适应 控制控制的情况下(上行)，信道适应控制信号通过通信网络9从分布式 控制系统2被发送到通信终端5。

基于由发送器/接收器51接收的操作条件，编码单元60改变编码单 元60的操作条件(步骤S128)。然后，编码单元60基于新的操作条件执 行与步骤S121相同的处理(步骤S129)。发送器/接收器51如同步骤S122 将从照相机62和麦克风63获取的并且被编码的视频(声音)数据[E]， 从存储单元5000获取的指示在通信终端5中的当前时间t₀的时间信息 (t₀)，和也从存储单元5000获取的指示时间差Δ的时间差信息(Δ)发送 到分布式控制系统2的发送器/接收器31(步骤S130)。这使得分布式控 制系统2的发送器/接收器31接收所述视频(声音)数据[E]、时间信息 (t₀)和时间差信息(Δ)。在那之后，步骤S123和之后的处理被连续执 行。如此，连续执行上行信道适应控制控制的处理。

多显示器的处理

下面参考图22至图24描述多显示器的处理。图22至图24是示出 图5所示的多显示器的处理的顺序图。

在此描述在通信终端5a上被再现也在通信终端(5f1，5f2，5f3)上 以分离的方式再现的再现视频(声音)[XYZ]的例子。

用于显示网络内容的浏览器20被表示为“浏览器20a”，且用于显示 用户设置屏幕的浏览器20被表示为“浏览器20b”。首先描述相对应于图 17的步骤S30的处理。

首先，分布式控制系统2的浏览器20a呈现从网络服务器8获取的 网络内容数据[XYZ]，由此产生多条帧数据作为多条静止图像(声音)数 据并将它们输出到传输FIFO24(步骤S201)。转换器10编码存储在传输 FIFO24中的多条帧数据，从而将它们转换为能够被传输到通信终端5a 的数据格式的视频(声音)数据[XYZ](步骤S202)。

发送器/接收器31发送由转换器10转换之后的视频(声音)数据[XYZ] 到通信终端5a的发送器/接收器51(步骤S203)。这使得通信终端5a的 发送器/接收器51接收视频(声音)数据[XYZ]并将其输出到再现控制器 53。

在通信终端5a中，解码单元50从再现控制器53获取视频(声音) 数据[XYZ]并将其解码(步骤S204)。此后，扬声器61基于所解码的声 音数据[XYZ]再现声音，并且显示单元58基于从解码单元50获取并由呈 现单元55呈现的视频数据[XYZ]再现视频(步骤S205)。

在显示单元58上显示的屏幕由通信终端5a的用户切换到菜单请求 屏幕(未标出)，并且操作单元52接收对菜单请求屏幕上的“分布目的地 选择菜单”(未示出)的按压(步骤S206)。这使得发送器/接收器51发 送用于切换到分布目的地选择菜单的请求到终端管理系统7的发送器/接 收器71a(步骤S207)。这使终端管理系统7的发送器/接收器71a接收用 于切换到所述分布目的地选择菜单的请求。该请求包括通信终端5a的终 端ID。

发送器/接收器71b发送浏览器20b启动请求到分布式控制系统2的 发送器/接收器21(步骤S208)。这使得分布式控制系统2的发送器/接收 器21接收浏览器20b启动请求并发出浏览器20b启动请求到浏览器管理 单元22。

浏览器管理单元22启动浏览器20b(步骤S209)。编码器桥接单元 30的产生/选择单元310将从浏览器20a到转换器10(例如，转换器10a) 的输出切换到从浏览器20b到转换器10(例如，转换器10b)的输出(步 骤S210)。当通信终端5a和另一通信终端5(例如，通信终端5b)在步 骤S203以共享的转换器10(例如，转换器10a)接收视频(声音)数据 时，编码器桥接单元30的产生/选择单元310重新产生转换器10(例如， 转换器10b)，因为其它通信终端5(例如，通信终端5b)使用用于浏览 器20a的转换器10(例如，转换器10a)。

发送器/接收器21依照浏览器20b的指令发送分布目的地选择菜单的 请求到终端管理系统7的发送器/接收器71b(步骤S211)。在这种情况下， 通信终端5a的终端ID也被发送。这使终端管理系统7的发送器/接收器 71b接收分布目的地选择菜单的请求并输出通信终端5a的终端ID到存储 单元7000。

响应于此，终端管理系统7的存储单元7000基于终端ID搜索可用 终端管理表7020，从而提取相应的共享ID(步骤S212)。该共享ID指 示可供通信终端5a执行远程共享处理的通信终端5。如图14所示，因为 通信终端5a的终端ID为“t001”，所以被提取的共享ID为“v003”和“v006”。

存储单元7000基于所提取的共享ID进一步搜索终端管理表7010， 从而提取指示相应的显示名称的显示名称信息(步骤S213)。如图13所 示，对应于所提取的共享ID“v003”和“v006”的显示名称分别是“东京总公 司10F MFP”和“大阪展览馆1F多显示器”。

发送器/接收器71b发送分布目的地选择菜单数据[M]作为内容数据 给分布式控制系统2发送器/接收器21(步骤S214)。这使得分布式控制 系统2的发送器/接收器21接收分布目的地选择菜单数据[M]并将其输出 给浏览器20b。如图12所示，所述分布目的地选择菜单数据[M]包括复选 框、共享ID和显示器名称。

如图23中所示，浏览器20b呈现指示从终端管理系统7获取的分布 目的地选择菜单数据[M]的内容数据，从而产生多条帧数据作为多条静止 图像(声音)数据并将它们输出到传输F1FO24(步骤S221)。转换器10 编码存储在传输FIFO24中的多条图像(声音)数据[M]，从而将它们转 换成能够被传输到通信终端5a的数据格式的视频(声音)数据[M](步 骤S222)。

发送器/接收器31发送由转换器10转换之后的视频(声音)数据[M] 到通信终端5a的发送器/接收器51(步骤S223)。这使得通信终端5a的 发送器/接收器51接收视频(声音)数据[M]，并将其输出到再现控制器 53。

在通信终端5a中，解码单元50从再现控制器53获取视频(声音) 数据[M]并将其解码(步骤S224)。在那之后，显示单元58，如图12所 示，基于从解码单元50获取并由呈现单元55呈现的视频数据[XYZ]再现 视频(步骤S225)。

在如图12所示的分布目的地选择菜单中，当共享ID“v006”的复选框 被选中并且“确定”按钮被用户按下时，操作单元52接收由用户输入的操 作(步骤S226)。

发送器/接收器51发送检查结果作为操作数据给分布式控制系统2 的发送器/接收器31(步骤S227)。这使得分布式控制系统2的发送器/ 接收器31接收检查结果作为操作数据并将其输出到浏览器20b。

浏览器20b从检查结果中选择共享ID(步骤S228)。发送器/接收器 21依照浏览器20b的指令发送添加分布目的地的请求到终端管理系统7 的发送器/接收器71b(步骤S229)。添加分布目的地的请求包括在步骤 S227选择的共享ID。这使得终端管理系统7的发送器/接收器71b接收 添加分布目的地的请求，并输出共享ID到存储单元7000。然后，浏览器 20b结束其作用(步骤S230)。这使得编码器桥接单元30的产生/选择单 元310将从浏览器20b向转换器10的输出返回到从浏览器20a向转换器 10的输出(步骤S231)。

如图24中所示，在终端管理系统7的存储单元7000中，基于通过 步骤S229被发送的共享ID搜索终端管理表7010，从而提取相应的终端 ID和安装位置信息(步骤S241)。发送器/接收器71b发送添加分布目的 地的指令到分布式控制系统2的发送器/接收器21(步骤S242)。添加分 布目的地的指令包括在步骤S241提取的终端ID和安装位置信息。这使 得分布式控制系统2的发送器/接收器21接收添加分布目的地的指令，并 输出添加分布目的地的指令到浏览器管理单元22。在此所包括的是三组 终端ID和安装位置信息，即，终端ID和安装位置信息分别是“t006”和 “左”，终端ID与安装位置信息分别是“t007”和“中间”，以及终端ID和安 装位置信息分别为“t008”和“右”。

编码器桥接单元30的产生/选择单元310产生用于多显示器的转换器 10(步骤S243)。在这种情况下，编码器桥接单元30的产生/选择单元310 从浏览器管理单元22获得终端ID和安装位置信息。

在步骤S243产生的转换器10的分割单元13分割存储在传输FIFO24 中的作为多条静止图像(声音)数据的多条帧数据[XYZ]，并且编码单元 19对所分割的多条帧数据进行编码(步骤S244)。

发送器/接收器31基于终端ID(“t006”)和安装位置信息(“左”)发 送由编码器桥接单元30编码的视频(声音)数据[X]到通信终端5f1的发 送器/接收器51(步骤S245-1)。这使得通信终端5f1的发送器/接收器51 接收视频(声音)数据[X]并将其输出到再现控制器53。

在通信终端5f1，解码单元50从再现控制器53获取视频(声音)数 据[X]并将其解码(步骤S246-1)。在那之后，扬声器61基于所解码的声 音数据[X]再现声音，并且显示单元58基于从解码单元50获取并由呈现 单元55呈现的视频数据[X]再现视频(步骤S247-1)。

类似地，发送器/接收器31基于终端ID(“t007”)和安装位置信息(“中 间”)发送由编码器桥接单元30编码的视频(声音)数据[Y]到通信终端 5f2的发送器/接收器51(步骤S245-2)。这使得通信终端5f2的发送器/ 接收器51接收视频(声音)数据[Y]，并将其输出到再现控制器53。

在通信终端5f2中，解码单元50从再现控制器53获取视频(声音) 数据[Y]并将其解码(步骤S246-2)。在那之后，扬声器61基于所解码的 声音数据[Y]再现声音，并且显示单元58基于从解码单元50获取并由呈 现单元55呈现的视频数据[Y]再现视频(步骤S247-2)。

进一步类似地，发送器/接收器31基于终端ID(“t008”)和安装位置 信息(“右”)发送由编码器桥接单元30编码的视频(声音)数据[Z]到通 信终端5f3的发送器/接收器51(步骤S235-3)。这使得通信终端5f3的发 送器/接收器51接收视频(声音)数据[Z]，并将其输出到再现控制器53。

在通信终端5f3中，解码单元50从再现控制器53获取视频(声音) 数据[Z]并将其解码(步骤S246-3)。在那之后，扬声器61基于所解码的 声音数据[Z]再现声音，并且显示单元58基于从解码单元50获取并由呈 现单元55呈现的视频数据[Z]再现视频(步骤S247-3)。

通过改变参数组的信道适应控制

下面参照图25至图27更详细地描述上行信道适应控制控制的处理。 本实施例示出一个例子，其中，当通信终端5根据通信网络的通信信道 的质量(例如，传输延迟时间的长度)再现视频(声音)数据时，信道 适应控制控制器27改变影响再现质量的一个或多个参数。以下，特别描 述一种改变其中组合有多个参数的参数组的情况。图25是示出包含在参 数组中的参数的例子的示图。

在图25中，当视频(声音)数据是视频数据时，参数组的例子包括 五个参数，用于改变再现延迟时间、目标帧速率、分辨率(或颜色深度) 和信道数。当视频(声音)数据是声音数据时，本示例包括五个参数， 用于改变再现延迟时间、目标比特率、采样速率、量化比特率和信道数 目。信道适应控制控制器27在接收侧的通信终端5的解码能力的范围内 调整这些参数。

当视频(声音)数据是视频数据时，信道适应控制控制器27改变参 数如下：即，当参数包括视频数据的比特率时，信道适应控制控制器27 随着传输延迟时间D变长而降低比特率。当参数包括视频数据的帧速率 时，信道适应控制控制器27随着传输延迟时间D变长而降低帧速率。当 参数包括视频数据的分辨率时，信道适应控制控制器27随着传输延迟时 间D变长而降低分辨率。当参数包括视频数据的颜色深度时，信道适应 控制控制器27随着传输延迟时间D变长而降低颜色深度。当参数包括信 道数时，信道适应控制控制器27随着传输延迟时间D变长而降低信道数。

当视频(声音)数据是声音数据时，信道适应控制控制器27改变参 数如下：即，当参数包括声音数据的比特率时，信道适应控制控制器27 随着传输延迟时间变长而降低比特率。当参数包括声音数据的采样速率 时，信道适应控制控制器27随着传输延迟时间变长而降低采样速率。当 参数包括声音数据的量化比特率时，信道适应控制控制器27随着传输延 迟时间变长而降低量化比特率。当参数包括声音数据的颜色深度时，信 道适应控制控制器27随着传输延迟时间D变长而降低颜色深度。当参数 包括信道数时，信道适应控制控制器27随着传输延迟时间D变长而降低 信道数。

当改变参数时，信道适应控制控制器27可根据优先级，例如，哪个 参数首先被改变，来改变参数。例如，即使改变一参数降低了再现质量， 通常通信终端5的用户难以识别质量的下降，那么首先改变该参数。改 变特定参数的例子如下：即使帧速率在30fps到15fps之间变化时用户的 感官评价通常不会改变，帧速率在所述范围内变化。另一个例子如下： 当视频(声音)数据包括视频数据和声音数据时，与视频有关的参数优 先于与声音有关的参数首先被改变，因为视频质量的降低通常容易识别。 还有一个例子如下：当该视频(声音)数据包括视频数据和声音数据时， 当它不能以适当的质量发送到接收侧的通信终端5时，甚至当视频(声 音)数据的质量减小时，参数被改变以便停止视频数据的分布并仅执行 声音数据的分布。

根据用户的选择，信道适应控制控制器27可以改变参数。换句话说， 信道适应控制控制器27不能为视频(声音)数据的再现质量的下降统一 地确定参数。例如，当帧速率在15fps到1fps之间变化时，在接收侧的 通信终端5的用户可以识别视频(声音)数据的再现质量的降低。在这 种情况下，用户被允许选择参数，其优先调整关于帧速率是否应该降低 或另一个参数应该降低。这是因为一些用户认为当视频(声音)数据是 具有更少的运动的内容时降低帧速率没问题，而其他用户希望当输出信 息是具有快速运动的内容时，即使以目标比特率降低也保持帧速率。

以下描述当信道适应控制控制器27确定去改变参数组时的确定方法 的例子。当通信信道的质量是质量确定阈值的近似值时，当使用的参数 组根据通信信道质量的轻微波动频繁地切换时，在接收侧的通信终端5 无法流畅地再现。鉴于此，当增加和减小参数组的质量时，可通过不同 标准避免了频繁切换。

图26是示出参数组的质量时标准的示例的示图。如图26所示的例 子包括四个参数组从最大化了视频(声音)数据质量的高质量参数组A 到最小化了视频(声音)数据质量的低质量参数组D。在图26所示的例 子中，当减小参数组的质量时的阈值被设置为小于当增加所述参数组合 的质量时的阈值。这使得信道适应控制控制器27防止参数组发生频繁的 切换。

图27是用于示出当图26中的标准被应用时参数组的变化的示图。 在目前使用了参数组C时，当在通信信道的质量是1.5Mbps的情况继续 特定一段时间时，信道适应控制控制器27改变参数组为参数组B。此后， 即使当通信信道的质量变得小于1.5Mbps，信道适应控制控制器27也保 持该参数组为参数组B，因为降低时阈值为1.0Mbps或更多。当通信信 道的质量的小于1.0Mbps特定一段时间的情况下，信道适应控制控制器 27改变参数组为参数组C。因此，当增大和减小参数组的质量的时标准 是不同的；结果，在参数组被改变之后，改变之前的状态是不容易通过 通信信道质量的波动立即恢复的。合适地确定对这样情况的处理，在该 情况中，通信信道的质量的恶化到即使参数的质量最小化时也无法适当 的再现的程度。用于这种情况的处理的实例包括断开会话，和保持会话， 直到通信信道的质量恢复。

如以上参照特定的例子所描述的，在根据本实施例的分布式系统1 中，分布式控制系统2包括在云上执行呈现的浏览器20和执行编码的编 码器桥接单元30等。这使得浏览器20基于以某种描述语言描述的内容 数据执行多条帧数据作为多条静止图像(声音)数据，并且使得编码器 桥接单元30转换多条帧数据为能够通过通信网络9被发送的视频(声音) 数据。在这之后，分布式控制系统2分布视频(声音)数据至通信终端5。 结果，网络内容可被流畅地再现在通信终端5侧而不用更新其自己的浏 览器并不用花费精力和成本来提高CPU、OS、RAM等的规范。这消除 了内容的丰富增加通信终端5上的负载的问题。

特别地，浏览器20使能实时通信，并且转换器10对浏览器20所产 生的帧数据执行实时编码。因此，不同于其中DVD播放器选择并分布例 如按需分布视频(声音)数据所示的非实时(即预编码)视频(声音) 数据的情况，分布式控制系统2在分布之前呈现即刻获取的内容，由此 产生多条帧数据，然后对其进行编码，从而允许实时视频(声音)数据 的分布。

分布式控制系统2基于从通信终端5接收的传输延迟时间信息改变 要被分布到通信终端5的视频(声音)数据的再现质量的参数，从而即 使在内容的丰富或通信信道例如因特网变得拥塞时，也尽可能流畅地在 通信终端5上产生再现数据的效果。

补充说明

根据本实施例的分布式系统1包括作为分离系统的终端管理系统7 和分布式控制系统2。例如，终端管理系统7与分布式控制系统2例如通 过使分布式控制系统2具有终端管理系统7的功能，可构造为集成系统。

根据上述实施例，分布式控制系统2和终端管理系统7可以由单个 计算机构成或由其中各部分(功能、装置或存储单元)被任意划分和指 定的多个计算机构成。

诸如CD-ROM和HDD的存储上述实施例的程序的存储介质，可以 在国内或国外提供。

根据本实施例，基于从通信终端接收的传输延迟时间，分布式控制 系统改变要被分布给通信终端的数据的再现质量的参数，从而即使进行 内容的丰富或诸如因特网这样的通信信道变得拥塞时，也尽可能流畅地 在通信终端上产生再现数据的效果。

尽管本发明为了完全和清楚的公开参考特定实施进行了描述，但是 所附权利要求不限于此，而应被理解为实现本领域技术人员可以想到的 清楚落入这里阐述的基本原则里的所有修改和替换结构。