首页> 中国专利> 通讯终端、通讯管理系统、通讯系统、声音输入部登录方法

通讯终端、通讯管理系统、通讯系统、声音输入部登录方法

摘要

本发明涉及不依赖于静音按钮,而根据声音输出的音量水准来进行静音处理的通讯终端、通讯管理系统、通讯系统、声音输入部登录方法。本发明的特征在于,用判断部根据声音输入部的类型来判断该声音输入部是否能够通知静音状态,如果能够通知静音状态,则处理部根据来自声音输入部的静音信息来判断该声音输入部的静音状态,而如果不能够通知静音状态,则判断部进一步根据输入到该声音输入部中音量来判断静音状态,处理部根据该判断结果,将静音状态通知状态管理部,由该状态管理部制作包括表示所述静音状态的信息的短信,并在其中加入识别自终端的信息以及识别收信终端的信息,而后将该短信转交给终端收发信部,由该终端收发信部送往所述收信终端。

著录项

  • 公开/公告号CN102404131A

    专利类型发明专利

  • 公开/公告日2012-04-04

    原文格式PDF

  • 申请/专利权人 株式会社理光;

    申请/专利号CN201110203431.4

  • 发明设计人 加藤喜永;

    申请日2011-07-20

  • 分类号H04L12/18(20060101);H04L29/08(20060101);H04N7/15(20060101);H04L12/56(20060101);H04R27/00(20060101);

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人杨梧

  • 地址 日本东京都

  • 入库时间 2023-12-18 04:42:57

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2015-03-25

    授权

    授权

  • 2012-06-13

    实质审查的生效 IPC(主分类):H04L12/18 申请日:20110720

    实质审查的生效

  • 2012-04-04

    公开

    公开

说明书

技术领域

本发明涉及通讯系统,该通讯系统用于会议出席者在互相分开的场所通 过收发图像以及声音等会议信息来举行会议,或者用于利用声音通话或声音 及图像通话等在两者或多者之间通讯,尤其涉及具有静音功能的通讯终端。

背景技术

目前,利用英特网等通信网络进行远程通信的远程通信系统、以及利用 远程通信终端举行会议的会议系统得到了广泛普及。该会系统在参加会议的 一方的出席者等会议当事者所在的会议室中,用会议系统的远程通信终端来 拍摄会议当事者等会议室的图像,并收集发言等声音,而后将图像和声音转 换成电子数据,并将该电子数据发送到另一方的远程通信终端,在另一方会 议室中的电视机或投影机等显示器上显示上述拍摄的图像,并通过扬声器输 出上述收集的声音,以接近实际举行会议的状态在分开的场所举行会议。

在一般的会议中,经常出现出席会议的一方人员进行内部商量等的场合, 也就是说会发生不想让出席会议的他方得知或无需让他方得知的内部会话。

在利用会议系统举行的会议中也同样会出现上述情况,但是,在会议系 统中遇到上述情况时,可利用静音功能,来暂时减小自己的声音输入,或将 自己的声音输入降至0,以使得参加会议的对方听不到自己的声音。

然而,实行静音后,出席会议的对方对声音突然中断将会感到十分唐突, 或者会误认为会议系统发生了故障,从而造成混乱。

针对上述问题,在现有技术中提出在实行静音时向对方发出通知的技术 方案,用文字或图标在对方的画面上显示处于静音状态。

例如专利文献1(JP特开2008-61060号公报)公开了以下技术方案,会议 终端A在向对方的会议终端B发送的信息中加入自己的动作状态,包括麦克风 的静音ON/OFF在内的该会议终端A的动作状态作为附加数据被一起送往会议 终端B,会议终端B根据该附加数据显示会议终端A的动作状态。

关于会议系统的远程通信终端中的麦克风,有如专利文献2(JP特开 2008-28885号公报)公开的、安装在远程通信终端主机之中的麦克风,而一 般的并非专用于远程通信终端的麦克风则为外设,连接在远程通信终端主机 上。

静音功能可以通过操作静音按钮来实行,在装有麦克风的远程通信终端 主机中设有该静音按钮。

在一般的麦克风中通常也设有静音按钮,与此类麦克风相连接的远程通 信终端可利用设在麦克风上的静音按钮。这样,用一般的麦克风作为外设时, 可操作麦克风上的静音按钮来实行静音功能,但此时,为了让远程通信终端 中掌握该静音功能的实行,需要该外设麦克风向远程通信终端发送有关按动 麦克风静音按钮的操作信息。

在现有技术中,若要获得上述操作信息,远程通信终端主机中需要安装 各台麦克风专用的设备驱动器或应用程序。

远程通信终端中如果没有上述设备驱动器,或安装的设备驱动器与麦克 风不相配,则该远程通信终端无法获知静音按钮的按动,其结果,无法通知 对方有关静音功能的实行。

麦克风是可以根据需要交换使用的设备,为此远程通信终端需要装设适 于各种不同类型的麦克风的设备驱动器,如此便或造成远距通信终端的制造 成本、以及用于远程通信终端的设备驱动器的开发成本等上升。

针对上述问题,专利文献3(JP特开2007-274369号公报)公开了一种技 术方案,该方案不需要对既存的分包格式加以改变,而是通过加工声音数据 的数据值,在收信一方掌握静音区间的发生原因。

关于静音,专利文献3中叙述了由送信数据转换部120A来判断麦克风111A 是否实行了静音,但却没有说明如何进行判断。而且,专利文献3无法解决在 采用上述一般麦克风作为外设时所带来技术问题。

上述问题不但发生在利用会议系统的会议之中,还会发生在两者或多者 之间进行通讯,如利用声音通话或利用声音及图像的双方进行通话等场合。 如上所述,在诸如具有麦克风静音功能的远程通信终端的通讯终端中如 果没有专用的设备驱动器,则在使用未受到通讯终端支持的麦克风时,便会 发生无法通知通讯对方有关实行静音功能的问题。

针对上述问题,可以考虑采用如下方案,判断能否发送所使用的麦克风 的静音状态的通知,如果可以发送通知,则根据收到的静音信息判断静音状 态,如果判断为不能够通知静音状态,则进一步测定上述声音输入部中输入 的音量,同时根据该测定结果判断静音状态,这样,即便是在使用未受支持 的麦克风的情况下,也能够将实行静音的情况通知给对方。

然而,上述技术方案需要麦克风或远程通信终端中具备静音按钮,如果 没有静音按钮,则该方案无法实行。

发明内容。

对此,本发明提供一种通讯终端,其不依赖于静音按钮,而是根据声音 输出的音量水准来进行静音处理。

为了解决上述问题,本发明提供具有以下特征的技术方案。

(1)本发明的一个方面在于,提供一种通讯终端,通过网络与一个或多个对 方通讯终端之间进行双向通讯,该双向通讯至少包括声音的通讯,该通 讯终端的特征在于,包括:声音输入部,用于输入声音;判断部,用于 判断该声音输入部的类型;处理部,用于管理有关静音的处理;状态管 理部,用于管理声音的状态;以及,终端收发信部,通过网络收发信息, 所述判断部根据所述声音输入部的类型判断该声音输入部是否是能够 通知静音状态的声音输入部,如果该判断部判断该声音输入部能够通知 静音状态,则所述处理部根据来自该声音输入部的静音信息来判断该声 音输入部的静音状态,而如果该判断部判断该声音输入部不能够通知静 音状态,则该判断部进一步根据输入到该声音输入部中音量来判断该声 音输入部的静音状态,所述处理部根据该静音状态的判断结果,将该静 音状态通知所述状态管理部,该状态管理部制作短信,该短信包括表示 所述静音状态的信息,其中还加入用于识别自终端的信息以及用于识别 接收该短信的收信终端的信息,而后将该短信转交给所述终端收发信 部,由该终端收发信部将该短信送往所述收信终端。

(2)本发明还提供根据(1)所述的通讯终端,其特征在于,该通讯终端还具 有以名单形式保存的第一声音输入部名单,其中保存能够通知静音状态 的声音输入部,所述处理部取得声音输入部的类型后将其送往所述判断 部,该判断部用该取得的声音输入部的类型来检索该第一声音输入部名 单,如果该声音输入部名单中存在该取得的声音输入部的类型,则判断 该声音输入部能够通知静音状态,而如果该第一声音输入部名单中不存 在该取得的声音输入部的类型,则判断该声音输入部不能够通知静音状 态。

(3)本发明还提供根据(2)所述的通讯终端,其特征在于,该通讯终端还具 有第二声音输入部名单,其中保存在所述第一声音输入部名单的检索中 被判断为不能通知静音状态的声音输入部,当在所述第一声音输入部名 单的检索中被判断为不能通知静音状态的情况下,所述判断部以所述取 得的声音输入部的类型进一步检索该第二声音输入部名单,如果该第二 声音输入部名单中也不存在该取得的声音输入部的类型,则通知所述状 态管理部该声音输入部的静音状态为NONE,即不通知该声音输入部的静 音状态。

(4)本发明还提供根据(2)或(3)所述的通讯终端,其特征在于,所述第二声 音输入部中相关保存所述声音输入部的类型与音量水准的阀值,所述判 断部测定该声音输入部输入的音量水准,并参考该阀值,当测定的音量 水准在阀值范围之内时,判断该声音输入部的静音状态为ON,而当测定 的音量水准在阀值范围以外时,则判断该声音输入部的静音状态为OFF。

(5)本发明还提供根据(4)所述的通讯终端,其特征在于,所述音量水准的 阀值小于所述声音输入部输入的最小音量水准的值,并预先保存该阀 值。

(6)本发明还提供根据(1)~(5)中任意一项所述的通讯终端,其特征在于, 所述判断部在预定时间内测定音量并通过判断得出所述声音输入部的 音量水准。

(7)本发明还提供根据(1)~(6)中任意一项所述的通讯终端,其特征在于, 所述静音状态是所述声音输入部中的信号处理过程结束以后的信号被 切断了的状态。

(8)本发明还提供根据(1)~(7)中任意一项所述的通讯终端,其特征在于, 该通讯终端还具有显示部,该显示部显示静音状态,所述终端收发信部 经由网络收到所述短信后,将该短信送往所述状态管理部,该状态管理 部对该短信进行解析,取得发送该短信的通讯终端以及静音状态,所述 显示部显示该状态管理部取得的发送该短信的通讯终端名称,同时进行 该静音状态的显示或着非显示。

(9)本发明还提供根据(8)所述的通讯终端,其特征在于,当所述取得的静 音状态为ON时,所述显示部显示表示静音状态为ON的图像。

(10)本发明还提供根据(8)所述的通讯终端,其特征在于,当所述取得的静 音状态为OFF时,所述显示部作非显示。

(11)本发明还提供根据(8)所述的通讯终端,其特征在于,当所述取得的静 音状态为NONE即不通知静音状态时,所述显示部显示表示不通知静音状 态的图像。

(12)本发明还提供根据(1)~(11)中任意一项所述的通讯终端,其中进一步 包括:声音输出部,输出所述对方通讯终端发送的声音;音量调节操作 部,对该声音输出部输出的音量水准进行调节操作;以及,监视部,监 视通过该音量调节操作部的操作而发生改变的所述声音输出部输出的 音量水准,其特征在于,当所述音量水准为最小值时,所述监视部将所 述声音输入部的输入设为静音状态,并且制作短信,该短信中包括所述 对方通讯终端即收信终端的信息以及该静音状态的信息,要求所述终端 收发信部发送该短信。

(13)本发明还提供根据(12)所述的通讯终端,其特征在于,当所述声音输入 部的输入为静音状态,而且通过声音调节操作部的操作,所述声音输出 部输出的声音的音量水准被改变为除最小值以外的值时,所述监视部使 得该声音输入部从所述静音状态恢复原状,而且制作短信,该短信中包 括对方通讯终端即收信终端的信息以及有关该声音输入部恢复原状的 信息,并要求所述终端收发信部发送该短信。

(14)本发明还提供根据(12)所述的通讯终端,其特征在于,所述监视部在将 所述声音输入部的输入设为静音状态时,先保存该声音输入部的输入水 准,而后设定到静音状态。

(15)本发明还提供根据(14)所述的通讯终端,其特征在于,当声音输入部为 静音状态,而且通过声音调节操作部的操作,声音输出部输出的声音的 音量水准被改变为除最小值以外的值时,所述监视部使得所述声音输入 部从所述静音状态恢复到被保存的输入水准,并且制作短信,该短信中 包括对方通讯终端即收信终端的信息以及有关该声音输入部恢复到被 保存的输入水准的信息,并要求所述终端收发信部发送该短信。

(16)本发明还提供根据(14)或(15)所述的通讯终端,其特征在于,所述静音 状态为所述声音输入部的输入水准的值为0的状态。

(17)本发明还提供根据(12)或(13)所述的通讯终端,其特征在于,所述静音 状态为所述声音输入部的声音输入处于被中止状态。

(18)本发明还提供根据(12)或(13)所述的通讯终端,其特征在于,所述监视 部判断是否具有停止向所述声音输入部输入声音的接口,如果具有该接 口,则在所述静音状态下该声音输入部停止声音输入,而如果不具有该 接口,则设声音输入部的输入水准的值为0。

(19)本发明还提供根据(12)~(18)中任意一项所述的通讯终端,其特征在 于,该通讯终端还具备图像显示控制部,用于处理并显示所述短信的内 容,所述监视部在收到所述终端收发信部发出的收到短信的收信通知 后,对该短信中包含的声音输入状态进行解析,并要求所述图像显示控 制部显示或非显示该声音输入状态所对应的数据。

(20)本发明还提供根据(19)所述的通讯终端,其特征在于,当所述声音输入 状态为静音状态时,所述图像显示控制部显示该静音状态所对应的所述 数据。

(21)本发明还提供根据(19)所述的通讯终端,其特征在于,当所述声音输入 状态不是静音状态时,所述图像显示控制部作非显示。

(22)本发明还提供根据(1)~(11)所述的通讯终端,其特征在于还进一步包 括:模式转换部,用于在实行通讯的通讯模式和对所述声音输入部的信 息进行登录的登录模式之间进行转换;以及,登录部:当该模式转换部 将模式转换到登录模式时,如果所述声音输入部被判断为能够通知静音 状态,则对该声音输入部的识别信息进行登录,而如果所述声音输入部 被判断为不能够通知静音状态,则测定从该声音输入部输入的静音状态 的数据的音量,并将该测定到的音量与所述声音输入部的识别信息一起 登录。

(23)本发明还提供根据(22)所述的通讯终端,其特征在于,在进行所述测定 之前,所述登录部保存所述声音输入部的当前的输入水准,而后将该输 入水准改为最大,并且在所述测定结束之后将该输入水准恢复到所述被 保存了的输入水准。

(24)本发明还提供根据(22)或(23)所述的通讯终端,其特征在于,所述登录 部在预定时间内测定从所述声音输入部输入的静音状态的数据的音量, 并登录测定到的音量之中的最大值。

(25)本发明还提供根据(22)~(24)中任意一项所述的通讯终端,其特征在 于,当所述登录的值大于规定值时,重新进行所述测定。

(26)本发明的另一个方面在于,提供一种声音输入部登录方法,其特征在于, 在具有登录声音输入部的信息的登录模式的上述(22)~(25)中任意一 项所述的通信终端中进行以下步骤:实行静音操作;如果能够通过实行 静音操作取得静音信息,则判断能够通知所述声音输入部的静音状态, 并对该声音输入部的识别信息进行登录;而如果不能够通过实行静音操 作取得静音信息,则判断不能够通知所述声音输入部的静音状态,并测 定从该声音输入部输入的静音状态的数据的音量,将该测定的音量与所 述声音输入部的识别信息一起登录。

(27)本发明还提供根据(26)所述的声音输入部登录方法,其特征在于,如果 不能实行静音操作,则输入取消登录。

(28)本发明还提供根据(27)所述的声音输入部登录方法,其特征在于,如果 既不能实行静音操作,又不能通过实行静音操作取得静音信息,则显示 要求实行静音操作的对话。

(29)本发明还提供根据(26)~(28)中任意一项所述的声音输入部登录方法, 其特征在于,只有当所述测定到的音量之中的最大值小于规定值时,才 对所述声音输入部的识别信息以及所述测定到的音量进行登录。

(30)进而,本发明的另一个方面在于,提供一种通讯管理系统,其与多个上 述(1)~(25)所述的通讯终端之间经由网络连接,该通讯管理系统接收 该通讯终端发送的短信,并将该短信送往与该通讯终端通讯的对方通讯 终端。

(31)本发明还提供根据(30)所述的通讯管理系统,其特征在于,该通讯管理 系统包括短信传达部以及管理系统收发信部,该管理系统收发信部在收 到该短信之后,将该短信转交给该短信传达部,该短信传达部根据所述 短信中的用于识别自终端的信息,来参考所述对方通讯终端中保存的管 理表格,取得用于识别该对方通讯终端的信息,并且制作所述短信,该 短信包括表示所述静音状态的信息,其中还加入用于识别自终端的信息 以及用于识别所述对方通讯终端的信息,而后将该短信转交给所述管理 系统收发信部,由该管理系统收发信部将该短信送往所述对方通讯终 端。

(32)再者,本发明的另一个方面还在于,提供一种通讯系统,其特征在于, 包括上述(1)~(25)中任意一项所述的通讯终端、以及上述(30)或(31) 所述的通讯管理系统,该通讯终端与该通讯管理系统之间通过网络连 接。

本发明的效果在于,在具有麦克风的静音功能的通讯终端中,即便没有 专用的设备驱动器,下也能够将静音状态通知给对方通讯终端。

而且,本发明还可通过预先登录关于可否通知静音状态的信息以及用于 掌握静音状态的有关音量的信息等信息,在没有专用设备驱动器的情况下能 够将静音状态通知给对方通讯终端。

进而,本发明还能够根据声音输出的音量水准的变化状态来进行有关静 音的处理,因而在不具备静音按钮的情况下也能够实行静音处理,并将静音 状态通知给对方通讯终端。

附图说明

图1是本发明实施方式之一所涉及的远程通信系统的示意图。

图2是本发明实施方式之所涉及的远程通信终端的硬件结构模块图。

图3是本发明实施方式之一所涉及的远程通信终端的外观图。

图4是本发明实施方式之一所涉及的远程通信管理系统、中继装置、以及 程序提供系统的硬件结构模块图。

图5是构成发明本实施方式之一所涉及的远程通信系统的各个终端、装置 以及系统的功能模块图。

图6A和图6B是图5所示声音输入部15a和声音输出部15b的功能模块图。

图7A、7B、7C是概念性说明图像数据的画质的示意图。

图8是改变画质管理表的示意图。

图9是中继装置管理表的示意图。

图10是终端认证管理表的示意图。

图11是终端管理表的示意图。

图12是收信名单管理表的示意图。

图13是时域管理表的示意图。

图14是地址优先度管理表的示意图。

图15是传送速度优先度管理表的示意图。

图16是画质管理表的示意图。

图17是对表示各个中继装置的动作状态的状态信息进行管理的时序图。

图18是在远程通信终端之间开始通信准备阶段中的处理时序图。

图19是中继装置选定处理的时序图。

图20是中继装置选定处理的流程图。

图21是中继装置选定处理时的优先度点数的计算状态的示意图。

图22A和22B是终端选择中继装置的选择处理时序图。

图23是用远程通信终端来选择中继装置的选择处理的流程图。

图24是远程通信终端之间图像数据以及声音数据的信息收发处理的时序 图。

图25是麦克风静音状态时的送信处理流程图。

图26A、26B是麦克风数据的示意图。

图27是静音状态的数据的示意图。

图28是一例包含静音信息的短信数据的图。

图29是另一例包含静音信息的短信数据的图。

图30是图25所示流程图中的处理<1>。

图31是图25所示流程图中的处理<2>。

图32是收信终端接受包含静音信息的短信的处理流程图。

图33是收信终端的显示器显示静音状态的处理流程图。

图34是在会议模式和登录模式之间转换的菜单画面的示意图。

图35是麦克风登录模式的处理流程图。

图36是麦克风登录时的对话画面的示意图。

图37是麦克风登录完毕时的对话画面的示意图。

图38是图35所示的处理流程中能够取得麦克风静音信息时的处理<3>

图39是图35所示的处理流程中能不够取得麦克风静音信息时的处理<4>

图40是麦克风登录处理中的对话画面的示意图。

图41是利用音量调节按钮来实行静音状态时的送信处理流程图。

图42是一例包括静音信息的短信数据的图。

图43是另一例包括静音信息的短信数据的图。

图44是利用音量调节按钮来实行静音状态时的送信另一例处理流程图。

图45是选择进行图41所示处理还是选择图44所示处理的处理流程图。

图46是在自己的远程通信终端中的显示器上显示静音状态。

图47是收信终端接受包含静音信息的短信的处理流程图。

图48是在接受短信的远程通信终端中的显示器上显示静音状态。

具体实施方式

《整体结构》

以下利用图1至图24来说明一个本发明的实施方式。图1是本发明的通讯 系统的实施方式之一所涉及的远程通信系统1的示意图,首先利用图1来大致 说明本实施方式。

在此,通讯终端以及通讯系统是指通过声音、映像、或者声音以及映像、 以及其他信息的收发来进行一对一或多者之间的信息交流的终端以及系统, 其包括可以携带的手机之类的终端。

图1所示的远程通信系统1包括多个远程通信终端(10aa、10ab、…10db)、 用于各个远程通信终端(10aa、10ab、…10db)的显示器11(11aa、11ab、… 11db)、多个中继装置(30a、30b、30c、30d)、以及远程通信管理系统50。 在此,远程通信终端10仅是通讯终端的一个实施方式,同样,远程通信 管理系统50也仅是通讯管理系统的一个实施方式而已。

以下,在表示多个远程通信终端10(10aa、10ab、…)中的任意一个终 端时,称其为远程通信终端10,表示多个显示器11(11aa、11ab、…)中任 意一个显示器时,称其为显示器11,表示多个中继装置(30a、30b、30c、30d) 时,称其为中继装置30。

远程通信终端10之间收发通话数据。该通话数据包括图像数据和声音数 据等数据。在本实施方式中对以动画为图像数据的图像的情况进行说明,此 外,图像还可以是静画。进而还可以包括动画和静画双方。中间装置30在多 个远程通信终端10之间进行通话数据的中继。远程通信系统50对管理远程通 信终端10以及中继装置30进行统一管理。

图1所示的多个路由器(70a、70b、…、70h)选择通话数据即图像数据 和声音数据、以及日志信息的最佳路径。本实施方式用路由器70表示路由器 (70a、70b、…、70h)中任意一个路由器。程序提供系统90中具备未图示的 硬盘HD204,其中保存远程通信终端用程序,并能够向远程通信终端10发送该 远程通信终端用程序。该远程通信终端用程序用于使得远程通信终端10实现 各种功能。此外,程序提供系统90的HD204中还保存中继装置用程序,并向中 继装置30发送该中继装置用程序,该中继用程序用于使得中继装置30实现各 种功能。进而,程序提供系统90中的HD204还保存远程通信管理装置用程序, 并向远程通信管理系统50发送这些程序,该程序用于使得远程通信管理装置 50实现各种功能。

远程通信终端10aa、10ab、中继装置30a、以及路由器70a通过LAN2a连接, 可进行通信。远程通信终端10ba、10bb、中继装置30b、以及路由器70b通过 LAN2b连接,可进行通信。LAN2a和LAN2b由包含路由器70c的专用线2ab连接, 可进行通信,并被设置在预定区域A内。例如区域A为日本,LAN2a设置在东京 事业所内部,LAN2b设置在大阪事业所内部。

另一方面,远程通信终端10ca、10cb、中继装置30c、以及路由器70c通 过LAN2c连接,可进行通信。远程通信终端10da、10db、中继装置30d、以及 路由器70d通过LAN2d连接,可进行通信。LAN2c和LAN2d由包含路由器70e的专 用线2cd连接,可进行通信,并被设置在预定区域B内。例如区域B为美国,LAN2c 设置在纽约事业所内部,LAN2b设置在华盛顿DC事业所内部。区域A和区域B 之间通过路由器70c、70e经由英特网2i连接,能够进行通信。

远程通信管理系统50以及程序提供系统90通过英特网2i与远程通信终端 10以及中继装置30连接,可进行通信。远程通信管理系统50、以及程序提供 系统90既可设置在区域A或区域B,也可设置在其他区域。

本实施方式的通信网络2通过LAN2a、LAN2b、专用线2ab、英特网2i、以 及专用线2cd、LAN2c、LAN2d构成。

远程通信管理系统50与各个远程通信终端10以及中继装置30之间利用短 信进行信息交换或登录状态等通知,该短信以基于可扩展消息现场协议 (XMPP,extensible messaging and Presence protocol)的可扩展标志语 言(XML)制作。

具体来说,远程通信管理系统50管理远程通信终端10的“在线”、“离 线”、“正在开会”、或“正在静音之中”等状态,远程通信管理系统50在 各个远程通信终端10之间充当中介角色,当从其某个远程通信终端10收到这 类状态通知后,便将该通知通报其他远程通信终端10。

远程通信终端10之间,利用实时传送协议(RTP,Real-time Transport  Protocol)经由中继装置30进行声音以及图像等数据的收发信。

图1中各个远程通信终端终端10、中继装置30、远程通信终端管理系统50、 各个路由器70、以及程序提供系统90的下面显示的4组数据简易表示一般的 IPv4中的IP地址。例如,远程通信终端终端10aa的IP地址为“1.2.1.3”。除 了IPv4以外,还可以使用IPv6,在此为了简化说明,用IPv4进行说明。

以上用相隔距离较远的不同地点举行会议的会议系统为例来说明远程通 信系统,但在此所说的会议并不局限于相距较远的会议,该会议既可是在统 一办公楼的不同会议室,也可以是处于同一会议室但相互听不见的不同位置。 总之,本发明的会议是指借助于远程通信系统举行的会议。

因此,即使是面对面地直接矩形的现场会议,如果借助于远程通信系同 举行,便属于本发明的会议。

会议的人数包括一对一以及多者。同样包括简单的碰头协商或交流。

另外,会议不经用于公务,也可用于私人之间。例如用于地处不同场所 的亲属朋友之间的的联络等。

会议信息表示会议之中的图像声音等,至少是其中之一。例如,在仅显 示图像的情况下,可将参会者的声音用字幕表示。

会议信息中还包括会场上当事者展示的物品如商品样本、颁布的资料、 以及没有颁布但用投影机等显示设备显示在屏幕上的画面等信息。这类会议 信息意味着会议出席人员在面对面直接举行的会议中能够掌握的信息。

进而,本实施方式中的声音不仅包括人的发声,也包括其他声音。

《硬件结构》

下面说明本实施方式的硬件结构。本实施方式中,当接收中继信息的远 程通信终端10中发生图像数据接收延迟时,通过中继装置30改变图像数据的 图像分辨率,而后向接收中继信息的远程通信终端10发送图像数据。以下对 该情况进行说明。

图2是本发明实施方式之一所涉及的远程通信终端10的硬件结构。如图2 所示,本实施方式的远程通信终端10包括:中央处理器即CPU101,用于控制终 端10整体动作;只读存储器即ROM102,用于保存终端用程序;随机存取存储 器即RAM103,用于作为CPU101的工作区域;闪存104,用于存储图像数据、以 及声音数据等各种数据;固态驱动器SSD(solid state drive)105,按照CPU101 的控制来对闪存104中各种数据的读取以及写入进行控制;介质驱动器107, 用于控制闪存等存储介质106的数据读取或写入;操作键108,用于在选择远 程通信终端10的收信终端等进行远程通信终端10的动作的操作,或者用于进 行将在以下叙述的静音按钮以及音量调节按钮的操作;电源开关109,用于远 程通信终端10的电源的接与切断之间的转换;网络接口I/F111,用于利用通 信网络2进行数据输送;互补金属氧化半导体元件(CMOS,compl ementary  metal oxide semiconductor)112,按照CPU101的控制拍摄被摄体获得图像 数据;摄像元件接口(I/F)113,用于控制CMOS112的驱动;麦克风112,用户 输入声音;扬声器,用于输出声音;声音输入输出接口(I/F)116,用于根据 CPU101的控制来处理麦克风114以及扬声器115之间的声音信号的输入输出; 显示器接口(I/F)117,用于根据CPU101的控制来向外设显示器120传送图像数 据;以及总线110,为如图2所示地电连接上述各个结构元件的地址总线或数 据总线等。

麦克风114以及扬声器115既可安装远程通信终端10的主机中,也可在远 程通信终端10上设有连接声音输入束出接口116的麦克风用连接端子以及扬 声器用连接端子,用以外设麦克风和扬声器。这样能够在离开远程通信终端 10的位置进行集音或输出声音,针对麦克风和扬声器的选择以及设置等状况 随机应变。

如图2所示,麦克风114a为外设麦克风,扬声器115a亦为外设。

一部分上述操作按钮108用于麦克风的静音按钮。该静音按钮在使用内藏 麦克风114的情况下用于设定静音状态。

而在使用外设麦克风114a的情况下,通常利用设于该麦克风114a中的静 音按钮114b来设定静音状态。对此将在以后详细叙述。

在使用外设麦克风114a时,设外设麦克风114a的输入以及静音按钮114b 有效,并设主机内藏麦克风114的输入和设于主机中的静音按钮的输入为无 效。

上述操作按钮108的另一部分按钮用于扬声器的音量调节按钮。外设扬声 器115a中也设有音量调节按钮115b。

该外设音量调节按钮115b还可兼用于静音实行的操作键。对此将在以后 详细叙述。

与麦克风114相同,在使用外设扬声器时,设外设扬声器115a的输出以及 音量调节按钮115b有效,并设主机内藏扬声器115的输入和设于主机中的音量 调节按钮的输入为无效。

麦克风114a以及扬声器115a的连接端子使用USB规格的端子。

关于主机中的静音按钮和音量调节按钮,在本实施方式中分别设定内藏 麦克风114以及扬声器115为无效,但是也可设定为有效。

存储介质106被构成为可在远程通信终端10上装卸。而且,该存储介质106 如果是根据CPU101的控制来进行数据读取或写入的非易失性存储器,则不仅 可以使用闪存104,还可以使用电可擦可编程ROM(EEPROM)等。进而,COMS112 是进行光电转换将被摄体图像或映像电子化的固体摄像元件,但是,拍摄被 摄体的并不局限于CMOS,还可以使用电荷耦合器件图像转换器(CCD)等。另外, 显示器11以液晶或有机电致发光(EL)形成,用于显示被摄体的图像或操作用 图标等。

进而,上述远程通信终端用程序为可安装格式或可实行格式的文件,还 可以存放到上述存储介质106等计算机可读存储介质中出售。

图3是本发明实施方式之一所涉及的远程通信终端10的外观图。如图3所 示,远程通信终端10具有筐体1100、臂1200、以及照相机框架1300。 筐体1100的后侧面1110上设有以多个吸气孔构成的吸气面(未图示), 筐体1100的前侧面1120上设有以多个排气孔构成的排气面1121。

这样,通过筐体1100中的内藏冷却扇驱动,可经由筐体1100上的吸气面 1110从远程通信终端10前方吸入外部空气,并经由排气面1121向远程通信终 端10的后方排气。

筐体1100的右侧面1130中设有集音孔1131,用于收集下述内藏型麦克风 114发出的声音。

筐体1100的右侧面1130上设有麦克风用以及扬声器用的USB规格连接端 子1132,用于将外设麦克风114a和外设扬声器115a连接到声音输入输出接口 (I/F)116上。

筐体1100的左侧面1140设有连接外设显示器11和显示器接口(I/F)117的 未图示连接端子。

筐体1100的右侧面1140上设有操作面板1150。该操作面板1150上设有操 作键108、以及下述电源开关109,同时还设有具有多个声音输出孔的出音面 1151,用于输出内藏型扬声器115输出的输出声音。

筐体1100的左侧面1140设有收纳部1160,该收纳部1160形成为凹部,用于 收纳臂1200以及照相机框架1300。

臂1200用铰链1210装设在筐体1100上,可相对于筐体1100上下左右转动, 转动角θ1为向上135°范围以内,转动之后可以保持在预定位置。图3显示了 该臂1200被保持在转动角多θ1为90°位置。

照相机筐体1300中设有CMOS112,该照相机筐体1300可通过铰链1310在上 下左右转动。转动后可以保持到预定位置。

照相机筐体1300相对于臂1200的转动范围为,当图3所示照相机筐体1300 相对于筐体1100的前方状态为0°时,水平转动角度θ2的范围为180°,而且 当照相机筐体1300以水平状态为0°时,垂直转动角度θ3的范围为±45°。

图4是本发明实施方式之一所涉的远程通信管理系统的硬件结构图。远程 通信管理系统50包括:CPU201,用于控制远程通信管理系统50整体的动作; ROM202,用于保存远程通信管理用程序;RAM103,用于作为CPU201的工作区 域;HD204,用于保存各种数据;硬盘驱动器即HDD205,用于按照CPU201的控 制来控制HD204中各种数据的读取或写入;介质驱动器207,按照CPU101的控 制来控制闪存等存储介质206中各种数据的读取以及写入;显示器208,用于 表示游标、菜单、窗口、文字或图像等各种信息;网络接口(I/F)209,利 用下述通信网络2传送数据;键盘211,具有多个键,用于输入文字、数据、 各种指示等;鼠标212,用于进行各种指示的选择或实行、处理对象的选择、 游标移动等;CD-ROM驱动器214,用于控制作为一例可装卸存储介质的光盘驱 动器即CD-ROM213中的各种数据的读取或写入;以及,总线210,为如图4所示, 电连接上述各个结构元件的地址总线或数据总线等。

上述远程通信管理用程序为可安装格式或可实行格式的文件,还可以存 放到上述存储介质206或CD-ROM213等计算机可读存储介质中出售。

中继装置30具有与上述远程通信管理系统50相同的硬件结构,为此省略 说明。但是,ROM202中保存用于控制中继装置30的中继装置用程序。此时, 中继装置用程序也是可安装格式或可实行格式的文件,还可以存放到上述存 储介质206或CD-ROM213等计算机可读存储介质中出售。

进而,程序提供系统90具有与上述远程通信管理系统50相同的硬件结构, 为此省略说明。但是,ROM202中保存用于控制程序提供系统90的程序提供系 统用程序。此时,程序提供系统用程序也是可安装格式或可实行格式的文件, 还可以存放到上述存储介质206或CD-ROM213等计算机可读存储介质中出售。 关于其它上述可装卸存储介质还可构成为,如存放到可录光盘即CD-R、 数字多功能盘即DVD、蓝光盘等计算机可读的存储介质中来提供。

《功能结构》

下面说明本实施方式的功能结构。图5构成发明本实施方式之一所涉及的 远程通信系统的各个终端、装置以及系统的功能模块图。在图5中,远程通信 终端10、中继装置30、以及远程通信管理系统50之间通过通信网络2连接,可 进行数据通信。图1所示的程序提供系统90与电视会议的通信没有直接关系, 因此图5中省略表示。

<远程通信终端功能结构>

远程通信终端10包括收发信部11、操作输入接受部12、登录要求部13、 摄像部14a、图像显示控制部14b、声音输入部15a、声音输出部15b、最终选 定部16、延迟检测部17、静音处理部18、以及存储及读取处理部19。

静音处理部18实行静音处理,包括处理部18a、判断部18b、状态管理部 18c、存储部19d、模式转换部18e、登录部18f、以及监视部18g。

这些部均为图2所示的各个构成元件中的任意元件根据ROM102中保存的 程序,按照CPU101的指令进行动作所实现的功能。远程通信终端10还包括以 图2所示的SSD105构成的存储部1000。

(远程通信终端的各个功能部)

下面详细说明远程通信终端10的各个功能部。远程通信终端10中的收发 信部11的功能由图2所示的网络接口111实现,其经由通信网络2与其他终端、 装置或系统之间进行各种数据或信息的收发信。操作输入接受部12的功能由 图2所示的操作键108以及电源开关109来实现,其接受用户的各种输入。例如, 当用户接通图2所示的电源开关109时,图5所示的操作输入接受部12收到电源 接通要求,接通电源。登录要求部13的功能可根据图2所示的CPU101的指令来 实现。在收到上述电源接通要求后,收发信部11经由通信网络2自动向远程通 信管理系统50发送表示要求登录的登录要求信息、以及发出要求的终端的当 前的IP地址。

摄像部14a是通过图2所示的CMOS112以及摄像元件接口113实现功能,其 拍摄被摄体后输出该拍摄取得的图像数据。映像显示控制部14b由图2所示的 显示器接口117实现其功能,控制向外设显示器发送图像数据。

声音输入部15a是由图2所示的麦克风114或外设麦克风114a和静音按钮 114b双方、进而声音输入接口116实现的功能,其用输入用户的声音,并将声 音转换为声音信号进行信号处理,而后输入有关该声音信号的声音数据。

声音输出部15b由图2所示的扬声器115或外设扬声器115a和音量调节按 钮115b双方、进而声音输入输出接口116实现的功能,对关声音数据的声音信 号进行信号处理,将声音信号转换为声音输出。关于声音输入部15a和声音输 出部将在以下详细叙述。

最终选定部16是由计测部16a、计算部16b、以及最终选择部16c根据图2 所示的CPU101的指令实现的功能,其进行最终选定处理,从多个中继装置30 中最终选定一个中继装置30。其中,每当收发信部11收到事先送信信息时, 计测部16a对收发信部11收到事先送信信息的收信日期和时间进行计时。而后, 计算部16b根据计时得到的收信日期和时间与包含在该事先送信信息之中的 发送日期和时间之间的差,对每个经过计测部16a计时的事先送信信息,计算 事先送信信息发送与接收之间的所要时间。进而,最终选择部16c根据计算部 16b算出的进行中继所要时间,选择进行中继所要时间为最短的事先送信信息 的中继装置30,将其作为最终选择的一个中继装置。

延迟检测部17是按照图2所示的CPU101的指令来实现的功能,其检测其他 远程通信终端10经由中继装置30送到图像数据或声音数据的延迟时间(ms)。 存储及读取处理部19是由图2所示的SSD105实现的功能,实行存储部1000中的 各种数据的保存处理或存储部1000中保存的各种数据的读取处理。该存储部 1000中保存用于识别远程通信终端10的终端ID、密码、以及图像数据和声音 数据等。

本实施方式的终端I D以及下述中继装置I D分别为用于毫无疑义地识别远 程通信终端10以及中继装置30而使用的言语、文字、标记、或各种标示等识 别信息。终端ID以及中继装置ID还可以是上述言语、文字、标记、或各种标 示之中的至少两种以上组合形成的识别信息。在以下的说明中,称发出电视 会议开始要求的远程通信终端10为“要求终端10A”,并称接受要求的远程通 信终端10为“收信终端10B”。

静音处理部18实行远程通信终端10的静音处理,其各个部如下。

处理部18a管理有关静音的所有处理,包括外设麦克风114a的静音功能, 取得外设麦克风114a的静音功能信息,取得自终端状态通知对象的他终端信 息,并指示通知状态管理部18c等。此外,处理部18a还控制未登录外设麦克 风114a的信登录。

判断部18b判断声音输入部15a的类型,例如,判断麦克风114a的类型, 或确认消音状态即静音状态。

状态管理部18c实行有关自终端的静音状态的取得、以及将有关自终端的 静音状态等通知向他终端的管理等。

存储部18d保存表示麦克风类型的登录信息或有关静音的设定信息以及 静音状态等。

模式转换部18e在电视会议中实行外设麦克风114a的静音状态通知模式 与外设麦克风114a的登录处理之间的转换。

登录部18f在对未登录外设麦克风114a进行登录时,测定麦克风的特性, 并进行登录处理。

监视部18g监视声音输出部的输出音量是最小状态还是该状态以外的音 量状态,并在音量状态发生变化时将该信息送往状态管理部18c。

下面参考图6A和图6B说明声音输入部15a和声音输出部15b。

图6A显示声音输入部15a,此时显示连接了外设麦克风114a。

声音输入部15a中以回波消音器(echo canceler)15a1、降噪器(noise  reduction)15a2、回波抑制器(echo suppressor)15a3、自动增益控制15a4、 以及静音开关15a5,来对从外设麦克风114a输入的信号进行各种处理。

回波消音器15a1将收到的自己的声音从对方的扬声器输出,并通过对方 的麦克风对该声音集音,而后返回到送信的自己方,从而消去自己的扬声器 发生的音响回波。关于回波消声器,使用国际电信联盟标准局(ITU-T, international telecommunication union telecommunication  standardization sector)推荐G.165中规定的规格。

降噪器15a2用于推测并衰减从周围的计算机、投影机、空调机等混入的 杂音信号,该处理采用众所周知的减谱法(Spectral Subtraction)来推测 并降低在音信号的音谱。

回波抑制器15a3设在回波消音器15a1之后,用于衰减残余的回波信号。 残余回波会影响到回波信号的非线形性、杂音、双向同时通话等,降低回波 消音器学习性能以及精度。关于回波抑制器,使用ITU-T推荐G.165中规定的 规格。

自动增益控制15a4对输入信号实行可变控制,其不论输入水准大小,始 终保持输出一定。具体为,在输入信号较弱时,提高感度,相反当输入信号 较强时,则减小感度,而后输出,以此使得输出始终保持一定。

静音开关15a5在收到外设麦克风114a的用户按动静音开关114b的接通 (ON)或断开(OFF)时,让通过回波抑制器15a3之后的信号通过,或切断通过 回波抑制器15a3之后的信号。

图6B显示声音输出部15b,此时连接外设扬声器115a。

声音输出部15b中,以线性回波消音器(line echo canceler)15b1、降 噪器15b2、回波抑制器15b3、自动增益控制15b4、以及音量调节控制15b5来 对输入信号作各种处理,经过处理之后,输入信号从扬声器115a输出。

线性回波消音器15b1通过消除IP或电话线中的线性回波来保证双向通话 时的良好的通话质量。关于线性回波消音器,使用ITU-T推荐G.165中规定的 规格。

声音输出部15b的降噪器15b2、回波抑制器15b3、自动增益控制15b4分别 与声音输入部15a的降噪器(noise reduction)15a2、回波抑制器(echo supp ressor)15a3、自动增益控制15a4相同。

音量调节部15b5在收到用户操作音量调节按钮115b以改变音量后,改变 自动增益控制15b4处理后的信号的音量水准。

<中继装置的各种功能部>

下面说明中继装置30的功能。中继装置30包括送信部31、状态检测部32、 画质确认部33、改变画质管理部34、画质更改部35、以及存储及读取处理部 39。这些部均为图4所示各个结构元件中的任意元件根据ROM202中保存的中继 装置用程序、并按照CPU201的指令实现的功能或发挥功能的手段。中继装置 30还包括以图4所示的HD204构成的存储部3000。

(改变画质管理表)

存储部3000中包括以图8所示的改变画质管理表构成的改变画质管理数 据库3001。改变画质管理表中相关保存接收经过中继的图像数据的一方的收 信终端10的IP地址、以及该受到中继装置30中继的图像数据的质量。

在此说明本实施方式中的图像数据的图像分辨率。图7A显示以横向160 像素、纵向120像素构成的基础图像即低分辨率图像,图7B显示以横向320像 素、纵向240像素构成的中分辨率图像、图7C显示以横向640像素、纵向480 像素构成的高分辨率图像。当带域路径较窄时,只有基础图像的低分辨率图 像数据构成低画质图像数据受到中继,而当带域路径相对较宽时,基础图像 的低分辨率图像数据以及中分辨率的图像数据构成的中等画质图像数据受到 中继,而当通过宽带域时,基础图像的低分辨率图像数据、中分辨率的图像 数据、以及高分辨率图像数据构成的高质量图像数据皆受到中继。例如,图 八所示的改变质量管理表中,中继装置30对IP地址为“1.3.2.4”的收信终端 10进行图像数据的中继时,该受到中继的图像数据的画质为“高画质”。

<中继装置的各个功能部>

下面详细说明中继装置30的各个功能部。在以下对中继装置30的各个功 能部进行的说明中,还包括各个功能部与图2所示的各种功能结构的构成元件 中用于实现中继装置30各个功能的主要构成元件之间关系。

图5所示的中继装置30的收发信部31是由图4所示的网络接口209实现的 功能,其经由通信网络2实行与其它终端、装置、或系统之间的各种数据的收 发信。状态检测部32是按照图4所示的CPU201的指令实现的功能,其检测包括 该状态检测部32的中继装置30的动作状态。动作状态为“在线”、“离线”、 “通话中”、或“暂时中断”。

画质确认部33是按照图4所示的CPU201的指令实现的功能,其用收信终端 10B的IP作为检索键,来检索图8所示的改变画质管理数据库3001,并通过抽 取对应的中继图像数据的质量,来确认将被中继的图像数据的质量。

改变画质管理部34是按照图4所示的CPU201的指令实现的功能,其基于来 自远程通信管理系统50的、将在以下说明的画质信息,来更改改变画质管理 数据库3001的内容。例如,在终端ID为“01aa”的要求终端10aa、与终端ID 为“01db”的收信终端10db之间举行电视会议并收发高质量图像数据的期间 中,因另一电视会议的要求终端bb与收信终端10ca之间经由通信网络2召开电 视会议,造成收信终端即终端db中发生图像数据收信延迟,此时,中继装置 30将正在中继的图像数据的质量从高画质降低到中画质。此时,根据表示中 画质的画质信息,改变画质管理数据库3001的内容发生变化,使得中继装置 30将正在中继的图像数据的质量从高画质降低到中画质。

数据画质更改部35是按照图4所示的CPU201的指令得以实现的功能,其基 于上述更改后的改变画质管理数据库3001的内容,改变来自送信终端10的图 像数据的质量。

存储及读取部39是由图4所示的HDD205实现的功能,其实行存储部3000 中各种数据的保存处理、或存储部3000中各种数据读取处理。

<远程通信管理系统的功能结构>

以下说明远程通信管理系统50的功能。远程通信管理系统50包括收发信 部51、终端认证部52、状态管理部53、终端抽取部54、终端状态取得部55、 初级选定部56、时域管理部57、画质决定部58、存储及读取部59、延迟时间 管理部60、以及短信传达部61。

这些部均为图4所示各个结构元件中的任意元件按照ROM202中保管的程 序,并根据CPU201的指令动作所实现的功能或发挥该功能的手段。远程通信 管理系统50包括以图4所示的以HD204构成的存储部5000。

(中继装置管理表)

存储部5000中具有图9所示的以中继装置管理表构成的中继装置管理数 据库5001。该中继装置管理表中将每个中继装置30的中继装置ID与中继装置 30的动作状态、远程通信管理系统50收到的表示动作状态的状态信息的收信 日期及时间、中继装置30的IP地址、以及中继装置30中的最大数据传送速度 (Mbps)相关保存,并对其进行管理。例如,在图11所示的中继装置管理表 中,中继装置ID为“111a”的中继装置30a的动作状态为“在线”,远程通 信管理系统50收到状态信息的收信日期及时间为“2009年11月10日13点钟00 分”,该中继装置30a的IP地址为“1.2.1.2”,该中继装置30a中的最大数据 传送速度为“100Mbps”。

(终端认证管理表)

进而,存储部5000中保存如图10所示的以终端认证管理表构成的终端认 证管理数据库5002。在该终端认证管理表中所有受远程通信管理系统50管理 的远程通信终端10的登录ID分别与各自的密码相关保存。例如,图10所示的 终端认证管理表中远程通信终端10aa的终端I D为“01aa”,密码为“aaaa”。

(终端管理表)

另外,存储部5000中保存如图11所示的以终端管理表构成的终端管理数 据库5003。该终端管理表中,每个远程通信终端10的终端ID分别与以下参数 相关,即各个远程通信终端10的动作状态、远程通信管理系统50收到下述登 录要求信息的收信日期及时间、以及终端10的IP地址,并进行管理。例如, 如图11所示的终端管理表中,终端ID为“01aa”的终端10aa,其动作状态为 “在线”,远程通信管理系统50收到登录要求信息的收信时间为“2009年11 约10日13点40分”,该远程通信终端10aa的IP地址为“1.2.1.3”。

(收信名单管理表)

进而,存储部5000中保存如图12所示的以收信名单管理表构成的收信管 理数据库5004。该收信名单管理表中,将要求电视会议开始通话的要求终端 10A的终端ID与所有作为收信终端候被补登记了的收信终端10B的终端ID相关 保存并进行管理。例如,图12所示的收信名单管理表中,可以接受终端ID为 “01aa”的要求终端aa要求开始电视会议通话的收信终端10B的候补有以下三 个终端:终端ID为“01ab”的远程通信终端10ab、终端ID为“01ba”的远程 通信终端10ba、以及终端ID为“01db”的远程通信终端10db。收信终端10B 的候补可以根据任意要求终端10A向远程通信管理系统50发送的增删要求来 增加或删除,更新收信名单管理表。

(时域管理表)

另外,存储部5000中保存如图13所示的以时域管理表构成的时域管理数 据库5005。该时域管理表中,将实行选择中继装置30的时域时使用的选择用 时域ID与以下参数相关保存并管理:用于中继图像数据以及声音数据的中继 装置30的中继装置ID、要求终端10A的终端ID、收信终端10B的终端ID、收信 终端10B收到图像数据时的收信的延迟时间(ms)、以及远程通信管理系统50 收到收信终端10B发送的表示该延迟时间的延迟信息的收信日期和时间。例如 图13所示的时域管理表中显示了,在以选择用时域ID“se1”实行的时域中选 择的中继装置30a的中继装置ID为“111a”,该中继装置30a在终端ID为“01aa” 的要求终端10aa、与终端ID为“01db”的收信终端10db之间中继图像数据和 声音数据,收信终端10db在“2009年11月10日14点00分”收到图像数据,该 图像数据收到时的延迟时间为200(ms)。如果实在两个远程通信终端10之间 举行电视会议,则除了上述收信终端10B以外还可以根据要求终端10A发送的 延迟信息来管理延迟信息的收信日期及时间。但是,在三个远程通信终端10 之间举行电视会议的情况下,则需要根据收信终端10A发送的延迟信息来管理 延迟信息的收信日期及时间。

(地址优先度管理表)

存储部5000中保存以图14所示的地址优先度管理表构成的地址优先度管 理数据库5006。该地址优先度管理表中,利用普通IPv4中的IP地址中的四组 点地址(Dot Address)部分中的“同”越多地址优先度的点数越高的相关关 系来进行管理。例如,图14所示的地址优先度管理表中,对于从点地址上位 到下位之间有三个值相同的IP地址,其地址优先度的点数为“5”。而对于点 地址从上位到下位之间有两个值相同的IP地址,其地址优先度的点数为“3”。 此时,最下位的点地址的值是否相同与优先度无关。进而,对于点地址的最 上位的值相同,而自最上位起第二个值不同的IP地址,其地址优先度的点数 为“1”。此时,自最上位起第三个点地址以及最下位的点地址的值是否相 同与优先度无关。对于点地址最上位的值不同的IP地址,其地址优先度的点 数为“0”。此时,自最上位起第二、第三、以及最下位的点地址的值是否相 同与优先度无关。

[0124]

(传送速度优选度管理表)

保存在存储部5000中的优先度管理数据库5006中还包括如图15所示的传 送速度优先度管理表。该传送速度优先度管理表中,将最大数据输送速度与 输送优先度相关保存,从而使得中继装置30中最大数据传送速度的值越大, 其传送速度优先度的点数越高。例如,在图15所示的传送速度优先度管理表 中,当中继装置30中最大数据传送速度为1000Mbps以上时,传送速度的优先 度点数为“5”。而当中继装置30中最大数据传送速度为100Mbps且小于 1000Mbps时,则传送速度的优先度点数为“3”。而当中继装置30中最大数据 传送速度为10Mbps且小于100Mbps时,传送速度的优先度点数为“1”。中继 装置30中最大数据传送速度为小于10Mbps时,传送速度的优先度点数为“0”。

(画质管理表)

存储部5000中保存以图16所示的画质管理表构成的画质管理数据库 5007。该画质管理表中,将图像数据的延迟时间与图像数据的质量即画质相 关,使得要求终端或收信终端中的图像数据的延迟时(ms)越长,图像数据 的画质越是下降。

<远程通信管理系统的各个功能部>

下面详细说明远程通信管理系统50的各个功能部。在以下远程通信管理 系统50的各个功能部的说明中还包括各个功能部与图4所示的各个构成元件 中用于实现远程通信管理系统50的各个功能部的主要构成元件之间的关系。

收发信部51是由图2所示的网络接口209实现的功能,其经由通信网络2 与其他终端、装置或系统之间进行各种数据或信息的收发信。

终端认证部52以经由收发信部51收到的登录要求信息中的终端ID以及密 码作为检索键,来检索存储部5000的终端认证管理数据库5002,判断终端认 证管理数据库5002中是否保存了相同的终端ID以及密码,进行终端认证。

状态管理部53对将要求登录的要求终端10A的终端ID、动作状态、远程通 信管理系统50收到登录要求信息的日期及时间、以及该要求终端的ID地址相 关后保存到终端管理DB5003中的终端管理表(参见图11)中,用以对该要求 终端的动作状态进行管理。

终端抽取部54以要求登录的要求终端10A的终端ID为检索键,来检索收信 名单管理数据库5004(参见图12),并读取能够与要求终端10A远程通信的收 信终端10B的候补的终端ID来抽取终端ID。另外,终端抽取部54还以要求登录 的要求终端的终端ID为检索键,检索收信名单管理数据库5004(参见图12), 抽取上述要求终端10A作为收信终端候补登录了的收信名单管理数据库5004 中的其他要求终端10A的终端ID。

终端状态取得部55以上述终端抽取部54抽取的收信终端候补的终端ID为 检索键,来检索终端管理数据库5003(参见图11),读取每个由上述终端抽 取部54抽取的终端ID的动作状态。这样,终端状态取得部55取得能够与要求 登录的要求终端进行远程通信的收信终端10B的候补的动作状态。另外,终端 状态取得部55还以上述终端抽取部54抽取的终端ID为检索键,来检索终端管 理数据库5003,并取得要求登录的要求终端10A的动作状态。

初级选定部56进行最终选定处理前的初级选定处理,以帮助实行最终选 定处理,从多个中继装置30中最终选定一个中继装置30。一次选定部56包括 选择用时域ID生成部56a、终端IP地址抽取部56b、初级选择部56c、以及优先 度决定部56d。其中,选择用时域ID生成部56a生成用于实行选择中继装置30 的时域的选择用时域ID。终端IP地址抽取部56b根据包含在要求终端发送的开 始要求信息中的要求终端的终端ID以及收信终端的终端ID,来检索终端管理 数据库5003(参见图11),分别抽取对应的远程通信终端10的IP地址。初级 选择部56c从中继装置管理数据库5001(参见图9)中记录的中继装置30内,选 择动作状态为“在线”的中继装置30的中继装置ID,来进行中继装置30的选 择。

初级选择部56c根据上述终端ID地址抽取部56b抽取的要求终端10A的IP 地址以及收信终端10B的IP地址,检索中继装置管理数据库5001(参见图9), 对上述被选中的中继装置30的IP地址的点地址进行调查,调查上述要求终端 10A以及收信终端10B的各个IP地址中的点地址的异同。进而,初级选择部56c 将每个中继装置30的地址优先度的点数比远程通信终端10的地址优先度点数 高的中继装置的地址优先度的点数、与传送速度优选度的点数进行合计,并 选择该合计点数较高的上位2个中继装置30,以此来进一步选择中继装置30。

本实施方式选择了点数最高的两个中继装置30,但本发明并不局限于此, 如能够选择更多的中继装置30,还可以选择三个以上点数最高的中继装置30。

优先度决定部56d参考优先度管理数据库5006(参见图14),决定上述一 次选择部56c查到的每个中继装置30的地址优先度的点数。此外,优先度决定 部56d还根据中继装置管理数据库5001(参见图9)中保存的各个中继装置30 的最大数据传送速度,来检索优先度管理数据库5006(参见图15),由此决 定上述初级选择部56c在第一次删选处理中选中的各个中继装置30的传送速 度优先度的点数。

接着,时域管理部57将选择用时域ID生成部56a生成的时域ID、要求终端 的终端ID、以及收信终端的终端ID相关保存到存储部5000的时域管理数据库 5005(参见图13)中进行管理。此外时域管理部57还在时域管理数据库5005 (参见图13)中还对每个选择用时域ID,保存并管理远程通信终端10的最终 选择部16c最终选定的一个中继装置30的中继装置ID。

质量决定部58以上述延迟时间为检索键,来检索画质管理数据库5007(参 见图16),并通过抽取对应图像数据的画质,来决定由中继装置30中继的图 像数据的画质。

存储及读取处理部59是由图4所示的HDD205实现的功能,其在存储部5000 中实行各种数据的保存、或实行存储部5000中保存的各种数据的读取处理。 延迟时间管理部60以上述收信终端10B的IP地址为检索键,来检索终端管理数 据库5003(参见图11),抽取对应的终端ID,进而,将所述延迟信息表示的 延迟日期及时间保存到时域管理数据库5005(参见图11)中包含上述抽取的 终端ID的记录中的延迟时间区域部分上。

当远程通信管理系统50的收发信部51收到各个远程通信终端10发送的短 信如关于静音的通知后,短信传达部61进行以下管理,即解析该短信内容, 并将该短信送往收信的远程通信终端10。

先用图17说明管理状态信息的处理。该状态信息是表示各个中继装置30 向远程通信管理系统50发送的中继装置30状态的信息。首先,图5所示的各个 中继装置30中的状态检测部32定期检测各自的装置本身的动作状态(S1-1至 S1-4)。而后,为了在远程通信管理系统50中实时管理各个中继装置30的动 作状态,各个中继装置30的收发信部31经由网络2定期地向远程通信管理系统 50发送各自的状态信息(S2-1至S2-4)。这些状态信息中包含各个中继装置 30的中继装置ID、以及对应于该中继装置ID的中继装置30中的状态检测部32 检测到的的动作状态。本实施方式中的中继装置30a、30b、30d为正常动作且 处于“在线”,而中继装置30c虽然处于动作之中,但是由于实行中继装置30c 的中继动作的程序发生故障,因此处于“离线”状态。

接着,远程通信管理系统50中的收发信部51接收各个中继装置30发送的 状态信息,并通过存储及读取处理部59将对应于每个中继装置ID的状态信息 保存到存储部5000中的中继装置管理数据库5001(参见图9)中进行管理(步 骤3-1至3-4)。这样,在如图9所示的中继装置管理表中对每个中继装置ID 保存“在线”、“离线”、或“故障”中任一动作状态。此时,还对每个中 继装置ID保存远程通信管理系统50收到状态信息的收信日期及时间。进而, 如果中继装置30没有发送状态信息,则图9所示的中继装置管理表中各条记录 项内记录动作状态的区域部分以及记录收信日期及时间的区域部分表示为空 白或上一次收信时的动作状态以及收信日期及时间。

下面利用图18来说明远程通信终端10aa与10db之间开始远程通信之前的 准备阶段中的处理。首先,当用户指示图2所示的电源开关109接通后,图5 所示操作输入接受部12收到电源接通指令,设电源接通(步骤S21)。登录要 求部13在收到上述电源接通指令之际,从收发信部11经由通信网络2自动向远 程通信管理系统50发送表示登录要求的登录要求信息(步骤S22)。该登录要 求信息包含提出要求的自终端的远程通信终端10aa的终端ID以及密码。这些 终端ID以及密码通过存储及读取处理部19被从存储部1000中读取并送往收发 信部11。此外,当从终端10aa向远程通信管理系统50发送登录要求信息时, 收信一方的远程通信管理系统50可以掌握送信一方的远程通信终端10aa的IP 地址。

接着,远程通信管理系统50的终端认证部52将经由收发信部51收到的登 录要求信息中包含的终端ID以及密码作为检索键,检索存储部5000中的终端 认证管理数据库5002(参见图10),判断终端认证管理数据库5002中是否保 存了相同的终端ID以及密码,进行认证(步骤S23)。当该终端认证部52判断 保存了相同的终端ID以及密码,登录要求出自具有正当使用权利的远程通信 终端10时,状态管理部53将远程通信终端10aa的终端ID、动作状态、上述登 录要求信息的收信日期及时刻、以及远程通信终端10aa的IP地址相关保存到 终端管理数据库5003(参见图11)中(步骤S24)。由此,在图11所示的终端 管理表中保存了相关的终端ID“01aa”、动作状态“在线”、收信日期及时 间“2009.11.10.13:40”以及终端10aa的IP地址“1.2.1.3”。

远程通信管理系统50的收发信部51将表示上述终端认证部52的认证结果 的信息经由通信网络2送往发出上述登录要求的要求终端10aa(步骤S25)。 以下继续说明终端认证部52判断终端具有正当使用权力后的本实施方式。

远程通信管理系统50的终端抽取部54进行以下抽取,即以发出登录要求 的终端10aa的终端ID“01aa”作为检索键,检索收信名单管理数据库5004(参 见图12),读取能够与要求终端10aa通信的收信终端候补的终端ID(步骤S26)。 在此,被抽取的与要求终端10aa的终端ID“01aa”相对应的收信终端即终端 10ab、10ba、10db各自的终端ID分别为“01ab”、“01ba”、“01db”。

接着,终端状态取得部55以上述终端抽取部54抽取的送信终端候补的终 端ID“01ab”、“01ba”、“01db”为检索键,检索终端管理数据库5003(参 见图11),读取上述终端抽取部54抽取的对应于每个终端ID的动作状态(在 线、或离线、或中断),由此取得远程通信终端10ab、10ba、10db各自的动 作状态(步骤S27)。

而后,收发信部51将包含上述步骤S27中使用的检索键即终端ID“01ab”、 “01ba”、“01db”、以及分别与这些终端ID相对应的送信终端10ab、10ba、 10db各自的动作状态(离线、在线、在线)的收信状态信息,经由通信网络2 送往要求终端10aa(步骤S28)。这样,要求终端10aa能够掌握与该要求终端 通信的收信终端候补即终端10ab、10ba、10db各自的现时动作状态(离线、 在线、在线)。

进而,远程通信管理系统50的终端抽取部54以发出登录要求的要求终端 10aa的终端ID即“01aa”作为检索键,检索收信名单管理数据库5004(参见 图12)进行,抽取以上述要求终端10aa的终端ID即“01aa”为收信终端候补 登录在该收信名单管理表中的的其他要求终端的终端ID(步骤S29)。图12 所示的收信名单管理表中被抽取的其他要求终端的终端ID为“01ab”、 “01ba”、“01db”。

而后,远程通信管理系统50的终端状态取得部55以上述提出登录要求的 要求终端10aa的终端ID“01aa”为检索键,检索终端管理数据库5003(参见 图11)进行,取得该提出登录要求的要求终端10aa的动作状态(步骤S30)。

而后,收发信部51向上述步骤S29中抽取的与终端ID“01ab”、“01ba”、 “01db”相对应的远程通信终端10ab、10ba、10db中、终端管理数据库5003 (参见图11)之中动作状态为“在线”的终端10ba和10db发送收信终端状态 信息(步骤S31-1、S31-2),该收信终端状态信息包含上述步骤S30中取得的 要求终端10aa的终端ID“01aa”以及动作状态“在线”。收发信部51在向远 程通信终端10ba以及10db发送收信终端状态信息时,根据终端ID“01ba”和 “01db”来参阅图11所示的终端管理表中的终端IP地址。这样,便能够分别 向与提出登录要求的要求终端10aa通信的其他送信终端10db以及10ba传送上 述提出登录要求的要求终端10aa的终端ID“01aa”以及动作状态“在线”。

其他远程通信终端10进行与上述相同的处理,即与上述步骤S21相同,用 户设图4所示电源开关109接通后,图5所示操作输入接收部12收到电源接通指 令,而后,进行上述步骤S22至S31-1以及S31-2相同的处理,在此省略详细说 明。

接着利用图19说明中继装置30的选定处理。图19显示通过所有管理信息 用时域sei来收发各种管理信息。在本实施方式中,根据上述步骤28中收到的 收信终端的状态信息可得知,收信候补终端10中动作状态为在线的终端有终 端10ba以及10db,要求终端10aa至少能够与该终端10ba以及终端10db中的一 方进行远程通信。以下说明要求终端10aa的用户选择开始与收信终端10db远 程通信的情况。

首先,用户按动图2所示的操作键108并选择远程通信终端10db后,图5 所示的操作输入接受部12接收开始与收信终端10db开始远程通信的要求(步 骤S41)。而后,要求终端10aa的收发信部11向远程通信管理系统50发送包含 要求终端10aa的终端ID“01aa”以及收信终端10db的终端ID“01db”、且表 示希望开始远程通信的开始要求信息(步骤S42)。由此,远程通信管理系统 50的收发信部51在收到上述开始要求信息后,能够掌握发送信息的要求终端 10aa的IP地址“1.2.1.3”。

而后,根据开始要求信息中包含的要求终端10aa的终端ID“01aa”以及 收信终端10db的终端ID“01db”,状态管理部53改写终端管理数据库5003的 终端管理表(参见图11),将其中分别包含上述终端ID“01aa”和“01db” 的记录中表示动作状态的区域部分均改为“正在通话”(步骤S43)。此时, 要求终端10aa与收信终端10db之间虽然还未开始远程通信(通话),但已处 于通话状态,为此,如果出现其他远程通信终端10要求与该要求终端10aa或 者收信终端10db通话,将会输出表示正在通话的状态的声音或显示。

接着根据步骤S44~S48、以及步骤S61~S66说明实行选择中继装置30的 时域的处理。首先,选择用时域ID生成部56a生成选择用时域ID(步骤S44), 该选择用时域ID用于实行选择中继装置30的时域。而后,时域管理部57将上 述步骤44中生成的时域ID“se1”、要求终端10aa的终端ID“01aa”、以及收 信终端10db的终端ID“01db”相关保存到存储部5000的时域管理数据库5005 中(参见图13)中进行管理(步骤S45)。

下面根据中继装置管理数据库5001、终端管理数据库5003、以及优先度 管理数据库5006,远程通信管理系统50中的初级选定部56进行中继装置30的 初级选定,选择用于在要求终端10aa与收信终端10db之间进行中继的中继装 置30(步骤S46)。

在此利用图20进一步详细说明步骤S46中的处理。首先终端IP地址抽取部 56b根据要求终端10aa发送的开始通信信息中包含的要求终端10aa的终端ID “01aa”、以及收信终端10db的终端ID“01db”,检索终端管理数据库5003 (参见图11),抽取分别对应于终端10aa和终端10db的IP地址“1.2.1.3”和 “1.3.2.4”(步骤S46-1)。

接着,初级选择部56c在中继装置管理数据库5001(参见图9)中选择动 作状态为“在线”的中继装置30a、30b、30d的中继装置IP111a、111b、111d (步骤S46-2)。初级选择部56c根据上述步骤S46-1中抽取的要求终端10aa 的IP地址“1.2.1.3”以及收信终端“1.3.2.4”,检索中继装置管理数据库 5003(参见图9),确认上述步骤S46-2中选择的中继装置30a、30b、30d各自 的IP地址中的每个点地址是否与上述要求终端10aa以及收信终端10db各自的 IP地址“1.2.1.3”和“1.3.2.4”中的点地址相同(步骤S46-3)。

接着,优先度决定部56d参考优先度管理数据库5006(参见图14),决定 被在上述步骤46-3中确认的每个中继装置30a、30b、30d的地址优先度点数(步 骤S46-4)。图21的表格显示了该决定处理的结果。图21是显示在进行中继装 置30选定处理时的优先度的点数的计算状态的图。该图中针对每个中继装置 ID,显示了地址优先度点数、传送速度优先度点数、以及综合点数。地址优 先度点数被表示为相对于要求终端10aa的点数和相对于收信终端10db的点 数。综合点数为两个地址优先度点数中较大一方点数与传送速度优先度点数 的合计。

本实施方式中,对比中继装置30a的IP地址“1.2.1.2”和要求终端10aa 的IP地址“1.2.1.3”,其结果为“同.同.同.异”,为此如图21所示,地 址优先度点数为“5”。对比中继装置30a的I P地址“1.2.1.2”和收信终端10db 的IP地址“1.3.2.4”,其结果为“同.异.异.异”,因此,地址优先度点 数为“1”。对比中继装置30b的IP地址“1.2.2.2”和要求终端10aa的IP地址 “1.2.1.3”,为“同.同.异.异”,因此,地址优先度点数为“3”。对 比中继装置30b的IP地址“1.2.2.2”和收信终端10db的IP地址“1.3.2.4”, 为“同.异.同.异”,因此,地址优先度点数为“1”。进而,对比中继装 置30d的IP地址“1.3.2.2”和要求终端10aa的IP地址“1.2.1.3”,为 “同.异.异.异”,因此,地址优先度点数为“1”。对比中继装置30d的 IP地址“1.3.2.2”和收信终端10db的IP地址“1.3.2.4”,为“同.同.同.异”, 因此,地址优先度点数为“5”。

下面返回图20。优先度决定部56d根据中继装置管理数据库5001(参见图 9)中保存的中继装置30的最大数据传送速度,对优先度管理数据库5006(参 见图15)进行检索,决定每个上述步骤S46-2的第一次选定处理中选定的中继 装置30a、30b、30d的传送速度优先度点数(步骤S46-5)。本实施方式中的 中继装置30a的最大数据传送速度,如图9中所示,为100(Mbps),因而参考图 15所示的传送速度优先度可知,中继装置30a的传送速度优先度点数为3。与 此相同,中继装置30b的最大数据传送速度的计算结果为1000(Mbps),其传送 速度优先度点数为5。进而,中继装置30d的最大数据传送速度的计算结果为 10(Mbps),其传送速度优先度点数为1。

而后,初级选择部56c选择中继装置30a、30b、30d中综合点数较高的两 个上位中继装置30(步骤S46-6),该综合点数为相对于终端10aa以及10db 的地址优先度点数之中较高一方的点数和传送速度优先度点数的合计。在本 实施方式中如图21所示,中继装置ID111a、111b、111d对应的综合点数分别 为8、8、6,因此,选择中继装置ID分别为“111a”和“111b”的中继装置30a 和30b。

上述步骤S46-1至S46-6的选择处理结束后,图4所示的收发信部501经由 通信网络2向收信终端10db发送中继装置选择信息(步骤S47),该信息用于 传达上述被选中的中继装置30的数量,其中包括在上述步骤S46中选定的中继 装置30的数量“2”、要求终端10aa的终端ID“01aa”、以及上述时域ID“se1”。 由此,远程通信终端10db在选择用时域ID“se1”的时域的实行过程中,远程 通信管理系统50不但能够掌握中继装置30的数量、以及有没有要求希望与哪 一个远程通信终端10开始电视会议,而且还能够掌握发送中继装置选择信息 的远程通信管理系统50的IP地址“1.1.1.2”。

而后,远程通信终端10db从收发信部11经由通信网络2向远程通信管理系 统50发送表示上述中继装置选择信息收信完毕的收信结束信息(步骤S48)。 该收信结束信息中包含选择用时域ID“se1”。由此,远程通信管理系统50 不但能够掌握以选择用时域ID“se1”实行的中继装置数量的传达完毕,而且 还能够掌握发送信息的收信终端10db的IP地址“1.3.2.4”。

下面参考图22A和22B说明收信终端10db选择中继装置30的处理。首先, 远程通信管理系统50在开始电视会议之前分别向在上述步骤S46-1至S46-6选 定的中继装置30a、30b发送事先中继要求信息(步骤S61-1、S61-2)。该事 先中继要求信息表示要求中继,其包括时域ID“se1”、要求终端10aa的IP 地址“1.2.1.3”、以及送信终端即终端10db的IP地址“1.3.2.4”。这样, 各个中继装置30a、30b便不但能够掌握是哪个时域的事先中继要求信息、哪 一个要求终端10A以及哪一个收信终端10B,而且还能够掌握发送事先中继要 求信息的远程通信管理系统50的IP地址“1.1.1.2”。

而后,各个中继装置30a、30b分别从收发信部31经由通信网络2向上述步 骤S61-1、S61-2中掌握的要求终端10aa提出,在开始通话电视会议之前向各 个中继装置30a、30b本身发送事先送信要求信息的要求,该事先送信要求信 息表示将要发送包含下述的ping(Packet Internet Groper)的事先送信信 息(步骤S62-1、S62-2)。该事先送信要求信息中包含时域ID“se1”。这样, 在以时域“se1”实行的中继装置30选择处理中,要求终端10aa不但能够掌握 向各个中继装置30a、30b发送了事先送信信息,而且,还能够掌握发送事先 送信要求的各个中继装置30a、30b的IP地址“1.2.1.2”以及“1.2.2.2”。

至于为什么远程通信管理系统50不是直接将收信终端即终端10db的IP地 址通知给要求终端,而是如上步骤S61-1中所述,将收信终端10db的IP地址通 知给中继装置30a,而后如上步骤S61-2中所述,由中继装置30要求要求终端 10aa向其本身即中继装置30发送事先送信要求信息,其目的在于确保安全, 避免各个终端10之间获悉其他终端10的IP地址。

接着,要求终端10aa从接收信部11经由通信网络2向各个中继装置30a、 30b发送事先送信信息(步骤S63-1、S63-2)。该事先送信信息先于图像数据 以及声音数据发送,经由各个中继装置30a、30b被送往收信终端10db,用于 测定从要求终端10aa发送到收信终端10db接收之间所要时间。该事先送信信 息包括以下内容:用于确认要求终端10aa、中继装置30a、30b、以及收信终 端10db之间已连接就绪可以进行通信的ping、从要求终端10aa发送的事先送 信信息的发送日期及时间、以及时域ID“se1”。这样,各个中继装置30a、 30b不但能够掌握在时域ID为“se1”的时域的实行中发送了事先送信信息, 而且能够掌握发送该事先送信信息的要求终端10aa的IP地址为“1.2.1.3”。

接着,各个中继装置30a、30b对上述步骤S61-1、S61-2收到的事先中继 要求信息中所包含的收信终端10db的IP地址“1.3.2.4”进行上述事先送信信 息的中继(步骤64-1、S64-2)。这样,收信终端10db在时域ID“se1”的时 域的实行中不但能够掌握事先送信信息,而且还能够掌握发送即中继该事先 送信信息的中继装置30a、30b的IP地址“1.2.1.2”、“1.2.2.2”。

接着,收信终端即终端10db的最终选定部16根据事先送信信息最终选定 一个中继装置30,该中继装置30用于中继电视会议通话中的图像数据以及声 音数据(步骤S65)。

在此,利用图5以及图23进一步详细说明步骤S65。首先,图5所示的最终 选定部16中的计测部16a对收信终端10db的收发信部11收到中继装置30a、30b 中继的每个事先送信信息时的收信日期即时间(步骤S65-1)进行计时。而后, 计算部16b根据上述计时得到的收信日期及时间与上述事先送信信息中所包 含的送信日期及时间之间的差,计算每个已完成收信日期及时间计测的事先 送信信息从发出到收到所要时间(步骤S65-2)。接着,最终选择部16c在时 域ID“se1”的时域的实行中,判断是否收到与预定进行中继的中继装置30 的个数“2”数量相当的所有事先送信信息(步骤S65-3)。如果还未全部收 到(否),则最终选择部16c判断收信终端10db在收到事先收信信息后经过的 时间是否超过预定时间(在此为1分钟)(步骤S65-4)。如果没有超过预定 时间(否),则返回上述步骤65-1。而如果在上述步骤S65-3中判断已收到所 有事先送信信息(是),或者,上述S65-4中判断已超过了预定时间(是), 则最终选择部16c选择一个中继装置30,该中继装置30以计算部16b计算的所 要时间之中最短所要时间来中继事先送信信息(步骤S65-5)。在本实施方式 中,用中继装置30a中继事先送信信息所要的送信与收信之间的时间比用中继 装置30b中继事先送信信息所要的时间短,因此,选择中继装置30a。

上述实施方式是在送信终端10db一方选择中继装置30,但本发明并不局 限于此,除此之外,本发明还可通过收信终端10db向要求终端10aa或远程通 信管理系统50发送所有的所要时间信息,该所要时间信息为收发事先送信信 息的所要时间,从而在要求终端10aa一方或远程通信管理系统50一方最终选 定一个中继装置30。

而后,收信终端10db从收发信部11经由通信网络2向远程通信管理系统50 发送选择信息,该选择信息表示已选择了中继装置30a(步骤S66),其中包 括时域ID“se1”、以及被选择的中继装置30a的中继装置ID“111a”。这样, 远程通信管理系统50在时域ID“se1”的时域的实行中,不但能够掌握选定了 中继装置30a,而且还能够掌握发送选择信息的收信终端10db的IP地址 “1.3.2.4”。

而后,在时域管理数据库5005的时域管理表(参见图13)中,远程通信 管理系统50的时域管理部57将上述最终选定的一个中继装置30a的中继装置 ID“111a”保存到包括时域ID“se1”的记录项内的中继装置ID的区域部分上 (步骤S67)。而后,远程通信管理系统50的收发信部51经由通信网络2向中 继装置30a发送中继开始要求信息(步骤S68)。该中继开始要求信息表示要 求开始中继,其中包括被中继的要求终端10aa以及收信终端10db各自的IP地 址“1.2.1.3”以及“1.3.2.4”。这样,中继装置30a能够确立用于在终端10aa 和10db之间以低分辨率、中分辨率、高分辨率的三个图像数据以及声音图像 数据进行通话的时域(步骤S69),从而在终端10aa和终端10db之间开始电视 会议。

在以上的说明中,步骤S47中远程通信管理系统50向收信终端10db发送中 继装置选定信息,同时,通过步骤S48~S64-1、S64-2,在收信终端10db一方 进行中继装置的选择处理(步骤S65)。但是,本发明并不局限于此。除此之 外,还可以在上述步骤S47中,通过远程通信管理系统50向要求终端10aa发送 中继装置选定信息,并在其后的步骤S48到S64-1以及S64-2中,将发送各种信 息的要求终端10aa和接收各种信息的收信终端10db互相交换。这样,便可以 在上述步骤S65中由要求终端10aa来实行中继装置的选择处理,另外,还可以 在S66中由要求终端10aa来发送选择信息。

下面,利用图5以及图24说明在要求终端10aa和收信终端10db之间进行电 视会议时的图像数据以及声音数据的收发信处理。首先,要求终端10aa将摄 像部14a拍摄的被摄体的图像数据以及从声音输入部15a输入的声音的声音数 据,从收发信部11经由通信网络2送往中继装置30a(步骤S81)。在本实施方 式中输送图7A~7C所示的低分辨率、中分辨率、高分辨率三种数据构成的高 质量图像数据以及声音数据。对此,在中继装置30a中收发信部31接收上述三 种分辨率的图像数据以及声音数据。而后,画质确认部33用收信终端10db的 IP地址“1.3.2.4”作为检索键,检索改变画质管理数据库3001(参见图8), 并通过抽取对应的中继图像数据的画质,来确认中继图像数据的画质(步骤 S82)。在本实施方式中,由于受到确认的图像数据的画质为“高质量”,并 且与收发信部31收到的图像数据的画质相同,因此中继装置30a将画质未经任 何改动的图像数据以及未经任何改动的声音数据送往收信终端即终端10db (步骤S83)。这样,收信终端10db的收发信部11收到低分辨率、中分辨率、 高分辨率三种数据构成的高质量图像数据以及声音数据。而后,显示控制部 14b在显示器120上显示基于上述图像数据的图像,同时声音输出部15b输出基 于声音数据的声音。

接着,远程通信终端10db的延迟检测部17每隔一定时间,如每隔1秒,检 测收发信部11收到的图像数据的收信延迟时间(步骤S84)。以下说明延迟时 间为200ms时的本实施方式。

收信终端10db的收发信部11经由通信网络2将表示延迟时间为“200(ms)” 的延迟信息送往远程通信管理系统50(步骤S85)。这样,远程通信管理系统 50便可在掌握延迟时间的同时,掌握发送延迟信息的终端10db的IP地址 “1.3.2.4”。

接着,远程通信管理系统50的延迟时间管理部60以上述收信终端10db的 IP地址“1.3.2.4”为检索键,检索终端管理数据库5003(参见图11),抽取 对应的终端ID“01db”,进而,在时域管理数据库5005中的时域管理表(参 见图13)中,将上述延迟信息中的延迟时间“200(ms)”保存到上述终端ID “01db”的记录项内的延迟时间的区域部分中(步骤S86)。

接着,画质决定部58以上述延迟时间“200(ms)”为检索键,检索画质管 理数据库5007(参见图16),抽取对应的图像数据的画质“中画质”,并决 定画质为“中质量”(步骤S87)。

而后,收发信部51在时域管理数据库的时域管理表(参见图13)中,以 与上述终端ID“01db”相关的中继装置ID“111a”为检索键,对中继装置管 理数据库5001(参见图9)进行检索,抽取对应的中继装置30a的IP地址 “1.2.1.2”(步骤S88)。而后,收发信部51经由通信网络2,将上述步骤S87 决定的表示图像数据的画质为“中画质”的画质信息送往中继装置30a(步骤 S89)。该画质信息中包括上述步骤S86中被当作检索键使用的收信终端10db 的IP地址“1.3.2.4”。这样在中继装置30a中,改变画质管理部34便将发送 信息的终端10(在此为终端10db)的IP地址“1.3.2.4”与受到中继的图像数 据的画质“中画质”相关保存到改变画质管理数据库3001(参见图8)进行管 理(步骤S90)。

而后,远程通信终端10aa继续进行与上述步骤S81同样的处理,即向中继 装置30a发送低画质、中画质、高画质构成的高质量图像数据以及声音数据(步 骤S91)。对此,与上述步骤S82相同,在中继装置30a中,画质确认部33以收 信终端10db的IP地址“1.3.2.4”作为检索键,对改变画质管理数据库3001 (参见图8)进行检索,并通过抽取对应的中继图像数据的画质“中画质”, 来确认受到中继的图像数据的画质(步骤S92)。在本实施方式中,被确认了 的图像数据的画质为“中画质”,其画质低于收发信部31收到的图像数据的 画质“高画质”,为此,画质更改部35改变图像数据的画质,将“高画质” 降低为“中画质”,从而更改了图像数据的图像质量(步骤S93)。

而后,收发信部31通过通话数据用时域,经由通信网络2,向远程通信终 端10db发送上述图像数据的画质被改为“中画质”的图像数据以及音质未经 改变的声音数据(步骤S94)。这样,当收到图像数据的收信终端10db中发生 收信延迟时,中继装置30a便改变图像的画质,以避免参加电视会议的人员有 不协调感觉。

以下说明时域建立之后的远程通信终端10之间在会议期间,麦克风114a 的静音被实行时的处理。

图25之后的附图中显示了远程通信终端10中实行麦克风114a的静音、并 通过网络2发送该静音信息的处理。在以下的说明中,设定远程通信终端10aa 中实行静音、并且发送静音信息,该远程通信终端10aa的识别标示即终端ID 为“01aa”、IP地址为“1.2.1.3”。

远程通信终端10aa登录之后开始会议,在此状态下,远程通信终端10aa 进行图25所示的以下处理。该远程通信终端10aa上外设麦克风114a。

1.在步骤S101-1中,静音处理部18的处理部18a取得声音输入部15a的麦克 风114a的麦克风名称。本实施方式中在Windows(登录商标)上实行该处 理,使用混音器API来取得麦克风名称。通常,麦克风名称表示麦克风的 类型,因此,属于相同类型的麦克风具有相同名称。

2.处理部18a将取得的麦克风名称转送到判断部18b,要求判断麦克风114a 的静音功能。

3.在步骤S101-2中,判断部18b检索以名单形式保存在存储部18d中的麦克 风数据,判断处理部18a要求的麦克风114a能否通知静音信息。图26A显 示一例麦克风数据,该图中登记了能够进行麦克风静音通知的麦克风名 称。

4.如果图26A中存在所取得的麦克风名称,判断部18b判断能够通知静音信 息,进入<1>的处理,而如果图26A中不存在麦克风名称,则判断不能 够通知静音信息,进入<2>的处理。关于<1>和<2>的处理将在以下 叙述。

5.<1>或<2>的处理结束后,进入步骤S101-3,处理部18参考图27的识 别标志,取得除其本身的识别标志01aa以外的其他识别标志,例如01ab~ 01bb,将该识别标志所对应的远程通信终端作为收信终端。图27中相关 保存了出席会议的其他终端的识别标志和静音状态,该数据用XMPP从远 程通信管理系统50发送。

6.而后,处理部18对5中取得的收信终端进行以下处理。

首先,在步骤S101-4中确认是否还存在需要处理的收信终端。

如果存在需要处理的收信终端,则进行以下7以后的处理。

如果不再存在需要处理的收信终端,则结束处理。

7.当S101-4中判断存在需要处理的收信终端时,进入步骤S101-5,处理部 18a要求状态管理部18c制作短信。据此,状态管理部18c制作如图28所示 的的短信,该短信基于按照RFC3921可扩展消息现场协议即时通讯(XMPP  IM,extensible messaging and Presence protocol:Instant Messaging  and Presence)的可扩展标志语言(XML)制作。

8.具体如下,在标签<presence>的属性“from”以及“to”中分别代入 自终端的识别标志以及收信终端的识别标志。在图28的示例中,自终端 的识别标志为01aa,受信终端的识别标志为01bb。而后将静音状态代入 标签<status>中。图28(a)~(c)中分别代入“MUTE_ON”、“MUTE _OFF”、“MUTE_NONE”,其分别表示静音状态为“静音ON”、“静 音OFF”、“没有静音功能”。此外,图28(a)~(c)中的标签<show> 的值均代入“CHAT”。

9.在步骤101-6中,当状态管理部18要求收发信部11发送上述8中制作的短 信后,收发信部11用XMPP向收信终端即远程通信终端10bb发送短信。

10.发信结束后,回到步骤101-4,确认是否还剩下需要处理的收信终端, 如果不再有需要处理的收信终端,则结束处理。

在上述实施方式中,收发信部11将其所处自终端的识别标志以及收信终 端的识别标识分别转换为IP地址并发送该IP地址。

另外,标签<presence>的属性“from”以及“to”中还可分别代入自 终端的IP地址以及收信终端的IP地址,此时不需要进行上述转换。

下面说明另一例有关发送短信的实施方式,该实施方式中远程通信终端 将短信送往远程通信管理系统,由该远程通信管理系统将该短信送往出席会 议的对方的远程通信终端。

图29显示了在这种情况下的一例短信,在标签<presence>的属性“from” 以及“to”中分别代入自终端的IP地址以及远程通信管理系统的IP地址,并 在标签<id>的值中代入自终端的识别标志。

当执行图25中的步骤S101-6,发送了上述短信之后,远程通信管理系统 50以收发信部5按照XMPP IM解析标签<presence>的“id”,参考图13的时 域管理表,确定01aa的收信终端为01db。而后参考图11的终端管理表,确定 01db的IP地址为“1.3.2.4”。

此后,短信传达部61制作以下短信,并要求收发信部51项特定的收信终 端发送该短信。

<presence from=“1.1.1.2”to=“1.3.2.4”>

<show>CHAT</show>

<id>01aa</id>

<status>MUTE_ON</status>

</presence>

上述短信中静音状态为“MUTE_ON”,而实际上是将标签<status>制作 为该标签<status>的值与发信终端发送的标签<status>的值相同。

这样,如图29所示,在标签<presence>的属性“from”以及“to”中 分别代入自终端的IP地址以及远程通信管理系统50的IP地址,远程通信管理 系统50便能够确定收信终端的IP地址并向该收信终端送信。

以下参考图30说明上述4的处理<1>。处理<1>是在按动声音输入部15a 的麦克风114a中所具有的静音按钮114b后可以进行麦克风静音通知时的处 理。

1.用户按动静音按钮114b后,处理部18a将会收到静音信息的通知。因此, 在步骤S105-1中,处理部18a判断是否收到该静音信息的通知。

2.当判断收到静音信息的通知时,进入步骤S105-2,处理部18a解析该静音 信息,判断收到的通知中的静音状态是否是ON。

3.当收到的通知中的静音状态为MUTE ON时(S105-2的是),进入步骤 S105-3,处理部18a要求状态管理部18c将图27中与识别标记01aa相对应 的静音状态改写为“MUTE_ON”。相反,当收到的通知中的静音状态不 是MUTE ON而是MUTE OFF时(S105-2的否),则进入步骤S105-4,处理部 18a要求状态管理部18c将图27中与识别标记01aa相对应的静音状态改写 为“MUTE_OFF”。

4.状态管理部18c结束上述要求的处理后转入图25的S101-3。

以下参考图31说明上述图25的处理<2>。处理<2>是在按动声音输入 部15a的麦克风114a中所具有的静音按钮114b后不能够进行麦克风静音通知 时的处理。

1.在步骤S106-1中,处理部18a要求判部18b参考保存在存储部18d中的图 26B所示的麦克风数据,根据该麦克风数据中的麦克风名称来检索在图25 的处理中取得的麦克风名称。

2.当判断部18b找到麦克风名称时(步骤S106-1的是),进入步骤S106-2, 从图26B的麦克风数据中取得与麦克风名称相对应的阀值x,而后转入3 即步骤S106-3。

而判断部18b如果没有找到麦克风名称(步骤S106-1的否),则进入步骤 S106-9,处理部18a将图27的识别标志01aa所对应的静音状态改写为“MUTE _NONE”,而后结束<2>的处理,转入图25的S101-3。

3.在步骤S106-3中,判断部18b以规定点数(例如以16点,标本化频率16kHz 时的时间长为1ms)测定通过图6所示的静音开关15a5后的声音信号水准。

4.判断部18b判断在S106-3中测定的所有声音信号水准是否均在规定的值 的范围以内。在本实施方式中,设数字形式为16比特并具有符号,与 S106-2中取得的阀值相比,判断该声音信号水准是否落在-x~x的范围之 中,例如在图26B中,如果使用的麦克风名称为“MIC3”,则此时x=3。 而后回答处理部18b判断结果。

5.在步骤S106-4中,如果判断结果为落在上述范围之内,也就是说,如果 范围以内的声音信号水准持续了规定时间(S106-4的是),则处理部18a 要求状态管理部18c进入S106-5,进行以下6的处理。相反(S106-4的否), 则要求进入S106-7,进行以下9的处理。

6.在步骤S106-5中,状态管理部18c参考存储部18d中与01aa对应的静音状 态(参见图27),判断是否为“MUTE_OFF”。如果判断结果为“MUTE_OFF” (S106-5的是),则进入S106-6,实行7的处理,而如果不是“MUTE_OFF”, 则返回上述3,回到S106-3。

7.在步骤S106-6中,状态管理部18c将静音状态改写为“MUTE_ON”,并答 复处理部18a分歧到图25的接下去的处理,即S103-3。

8.处理部18a在分歧到图25的下一个处理的同时,返回上述3,反复进行处 理。

9.在上述5的步骤S106-4中,如果判断结果为声音信号水准不在范围之中, 也就是说,声音信号水准未能在范围以内保持规定时间,则进入步骤 S106-7,状态管理部18c参考存储部18d中的01aa所对应的静音状态(参 见图27),判断静音状态是否是“MUTE_ON”。如果不是“MUTE_ON” (S106-7的否)则返回S106-3,反复进行上述3的处理。如果是“MUTE _ON”,则进入步骤S106-8。

10.在步骤S106-8中,状态管理部18c将静音状态改写为“MUTE_OFF”,并 答复处理部18a分歧到图25的接下去的处理,即S101-3。

11.处理部18a在分歧到图25的下一个处理的同时,返回上述3,反复进行处 理S106-3。

在上述4的处理中,对于阀值x,可预先测定所使用的麦克风的输入 最小水准,而后保存小于该水准的值。

在此,即便在取消静音开关15a5而使信号能够通过的状态下,而图6的麦 克风114a却能够进行音量调整时,如果麦克风的音量被设为最小值,则声音 信号水准变小,而如果该声音信号水准与静音开关15a5接通状态下的阀值相 同,则有可能无法判断静音状态。针对该问题,本实施方式将静音开关15a5 设为其他信号处理的最后阶段。这样便能够确保打开静音开关15a5时的声音 信号水准与取消静音开关15a5时的声音信号水准之间的区别。

以下参考图32说明远程通信终端10作为收信终端收到包括静音信息的短 信后的处理。本实施方式以识别标志为01bb的远程通信终端10接收短信为例 进行说明。

1.在步骤S107-1中,在收发信部11收到包括静音信息的短信后,处理部18a 要求状态管理部18c进行此后的处理。

2.在步骤S107-2中,状态管理部18c对收到的短信进行分析,从标签 <presence>>的“from”属性中取得发信终端的识别标志,并根据标 签<status>的值取得静音状态。在本实施方式中发信终端的识别标志 为01aa。而后,将图27中01aa所对应的静音状态改写为上述取得的静音 状态。

3.在步骤S107-3中,处理部18a判断改写后的静音状态是否是“MUTE_ON”, 如果是“MUTE_ON”(S107-3的是),则要求图像显示控制部14b显示识 别标志01aa以及MUTE_ON信息,而后结束处理。

4.如果步骤S107-3中,处理部18a判断结果为不是“MUTE_ON”(S107-3的 否),则进入步骤S107-5,进一步判断静音状态是否是“MUTE_NONE”, 如果是“MUTE_NONE”(S107-5的是),则进入步骤S107-6,要求图像显 示控制部14b显示识别标志01aa以及不能实行静音功能的信息,而后结束 处理。

5.而如果处理部18a判断静音状态不是“MUTE_NONE”(S107-5的否),则 进入步骤S107-7,要求图像显示控制部14b进行识别标志01aa的显示以及 静音信息的非显示,而后结束处理。

关于上述处理3至5中所述的画面的显示/非显示的控制,可利用公知的画 面布置功能来实现。即制作静音信息的显示/非显示用布置,该布置不同于中 继装置30发送的动画布置。该布置可与动画布置重叠显示在会议画面上,以 表示静音信息。

图33是显示器11上显示的与图27对应的显示例。此时,识别标志01aa为 “MUTE_ON”,因此显示器11上显示了表示该静音信息的图标和识别标志。 识别标志01ab为“MUTE_OFF”,此时01ab的静音信息的图标如果已显示, 则将该图标改为非显示。

识别标志01ba为“MUTE_NONE”,此时显示表示该静音信息的灰色图标和 识别标志。

在上述实施方式中,即便远程通信终端10中没有安装要使用的麦克风 114a的设备驱动器等来应对静音信息的功能,也能够通过麦克风114a向出席 会议的对方显示静音信息,使会议能够顺利进行。例如,对方在突然听不到 声音时,可以了解到原因并不在于故障,而是因为实行静音功能。

而且,不需要开发远程通信终端10专用的设备驱动器,节省了开发成本。 进而,由于不需要设备驱动器,因此用户可以根据自己的喜好来选择用 于远程通信终端10的麦克风,方便了用户。

下面说明远程通信终端10从电视会议模式转换到外设麦克风的登陆模 式,进行新的未登陆麦克风的登录处理。

图34是远程通信终端10启动后,图像显示控制部14b在显示器11上显示的 菜单画面。该画面上的菜单可通过操作输入接受部12的操作按钮107将游标移 动到所要的项目上,而后以回车键输入选择信息。以下将进行该输入的状态 称为“选择”。

此时,如果选择“开始会议”项目,则通过静音处理部18的模式转换部 18e”开始电视会议模式,并且在会议中麦克风被设为静音时,向对方的远程 通信终端10发送静音状态的信息。

另一方面,如果选择图34中的“登陆麦克风”项目,则在远程通信终端 10中静音处理部18的登陆部18f进行图35所示的处理。

1.在步骤S202-1中,处理部18a取得安装在声音输入部15a上的麦克风名称。 而后,登陆部18f要求处理部18a显示如图36所示的对话画面,并设定登 陆部18f的取得可能旗为“不可”。该取得可能旗表示能否取得麦克风静音信 息,能够取得时设为“可”,不能够取得时设为“不可”。

2.在步骤S202-2中,如果检测到用户在图36所示的对话画面中选择取消键, 则返回图34的菜单画面,结束处理。

用户选择取消键的理由通常为,需要登陆没有静音按钮即没有静音功能 的麦克风114a,或者终止麦克风登陆等情况。

3.另一方面,如果麦克风114a具有静音按钮114b,则在步骤S202-2中,用户 按照图36所示对话画面的指示,按下麦克风114a上附属的静音按钮114b, 进而按OK键,处理得以继续进行(S202-2的是),进入步骤S202-3,登陆 部18f判断可否取得麦克风静音信息。用户在按动静音按钮114b后选择对 话画面上的OK键。

此时是通过登陆部18f实际取得表示静音按钮114b被按下的麦克风静音 信息,来判断能否取得麦克风静音信息。如果登陆部18f能够取得麦克风静音 信息,则设取得可能旗为“可”。

登录部18f要求处理部18a取消图36的对话画面,当取得可能旗为“可” 时(S202-3的是),进入处理<3>,而取得可能旗为“不可”是(S202-3 的否),进入处理<4>。

4.处理<3>或处理<4>结束后,登陆部18f要求处理部18a显示图37的对话 画面。

在S202-4中,如果检测到用户选择该对话画面中的OK键,则移动到图34 的菜单画面后结束。

本实施方式在Windows(登录商标)上进行上述处理,上述处理1以及处 理4通过使用音响混和器API得以实现。

图38是用于说明处理<3>的流程图。在处理<3>中,当可以取得麦克 风静音信息,即取得可能旗为“可”时,如果登录部18f检测到按下图36的OK 键,则要求处理部18a取消对话,并在存储部18d中的麦克风数据中增加在图 35的步骤202-1中取得的麦克风名。例如,当取得麦克风名称为“MIC2”时, 在图26A所示的麦克风名名单中增加所取得的麦克风名称“MIC2”。该图显示 已经登陆了麦克风名“MIC1”,在此之后增加“MIC2”。

上述数据作为有关可以发送麦克风静音信息的麦克风的数据,将在图25 的处理中用于参考。

以下参考图39说明处理<4>的流程。

1.在不能取得麦克风静音信息即取得可能旗为“不可”的情况下,在登录 部18f检测到图36的OK键被选择后,要求处理部18a取消对话并移动到下 一个处理。

2.在步骤S206-1中,取得并保存从麦克风114a输入的当前的音量,而后将 该音量设为最大。

通过将音量设为最大,便不必保存每一种麦克风在5的处理中使用的预定 值。也就是说,通过充分确保当麦克风114a不处于静音状态时的输入水准, 来使得预定值成为任何麦克风都能使用的值。该处理利用Windows(登录商标) 的音响混和器API得以实现。

3.以预定时间例如5秒测定经数字处理后的声音信号水准。数字处理的条件 为,标本化频率16kHz且16比特符号化,作80000点分测定。

4.在步骤S206-2中,求出所有测定到的水准x中绝对值|x|为最大的水准 x_max,当该x_max小于预定的值,例如100时,将该值定为阀值。

5.而当x_max大于预定值时,要求处理部18a显示图40所示的对话。在检测 到按下OK键后,返回3,重新进行处理。

6.将图35的S202-1中取得的麦克风名称与上述4即S206-2中决定的阀值一 起加入到存储部18d的麦克风数据中。例如,麦克风名称为“MIC4”,x_max 为4时,如图26B所示,在已经登录了的数据之后加入该数据。

在图26B的示例中,麦克风名称“MIC3”以及与其对应的阀值已经登录, 在此数据之后加入“MIC4”以及其阀值4。

7.而后,在步骤S206-4中,利用混音器API恢复到上述2的处理中保存的麦 克风音量。

在以上所述的登录处理中,即使以用户指定的其他麦克风作为远程通信 终端10的外设麦克风114a,也能够发送静音信息的通知。

也就是说,可以在远程通信终端10使用的麦克风中增加用户希望使用的 麦克风,便于提高用户使用性能。

以下说明利用改变声音输出部15b输出的音量水准的音量调节按钮115b, 通过操作该音量调节按钮115b来实行静音,并在该状态发生变化时,从收发 信部11向收信的远程通信终端10发送实行静音的信息的处理。此时,音量调 节按钮115b兼用为实行静音的操作按钮,为此,外设麦克风114a可以没有静 音按钮114b。

图41显示了建立时域之后,在远程通信终端10之间发送麦克风静音信息 的处理。在以下的处理中从远程通信终端10aa向远程通信终端10bb发送静音 信息。

1.首先,在步骤S301-1中,监视部18g监视声音输出部15b的输出水准的改 变活动,如果收到该改变活动,则进入步骤S301-2。

该改变活动可通过公知的混音器API在Windows(登录商标)等上得以实 现,由声音输出部15b对操作输入接受部12收到的来自于音量调节按钮115b 的按钮信息进行分析,改变输出水准。

也就是说,当用户按动扬声器115a的声音调节按钮115b时,该改变活动 发生。在以后的处理中,伴随声音输入部15a以及声音输出部15b等声音输入 输出I/F116的访问所进行的处理也利用混音器API来实现。

2.而后,在步骤S301-2中,监视部18g取得经过声音输出部18b改变后的输 出水准,并比较该输出水准是否是最小值如水准0。如果监视部18g的比 较结果为该输出水准是最小值,则进入接下去的处理3,即步骤S301-3, 相反,如果不是最小值,则进入7的处理,即步骤S301-7。

3.在步骤S301-3中,监视部18g无视声音输入部15a的输入,利用混音器API 实行声音输入部15a的静音。

4.在步骤S301-4中,监视部18g将作为变数保存在存储部18d中的静音的状 态MUTE设定为MUTE=ON,处理部18a要求图像显示控制部14b在自己的显 示器11画面上显示表示静音ON的图标以及文字。图46表示了一例此时的 画面。

图像显示控制部14b经由存储及读取控制部19参考存储部1000中保存的 图标以及文字“处于静音之中”,在自己的显示器11的画面上重迭显示,表 示处于静音之中。

5.在步骤S301-5中,状态管理部18c制作如果42所示的表示静音ON的短信。 该短信为基于按照RFC3921可扩展消息现场协议即时通讯(XMPP IM, extensible messaging and Presence protocol:Instant Messaging and  Presence)的可扩展标志语言(XML)的短信,具体为状态管理部18c在 标签<presence>的属性“from”以及“to”中分别代入自终端的识别 标志以及对方终端的识别标志。并在标签<status>中代入静音状态。 图42(a)、(b)中分别代入“MUTE_ON”、“MUTE_OFF”,其分别表 示静音状态为“静音ON”、“静音OFF”。此外,图42(a)、(c)中 的标签<show>的值均代入表示会议正在进行的“CHAT”。

在本实施方式中,如上所述,远程通信管理系统在收到远程通信终端发 送的短信后将该短信送往出席会议的对方远程通信终端。

图43显示了在这种情况下的一例短信,在标签<presence>的属性“from” 以及“to”中分别代入自终端10aa的IP地址以及远程通信管理系统50的IP地 址,并在标签<id>的值中代入自终端的识别标志。

6.在步骤S301-6中,当状态管理部18c要求收发信部11发送S301-5的处理中 制作的短信后,收发信部11以XMPP向收信终端的远程通信终端10bb发送该 短信,而后结束处理。

7.另一方面,当输出水准不是最小值时,则进入步骤S301-7,判断静音状态 是否是MUTE=ON。如果MUTE=ON,则进入步骤S301-8,如果不是,则结束 处理。

8.在步骤S301-8中,监视部18g利用混音器API解除声音输入部15a的静音, 并设定可以接受声音输入部15a的输入。

9.在步骤S301-9中,监视部18g将作为变数保存在存储部18d中的静音的状态 MUTE设定为MUTE=OFF,并要求图像显示控制部14b消去如图46所示的、显示 在自己的显示器11画面上表示静音ON的图标以及文字。

10.而后进入步骤S301-5,状态管理部18c制作如图43(b)所示的表示静音 OFF的短信,并在下一个步骤S301-6中要求发送该短信后,收发信部11向 收信终端的远程通信终端10bb发送该短信,而后结束处理。

根据以上处理,远程通信终端10的麦克风114a即便没有静音按钮,也能 判断用户是否将扬声器115a的输出水准设到最小,而后,实行麦克风的静音 并发送静音信息。

换言之,在本实施方式的远程通信终端10的处理中,当用户将扬声器115a 的输出水准调整到最小时,会议中断,此时,将这种情况看作为用户无意倾 听对方的声音,并希望会议中断,因此,也可以说发送麦克风的静音信息是 为了间接转达会议中断而发送的。

进而,发送该静音信息还能通知对方没有发生系统故障,具有给对方以 安全感的效果。

上述处理3中的声音输入输出接口116适用于静音的接口受到支持的场 合。如果声音输入输出接口116没有受到静音接口支持,可将输入水准设为最 小,例如设输入水准为0。

下面利用图44的流程图说明该处理的的变形例。

1.首先,在步骤S303-1中,监视部18g监视声音输出部15b的输出水准的改 变活动,如果收到该改变活动,则进入步骤S303-2。

2.而后,在步骤S303-2中,监视部18g取得经过声音输出部18b改变后的输 出水准,并比较该输出水准是否是最小值如水准0。如果监视部18g的比 较结果为该输出水准是最小值,则进入下一个处理,即步骤S303-3。相 反,如果不是最小值,则进入8的处理,即步骤S303-8。

3.在步骤S303-3中,输出水准为最小值,监视部18g从声音输入部取得输入 水准,并将该输入水准保存到存储部18d中的变数INPUT_LEVEL中。

4.而后,在步骤S303-4中,监视部18g利用混音器API将声音输入部15b的输 入水准设为最小值,例如设为水准0。

5.在步骤S303-5中,监视部18g将作为变数保存在存储部18d中的静音的状 态MUTE设定为MUTE=ON,并要求图像显示控制部14b在自己的显示器11 画面上显示图46所示的表示静音ON的图标以及文字。

6.在步骤S303-6中,状态管理部18c制作如图43A所示的表示静音ON的短信。

7.而后,在步骤S303-7中,当状态管理部18c要求收发信部11发送S303-6 的处理中制作的短信后,收发信部11以XMPP向收信终端的远程通信终端 10bb发送该短信,而后结束处理。

8.另一方面,在步骤S303-2中当输出值不是最小值时,进入步骤S303-8, 判断静音状态是否MUTE=ON。如果MUTE=ON,则进入下一个步骤,相反 如果不是则结束处理。

9.在步骤S303-9中,参考处理3即步骤S303-3中保存的输入水准,利用混音 器API参考声音输入部15a的输入水准并设定输入水准,即恢复输入水准。

10.在步骤S303-10中,监视部18g将作为变数保存在存储部18d中的静音的状 态MUTE设定为MUTE=OFF,处理部18要求图像显示控制部14b消去如图46 所示的、显示在自己的显示器11画面上的图标以及文字。

11.而后进入步骤S303-6,状态管理部18c制作如图43B所示的表示静音OFF 的短信,并在下一个步骤S303-7中要求发送该短信后,收发信部11向收 信终端的远程通信终端10bb发送该短信,而后结束处理。

远程通信终端10的麦克风114a中如果不具备静音按钮,而且声音输入输 出接口116不支持静音控制,在这种情况下,通过上述处理,判断用户是否将 扬声器的输出水准设为最小,同时将声音输入水准设为最小来动作,以此代 替静音功能。

关于选择实行图41的处理还是选择实行图44的处理,可通过启动时判断 声音输入部的声音输入输出接口是否受到静音功能支持来做适当选择。图45 显示该选择流程。

1.监视部18判断声音输入部15a的声音输入输出接口116是否受到静音功能 支持,如果受到支持,则进入下一个处理即步骤S304-1。如果没有受到 支持则进入处理3即步骤S304-3。该处理以混音器API取得声音输入输出 接口116的属性,并参考静音功能支持属性得以实现。

2.在步骤S304-2中,声音输入输出接口116受到静音功能支持,此时,将存 储部18d中作为变数的静音功能设定为MUTE_FUNC=ON,而后结束。

3.在步骤S304-3中,声音输入输出接口116不受静音功能支持,此时,设定 MUTE_FUNC=OFF,而后结束。

为了在图41的处理和图44的处理中选择实行哪一格处理,可在各个图的 步骤1中加入MUTE_FUNC值的判断。当MUTE_FUNC=ON时,之后的处理根据图 41所示流程进行,而MUTE_FUNC=OFF时,之后的处理根据图44所示步骤进行。

通过上述处理,不管声音输入部15a的声音输入输出接口116是否具有静 音功能,都可以判断使用者是否将扬声器输出水准设为最小,而后向对方终 端发送静音信息。

下面参考图47说明收到带有静音信息的短信的对方终端即远程通信终端 10bb中的处理。

1.在步骤306-1中收发信部11收到短信。

2.在接下来的步骤S306-2中,状态管理部18c对收到的短信进行解析,从标 签<status>的值中取得静音状态。

3.而后在步骤306-3中,如果静音状态为“MUTE_ON”,则处理部18a进入接 下去的处理,如果静音状态不是“MUTE_ON”,则进入处理5即步骤S306-5。

4.在步骤S306-4中,静音状态为“MUTE_ON”,处理部18a要求图像显示控 制部14b在自己的显示器11画面上显示表示静音ON的图标以及文字。

图48显示一例画面的显示例。图像显示控制部14b经由存储及读取控制部 19参考存储部1000中保存的图标以及文字(表示正在静音状态之中),重迭 显示在显示对方终端的画面上。

5.在步骤S306-5中,静音状态不是“MUTE_ON”,处理部18a要求图像显示 控制部14b消去显示对方终端的画面上表示静音ON的图标以及文字。

通过上述处理,收信终端收到送信终端发送的静音信息并显示该静音信 息,从而能够确实可靠地获知对方是在实行静音状态,而不是发生系统故障, 这样便能够安心利用远程通信继续举行会议。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号