首页> 中国专利> 用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序

用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序

摘要

本发明公开了一种用于处理在多个视频会议终端之间的会议中的图像的方法。所述方法包括首先提供至少两个视频会议终端的属性,然后根据所述至少两个视频会议终端的属性来定义若干个组,随后为每个视频会议终端确定该若干个组的排序列表,确定用于显示来自各视频会议终端的图像的窗格布局,所述窗格布局根据要在上面显示所述布局的视频会议终端的属性和该会议中各其它视频会议终端的属性来确定,把所述若干个组的排序列表映射到相应确定的窗格布局,并且最后依照选择的窗格布局和所述若干个组的映射来向每个视频会议终端提供至少一个合成图像流。所述方法允许不同类型的远程出席端点(例如不同的制造商、不同数目的屏幕/摄像机等)在相同的视频会议中一起很好地工作。

著录项

  • 公开/公告号CN102265613A

    专利类型发明专利

  • 公开/公告日2011-11-30

    原文格式PDF

  • 申请/专利权人 坦德伯格电信公司;

    申请/专利号CN200980152110.7

  • 发明设计人 安德鲁·佩珀雷尔;

    申请日2009-12-15

  • 分类号H04N7/15(20060101);H04N5/265(20060101);

  • 代理机构11219 中原信达知识产权代理有限责任公司;

  • 代理人张焕生;谢丽娜

  • 地址 挪威吕萨科

  • 入库时间 2023-12-18 03:55:54

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-12-02

    未缴年费专利权终止 IPC(主分类):H04N 7/15 专利号:ZL2009801521107 申请日:20091215 授权公告日:20150311

    专利权的终止

  • 2015-03-11

    授权

    授权

  • 2012-05-23

    专利申请权的转移 IPC(主分类):H04N7/15 变更前: 变更后: 登记生效日:20120413 申请日:20091215

    专利申请权、专利权的转移

  • 2012-01-11

    实质审查的生效 IPC(主分类):H04N7/15 申请日:20091215

    实质审查的生效

  • 2011-11-30

    公开

    公开

说明书

技术领域

本发明总体上涉及视频会议和远程出席系统领域。更具体地,本 发明涉及一种用于处理在多个视频会议终端之间的会议中的图像的方 法、设备和计算机程序。

背景技术

常规的视频会议系统包括若干视频会议终端(端点),用于在诸 如WAN、LAN和电路交换网之类的各种网络上及其之间交流实时视频、 音频和/或数据(常常被称为双流视频(duo video))。

位于不同场点的若干视频会议系统常常可以通过一个或多个MCU (多点控制单元)来参与相同的会议,所述MCU执行例如切换和混合 功能以允许视听终端适当地互相通信。

视频会议系统目前提供了在至少两个位置之间的通信,以允许在 位于每个站点的参会者之间进行视频会议。远程出席(telepresence) 系统是增强的视频会议系统。典型情况下,远程出席系统中的终端具 有多个用于真人大小视频的大规模显示器,它们常常安装在具有为视 频会议专用和装饰的内部的房间中,都用来创建尽可能接近于私人会 晤的会议。远程出席系统中的终端装备有一个或多个摄像机。那些摄 像机的输出连同音频信号一起被传输到在第二位置的相应多个显示器 以使得在第一位置的参会者被感觉为是出席的或者与在第二位置的参 会者面对面。

图1是图示远程出席视频会议的背景技术方面的示意图。

在多个(图示了四个)本地会议参会者前面布置视频会议设备的 显示设备,特别是远程出席型的视频会议终端。本地参会者沿着桌子 就座,面向包括多个显示屏幕的显示设备。在图示的例子中,在显示 设备中包括四个显示屏幕。第一、第二和第三显示屏幕彼此邻近布置。 第一、第二和第三显示屏幕用于显示在相应远程出席型的一个或多个 远程会议场点捕获的图像。

第四显示屏幕被布置在第二显示屏幕下面的中心位置。在典型的 使用中,第四屏幕可以用于计算机产生的演示或其它辅助会议信息。 作为选择,如图2所示,第四屏幕由桌上安装的几个显示器来代替。摄 像机被布置在上显示屏幕的顶上,以捕获本地参会者的图像,所述图 像被传输到相应的远程视频会议场点。

在图1和图2中所示出的结构其目的在于给予本地参会者实际上与 在相应显示屏上示出的远程参会者出席在相同会议室中的感觉。

实现出席感觉的关键因素是能够看见远程参会者正在看谁的能 力,以实际的真人大小显示所有参会者,并且所有显示的参会者看起 来相对彼此具有同样大小。用于实现高质量远程出席的另一条件是尽 可能无失真地向每个本地参会者展示远程参会者的图像。

为了获得这种出席感觉,由远程出席系统使用特定的规则集或专 有协议。因此,诸如在图1和图2中所示出的远程出席系统将只与支持 该规则集(或协议)的其它远程出席系统适当地操作。由于不同的远 程出席系统可能使用不同数目的显示屏幕的事实,例如一个、两个、 三个或四个显示屏幕,这会进一步变得复杂。最后,两个以上远程出 席系统可以参与到一个会议中,而所有参会者仍然期望有如两个系统 会议的相同出席感觉。

此外,由于尚未为远程出席系统定义标准协议,所以只有来自相 同制造商的远程出席系统才可以依照满意的方式相互操作。

在许多情况中,还需要从常规的视频会议终端呼叫远程出席系统 或者接收来自远程出席系统的呼叫,即使所述常规的视频会议终端没 有提供相同的出席感觉。

US 7,034,860描述了一种用于根据被连接到会议的参会者或视频 源的数目来动态地确定图像布局的设备和方法,通过引用将其合并于 此。系统依照定义的合成图像布局把每个视频源组合到复合视频信号 中,并且将此合成信号传输到连接的场点。这对单屏幕系统可以很好 地工作,但是当连接具有不同数目屏幕的两个多屏幕远程出席系统、 连接两个以上多屏幕远程出席系统时,或/和当把单个屏幕系统连接到 一个或多个多屏幕系统时会出现问题。

因此,在本领域中需要允许不同类型的远程出席端点(例如不同 的制造商、不同数目的屏幕/摄像机等)在同一视频会议中一起很好地 工作。

发明内容

本发明提供了如在所附权利要求中阐明的一种方法、计算机程序 部分和视频会议设备。

具体地是,本发明提供了一种用于处理在多个视频会议终端之间 的会议中的图像的方法,包括:首先提供至少两个视频会议终端的属 性,然后根据所述至少两个视频会议终端的属性来定义若干个组,随 后对每个视频会议终端,确定该若干个组的排序列表,确定用于显示 来自各视频会议终端的图像的窗格布局,所述窗格布局根据要在上面 显示该布局的视频会议终端的属性和会议中其它视频会议终端的属性 来确定,把所述若干个组的排序列表映射到相应确定的窗格布局,并 且最后依照选择的窗格布局和所述若干个组的映射来向每个视频会议 终端提供至少一个合成图像流。

附图说明

为了使本发明更易于被理解,下面的论述将参照附图,其中

图1是图示远程出席视频会议的背景技术方面的示意图,

图2是图示远程出席视频会议的背景技术方面的示意图,

图3是图示用于处理视频会议视频流的方法原理的示意性流程图,

图4是依照本发明的视频会议终端屏幕布局的示例性概述,

图5a和5b示出了排序组与屏幕布局的示例性映射,

图6a和6b示出了依照本发明的示例性操作模式,

图7是远程出席终端的示例性配置的示意图,以及

图8是图示在依照本发明示例性实施例中的远程出席终端的画面。

具体实施方式

在下面,将通过描述各个实施例并且参照附图来论述本发明。然 而,本领域技术人员将在如所附独立权利要求定义的本发明范围内实 现其它应用和改变。

图3是图示用于处理在多个视频会议终端之间会议中的视频流的 方法的原理的示意性流程图。

所述方法起始于开始步骤300。

首先,在步骤310,第一和第二视频会议终端向图像处理设备提供 相应的视频会议终端的属性。优选地是,所述属性包括该视频会议终 端的屏幕的数目,和从该视频会议终端提供的视频流的数目。优选地, 相应的视频会议终端的属性还允许图像处理设备确定是允许全屏幕示 出视频流还是如下所述只是在较小窗格中示出视频流,例如端点的视 频分辨率。

接下来在步骤320,如果图像处理设备确定存在更多连接的视频会 议终端要向所述图像处理设备提供它们相应的属性,那么方法继续至 步骤330,如果不存在,那么所述方法继续至步骤340。

在步骤330,连接的终端向图像处理设备提供相应视频会议终端的 属性,如在步骤310中所描述。

在步骤340,图像处理设备根据从各视频会议终端提供的属性把各 视频会议终端聚集成组。具体地,依照该视频会议终端的屏幕的数目 和/或从该视频会议终端提供的视频流的数目,一个组通常具有两个、 三个或四个成员。单个屏幕/视频流端点一般并不安排成一个组,但是 在替换实现方式中,也可以安排成一个成员的组。在下文中,一组屏 幕或一组视频流被称作是一组。

接下来在步骤350,图像处理设备为每个视频会议终端确定这些组 和这些单个屏幕端点的排序列表。组的排序列表优选地基于视频会议 终端的语音切换次序,不包括要在上面显示视图的终端。选择性地, 在替换实施例中,如果该终端的自视(self-view)功能被启用,那么排 序列表将在列表末端包括要在上面显示视图的终端。在又一可选实施 例中,图像处理设备对于每个会议来说允许指定“重要的”参会者。 如果存在为会议指定的重要参会者,则对每个排序列表,该参会者的 组被移到排序列表顶部,但是包括该重要参会者的组的终端的排序列 表除外。

在步骤360,图像处理设备对每个视频会议终端,根据该视频会议 终端自身的属性和会议中其它各视频会议终端的属性来确定该视频会 议终端的窗格布局。下面参考图4描述依照本发明的示例性窗格布局。

由图像处理设备使用的所有布局遵循类似的格式;每个布局具有 若干(可以是0)大行和/或一些数量的小行。大行是全屏幕窗格或者跨 一个或多个屏幕中心的大窗格行。小行是覆盖在全屏幕窗格底部附近 的连续出席(CP)窗格,或者在大窗格中心行以上和/或以下的独立小 窗格。对于其中所有窗格具有相同大小的布局(例如在单个屏幕上的3 x3布置)来说,所有行被认为是小行。

如果所述布局具有全屏幕大行,那么将通过用于每个个别视图的 “显示CP”标志(即,组的组成端点的“显示CP”标志)来控制覆盖 小CP窗格的存在。如果布局的大行不是全屏幕窗格,那么在较大窗格 的中心行以上和以下的较小CP窗格将始终是存在的。

在步骤370,图像处理设备把经排序的各组映射到为每个视频会议 终端选择的窗格布局的行中。如果布局包括大行,那么首先填充所述 大行,然后填充较小的行。参考图5a进一步描述映射经排序的各组的处 理,其中把八个不同的组映射到五个行布局。首先假定允许所有组能 被全屏幕显示,并且行510是全屏幕行,那么最高优先级组501被映射 到行510。由于现在在行510中只有一个屏幕可用,所以第二优先级组 502被映射到行520。第三优先级组或单个屏幕503然后被映射到第一行 510中可用的屏幕。在相同的处理之后,组504填充到行530,组505和 组508被映射到行540;组506填充在行520中可用的屏幕,并且最后组 507填充行550。此映射的结果与在所有行都是小行的情况下的组的映 射完全相同。

现在,假定行510是全屏幕行,并且不允许组503和508被全屏幕示 出。在这种情况下,如图5b所示,最高优先级组501被映射到大行510, 第二优先级组502被映射到行520。不允许第三优先级组或单个屏幕503 被映射到第一行510中可用的屏幕,并且等待可用的屏幕。组504填充 行530,并且组505被映射到行540。行540现在具有一个可用的屏幕, 其中,组503被映射到该屏幕。组506填充在行520中可用的屏幕,并且 最后,组507填充行550。在这种情况下,在行510中可用的屏幕是空白 的,并且不会显示组508。然而,在替换实施例中,组506和508可以借 助本领域技术人员公知的方法来进行语音切换。

当排序的各组被映射到为每个视频会议终端选择的布局时,所述 方法继续至步骤380,其中,所述视频处理设备从每个组接收视频流。 用于处理视频流的视频处理设备依照确定的布局向每个终端屏幕提供 分离的合成视频流。

现在返回到步骤360,将参考图4描述依照本发明的示例性窗格布 局。如上面所公开,根据视频会议终端自身的属性以及会议中其它视 频会议终端的属性来确定选择的窗格布局。在图4中,在表格左侧示出 了将在上面显示视图的终端屏幕的数目,以及在表格上侧示出了会议 中其它视频会议终端的属性。

在第一示例性的布局中,将在上面显示视图的终端是一个单屏幕 终端。如果其它视频会议终端中的至少一个是四屏幕组,那么有效地 在4x4网格上构成布局,其中四行中的每行可以包含具有四个的组, 具有三个加一个的组等。行的填充排序一般是:从顶部开始的第二行, 从顶部开始的第三行,顶部的行,以及最后是最下面一行。

如果在会议中不存在三屏幕终端,但是其它视频会议终端中的至 少一个是三屏幕的组,那么在3x3网格上有效地构成布局,其中三行 中的每个可以包含具有三个的组,具有两个加上一个的组等。行的填 充排序一般是:中间行,最下面一行,以及最后是最上面一行。

如果在会议中没有三或四屏幕组,那么利用单个屏幕端点和两个 屏幕组在2x2网格上构成布局。行的填充排序一般是:顶部的一行, 以及最后为底部的一行。

在第二示例性的布局中,将在上面显示视图的终端是双屏幕终端。 如果其它视频会议终端中的至少一个是四屏幕组或三屏幕组,那么在 跨过中心的四个大窗格(即每个屏幕上的两个窗格)加上四窗格的四 个组(即对每个屏幕的每组两个大窗格来说上面一组和下面一组)上 构成布局。在中间的四个大窗格尽可能多地填充排序列表中合适的组, 即,如果在列表顶部的组是四屏幕终端,那么跨所有四个窗格显示该 组。如果在顶部的组不是四屏幕组,则可以全屏幕显示多于一个的组。 行的填充次序一般是:大行,底部的小行,以及最后是顶部的小行。

如果在会议中不存在三或四屏幕组,则在两个全屏幕窗格加上在 每个屏幕的底部附近示出的可达到两个连续出席(CP)窗格上构成布 局。两个全屏幕窗格可以由单个双屏幕组或两个单屏幕组填充。可达 到两个的CP窗格一般均包括两个或四个屏幕。行的填充次序一般是: 大行,然后是小的底部行。

在第三示例性布局中,将在上面显示视图的终端是三屏幕终端。 如果其它视频会议终端中的至少一个是四屏幕组,则在跨过中心的四 个大窗格上构成布局,即在相应的左和右屏幕上的一个大窗格,在中 间屏幕上的两个窗格,加上四窗格的四个组,即,对四个大窗格的每 组来说的上面一组和下面一组。相应的左右屏幕的外部半个屏幕留作 空白。在中间的四个大窗格填充尽可能多的排序列表中合适的组,即, 如果在列表顶部的组是四屏幕终端,那么跨所有四个窗格显示该组。 如果在顶部的组不是四屏幕组,那么可以全屏幕显示多于一个的组。 行的填充次序一般是:大行,底部的小行,以及最后是顶部的小行。

如果在会议中不存在四屏幕系统,那么在三个全屏幕窗格加上在 每个屏幕的底部的可达到六个的CP窗格上构成布局。行的填充次序一 般是:大行,然后是小的底部行。

在第四示例性的布局中,将在上面显示视图的终端是四屏幕终端。 在此配置中,始终在四个全屏幕窗格加上每个屏幕的可达到四个的CP 窗格上构成布局,所述CP窗格在屏幕的底部。行的填充次序一般是: 大行,然后是小的底部行。

上述四个示例性的布局是正常模式远程出席的示例性布局。替换 的远程出席模式被称作是如在TANDBERG T3中整合的“圆桌模式”, 其中,通过创建虚拟圆桌会议来进一步增强出席感觉。T3终端具有三 个屏幕和三个视频流,即,来自位于每个屏幕上部的摄像机的一个视 频流。在正常模式(图6a)中,每个摄像机捕获直接位于摄像机和屏幕 前面的两个座位位置的图像,总计六个座位位置的图像,并且提供图 像给其它远程出席终端,如上所述。在圆桌模式(图6b)中,三个摄 像机中的每个捕获四个中心座位位置的图像,其本质上是捕获四个座 位位置的左视图图像、中心视图图像和右视图图像。图7示出了在圆桌 模式中的四个终端,箭头用于表明在哪个屏幕上示出哪个图像,例如, 终端701的中心屏幕(701C)示出了终端703的中心摄像机的图像,右 屏幕(701R)示出了终端702的左侧摄像机的图像,左屏幕(701L)示 出了终端704的右侧摄像机的图像等。从而如图8所示,所有终端看到 “圆”桌,其中从对准桌子曲率的正确角度示出了参会者。

上述圆桌布局是缺省模式,并且对三屏幕系统能够完美地工作。 下面描述了在圆桌模式会议中分别用于一个、两个和四个屏幕终端的 示例性布局。

在第一示例性的圆桌布局中,将在上面显示视图的终端是单屏幕 终端。在2x2网格上有效地构成布局,每个窗格显示四个座位位置。 窗格的填充次序一般是:左上方,右上方,左下方以及最后是右下方 窗格。如果只有三个圆桌终端参与呼叫,那么剩下一个窗格是空白的。 作为替换,可用的窗格填有单屏幕端点。选择性地,可以在屏幕底部 显示达到三个的小CP窗格;这些CP窗格填有接下来的三个组。

在第二示例性圆桌布局中,将在上面显示视图的终端是双屏幕终 端。在跨两个屏幕中心的行中的四个窗格上有效地构成布局,所述窗 格示出了在它们正确位置中的四个圆桌组(即,会议的第一圆桌组在 最左边的窗格中)。在此四窗格的行中的空窗格可以保持其它单屏幕 端点,或者如果存在足够多的未使用窗格,则可能是两或三屏幕组。 可选地,存在可达到四窗格的四个组,即对可用于示出单屏幕端点或 其它组的每个屏幕的每组两个大窗格来说上面一组和下面一组。

在第三示例性的圆桌布局中,将在上面显示视图的终端是四屏幕 终端。在四个全屏幕窗格上有效地构成布局,每个窗格全屏幕示出适 当的圆桌参会者,其中,最终剩余的屏幕用于示出单屏幕端点。如果 存在足够的其它会议参会者,那么还存在覆盖在每个屏幕底部的可达 到四个的CP窗格。

依照本发明的一个方面,被配置为执行在本公开中描述的方法的 图像处理设备可以被实现为视频会议终端,例如,远程出席终端。

依照本发明的另一方面,被配置为执行在本公开中描述的方法的 图像处理设备优选可以被实现为多点控制单元,例如远程出席服务器。

进一步公开了一种计算机程序或至少是计算机程序部分,其包括 用于使视频会议设备中的处理设备执行如本公开内容所述的方法的处 理指令。计算机程序部分可以被有形存储在存储器中,诸如RAM、ROM 或闪速存储器中,或者可以被存储在计算机可读介质中,诸如磁或光 盘中。作为选择,计算机程序或计算机程序部分可以被实现为携带用 于表示处理指令的信息的传播信号,例如,在本地、区域或全球计算 机网络中的网络元件之间传送的通信信号。

本领域技术人员参考本公开教导可以容易地理解,在不脱离所附 权利要求包含的本发明范围的情况下,可以设想本发明的若干组合和 修改。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号