一种在网真会议系统中显示布局的方法及装置

摘要

本发明公开了一种在网真会议系统中显示布局的方法及装置，涉及多媒体网真通信领域，所述方法包括：多点处理单元接收各个网真终端发送的包含每个坐席图像的本端视频布局信息；多点处理单元通过对每个网真终端的本端视频布局信息进行分析，得到每个网真终端坐席的人员就坐信息；多点处理单元根据每个网真终端坐席的人员就坐信息，判断各个网真终端是否只有一个坐席有人员就坐；当多点处理单元判断各个网真终端只有一个坐席有人员就坐时，将各个网真终端有人员就坐的坐席图像发送给相应网真终端。本发明能够通过一种布局显示方法，使得除本参会网真终端以外的所有网真终端的参会人员实现合理的布局显示，增强参会人员之间面对面的感官体验。

说明书

技术领域

本发明涉及多媒体网真通信领域，特别涉及网真系统中终端所看视频的显示布局方法及装置。

背景技术

网真技术（Telepresence）也叫智真技术，是一种将视频通信与沟通体验融为一体的远程会议技术，具有真人大小、超高清晰、低延时的特点，其注重的是真实面对面沟通的效果，实现过程涉及到网络、通信、会商环境、功能应用等多个方面，最终呈现给会议参与者的是一种与事务应用相结合的一体化真实沟通体验。

在一个四方网真会议中，每个网真终端处都只有一个坐席上有参会人员，这样实际上就是整个会议中全部只有四个坐席上有参会人员。按照现有常用的远端视频布局方式，通常是将发言端作为大画面显示在远端视频中，然后再将另外两个与会终端的视频显示在某个坐席屏幕的小画面中。

图1是本发明实施例提供的在网真会议系统中显示布局的传统布局显示图。如图所示，一网真终端的远端视频布局，其中远端视频中大画面为发言端的视频，左屏和右屏中的小画面分别为另外两网真终端的视频。

因此，在一个多点网真会议中，有部分网真终端（在此假定所有网真终端均为三坐席——即三屏网真终端）不是所有坐席都有参会人员就坐。当这类网真终端作为其他网真终端的远端视频显示输出时，就会有远端有些坐席是空的情况出现。这样就会出现远端视频中有些坐席的位置是空的，而有些终端的参会人员却没有空余位置显示在远端视频中。

可见，在现有技术中，网真技术虽然在点对点通信时可以非常容易地提供真实沟通的体验，但是在多点通信的时候，如何能在多个显示屏中尽可能多的显示出全部与会人员图像，并且尽可能的保留真实面对点沟通的用户体验，这是一个可以提升用户体验的关键问题。

发明内容

本发明的目的在于提供一种在网真会议系统中显示布局的方法及装置，能够解决在多点通信的情况下，多点网真会议系统中存在的参会人员的布局显示不合理问题。

根据本发明的一个方面，提供了一种在网真会议系统中显示布局的方法，包括：

多点处理单元接收各个网真终端发送的包含每个坐席图像的本端视频布局信息；

多点处理单元通过对每个网真终端的本端视频布局信息进行分析，得到每个网真终端坐席的人员就坐信息；

多点处理单元根据每个网真终端坐席的人员就坐信息，判断各个网真终端是否只有一个坐席有人员就坐；

当多点处理单元判断各个网真终端只有一个坐席有人员就坐时，将各个网真终端有人员就坐的坐席图像发送给相应网真终端。

优选地，对所述每个网真终端的本端视频布局信息中的每个坐席图像分别进行人脸识别；

根据每个坐席图像有人脸或没有人脸的识别结果，得到每个网真终端坐席是否有人员就坐的人员就坐信息。

优选地，从各个网真终端的本端视频布局信息中提取有人员就坐的坐席图像；

通过分别组合所提取的坐席图像，生成用来分别发送给各个网真终端的各个远端视频布局信息；

其中，在用来发送给任何一个网真终端的远端视频布局信息中，包括除该任何一个网真终端外的其他网真终端的坐席图像。

优选地，通过将所述远端视频布局信息中的各个坐席图像，分别形成对应的包含显示位置标识的各个视频码流后，发送给相应网真终端。

优选地，还包括：所述各个网真终端按照所述对应视频码流进行图像显示。

优选地，所述各个网真终端根据所述对应视频码流中的显示位置标识，将所述坐席图像全屏显示在对应的显示屏上。

根据本发明的另一方面，提供了一种在网真会议系统中显示布局的装置，包括：

接收模块，用于多点处理单元接收各个网真终端发送的包含每个坐席图像的本端视频布局信息；

分析模块，用于多点处理单元通过对每个网真终端的本端视频布局信息进行分析，得到每个网真终端坐席的人员就坐信息；

判断模块，用于多点处理单元根据每个网真终端坐席的人员就坐信息，判断各个网真终端是否只有一个坐席有人员就坐；

发送模块，用于当多点处理单元判断各个网真终端只有一个坐席有人员就坐时，将各个网真终端有人员就坐的坐席图像发送给相应网真终端。

优选地，所述分析模块进一步包括：

识别子模块，用于所述每个网真终端的本端视频布局信息中的每个坐席图像分别进行人脸识别；

确定子模块，用于根据每个坐席图像有人脸或没有人脸的识别结果，得到每个网真终端坐席是否有人员就坐的人员就坐信息。

优选地，所述发送模块进一步包括：

提取子模块，用于从各个网真终端的本端视频布局信息中提取有人员就坐的坐席图像；

组合子模块，用于通过分别组合所提取的坐席图像，生成用来分别发送给各个网真终端的各个远端视频布局信息。

优选地，所述发送模块进一步还包括：

码流子模块，用于通过将所述远端视频布局信息中的各个坐席图像，分别形成对应的包含显示位置标识的各个视频码流后，发送给相应网真终端。

与现有技术相比较，本发明的有益效果在于：能够通过一种远端视频布局显示的方法，使得在特定场景下的除本参会网真终端以外的所有网真终端的参会人员实现合理的布局显示，增强每一方参会人员与其他各方参会人员面对面的感官体验。

附图说明

图1是本发明实施例提供的在网真会议系统中显示布局的传统布局显示图；

图2是本发明实施例提供的在网真会议系统中显示布局的方法流程图；

图3是本发明实施例提供的在网真会议系统中显示布局的装置结构图；

图4是本发明实施例提供的在网真会议系统中显示布局的四方会议场景图；

图5是本发明实施例提供的在网真会议系统中显示布局的第一网真终端TerA的视频布局图；

图6是本发明实施例提供的在网真会议系统中显示布局的第二个网真终端TerB的视频布局图；

图7是本发明实施例提供的在网真会议系统中显示布局的第三个网真终端TerC的视频布局图；

图8是本发明实施例提供的在网真会议系统中显示布局的第四个网真终端TerD的视频布局图；

图9是本发明实施例提供的在网真会议系统中显示布局的第一网真终端TerA所看到的远端视频布局图；

图10是本发明实施例提供的在网真会议系统中显示布局的第二个网真终端TerB所看到的远端视频布局图；

图11是本发明实施例提供的在网真会议系统中显示布局的第三个网真终端TerC所看到的远端视频布局图；

图12是本发明实施例提供的在网真会议系统中显示布局的第四个网真终端TerD所看到的远端视频布局图；

图13是本发明实施例提供的在网真会议系统中显示布局的网真终端的处理流程图；

图14是本发明实施例提供的在网真会议系统中显示布局的MCU的处理流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图2是本发明实施例提供的在网真会议系统中显示布局的方法流程图，如图2所示，限定应用场景为，一个四方网真会议，参加会议的四个网真终端均为三屏网真终端，每一方的参会人员都只集中在一个坐席上，步骤如下：

步骤S1：多点处理单元接收各个网真终端发送的包含每个坐席图像的本端视频布局信息。其中，所述各个网真终端利用生物特征识别技术，例如人脸识别技术辨识出本端坐席中是否有参会人员就坐的信息，并将此信息发送到MCU。这一处理过程为可选过程，参会的网真终端也可以不进行此项处理。所述MCU收集来自各个与会网真终端的本端视频布局信息（即，终端处每个坐席上是否有参会人员就坐的信息）并保存。

步骤S2：多点处理单元通过对每个网真终端的本端视频布局信息进行分析，得到每个网真终端坐席的人员就坐信息。

在步骤S2中，对收集到的所述每个网真终端的本端视频布局信息中的每个坐席图像分别进行人脸识别；

根据每个坐席图像有人脸或没有人脸的识别结果，得到每个网真终端坐席是否有人员就坐的人员就坐信息。

步骤S3：多点处理单元根据每个网真终端坐席的人员就坐信息，判断各个网真终端是否只有一个坐席有人员就坐。其中，判断所述各个网真终端是否为四方网真会议，并且所有与会网真终端的本端视频布局信息中均为仅有一个坐席中有参会人员就坐。所述MCU还可以通过人工判断各个与会网真终端只有一个坐席上有参会人员就坐。

步骤S4：当多点处理单元判断各个网真终端只有一个坐席有人员就坐时，将各个网真终端有人员就坐的坐席图像发送给相应网真终端。

在步骤S4中，从各个网真终端的本端视频布局信息中提取有人员就坐的坐席图像；

通过分别组合所提取的坐席图像，生成用来分别发送给各个网真终端的各个远端视频布局信息。

其中，在用来发送给任何一个网真终端的远端视频布局信息中，包括除该任何一个网真终端外的其他网真终端的坐席图像。其中，MCU自动为每个与会网真终端组织其所观看的远端视频布局，左、中、右三屏分别为除本端外另外三方网真终端中有参会人员就坐的坐席。

此外，MCU也可以通过人工控制的方式为每个与会网真终端组织其所观看的远端视频布局，即人工为每个与会网真终端的坐席进行视频选看处理，为其左、中、右三个坐席分别进行视频切换处理，其视频源来自除本端之外的另外三方网真终端中有参会人员就坐的坐席。

进一步地，还包括：

通过将所述远端视频布局信息中的各个坐席图像，分别形成对应的包含显示位置标识的各个视频码流后，发送给相应网真终端。

进一步地，还包括：所述各个网真终端按照所述对应视频码流进行图像显示。

进一步地，所述各个网真终端根据所述对应视频码流中的显示位置标识，将所述坐席图像全屏显示在对应的显示屏上。即，四个与会网真终端最终的远端视频布局均为另外三方网真终端有参会人员就坐的坐席，并依次显示在本端的三个坐席屏幕上。

图3是本发明实施例提供的在网真会议系统中显示布局的装置结构图，如图3所示，包括：接收模块、分析模块、判断模块和发送模块。

所述接收模块用于多点处理单元接收各个网真终端发送的包含每个坐席图像的本端视频布局信息。

所述分析模块用于多点处理单元通过对每个网真终端的本端视频布局信息进行分析，得到每个网真终端坐席的人员就坐信息。其中，所述分析模块的识别子模块用于所述每个网真终端的本端视频布局信息中的每个坐席图像分别进行人脸识别。所述分析模块的确定子模块用于根据每个坐席图像有人脸或没有人脸的识别结果，得到每个网真终端坐席是否有人员就坐的人员就坐信息。

所述判断模块用于多点处理单元根据每个网真终端坐席的人员就坐信息，判断各个网真终端是否只有一个坐席有人员就坐。

所述发送模块用于当多点处理单元判断各个网真终端只有一个坐席有人员就坐时，将各个网真终端有人员就坐的坐席图像发送给相应网真终端。其中，所述发送模块的提取子模块用于从各个网真终端的本端视频布局信息中提取有人员就坐的坐席图像。所述发送模块的组合子模块用于通过分别组合所提取的坐席图像，生成用来分别发送给各个网真终端的各个远端视频布局信息。所述发送模块的码流子模块用于通过将所述远端视频布局信息中的各个坐席图像，分别形成对应的包含显示位置标识的各个视频码流后，发送给相应网真终端。

图4是本发明实施例提供的在网真会议系统中显示布局的四方会议场景图。如图4所示，有TerA、TerB、TerC和TerD四个网真终端，共同参加一个在多点处理单元（MCU：Multipoint Control Units）上召开的网真会议。这四个终端均为三屏网真终端，具有左（L）、中（C）、右（R）三个屏幕。

图5是本发明实施例提供的在网真会议系统中显示布局的第一网真终端TerA的视频布局图。如图5所示，TerA的左屏（L）位置坐有两位参会人员，另外两屏——中屏（C）和右屏（R）处没有参会人员就坐。

图6是本发明实施例提供的在网真会议系统中显示布局的第二个网真终端TerB的视频布局图。如图6所示，TerB的中屏（C）位置坐有两位参会人员，另外两屏——左屏（L）和右屏（R）处没有参会人员就坐。

图7是本发明实施例提供的在网真会议系统中显示布局的第三个网真终端TerC的视频布局图。如图7所示，TerC的右屏（R）位置坐有两位参会人员，另外两屏——左屏（L）和中屏（C）处没有参会人员就坐。

图8是本发明实施例提供的在网真会议系统中显示布局的第四个网真终端TerD的视频布局图。如图8所示，TerD的中屏（C）位置坐有一位参会人员，另外两屏——左屏（L）和右屏（R）处没有参会人员就坐。

图9是本发明实施例提供的在网真会议系统中显示布局的第一网真终端TerA所看到的远端视频布局图。如图9所示，TerA的左屏（L）为TerB的两位参会人员视频，中屏（C）为TerC的两位参会人员视频，右屏（R）为TerD的一位参会人员的视频。

图10是本发明实施例提供的在网真会议系统中显示布局的第二个网真终端TerB所看到的远端视频布局图。如图10所示，TerB的左屏（L）为TerA的两位参会人员视频，中屏（C）为TerC的两位参会人员视频，右屏（R）为TerD的一位参会人员的视频。

图11是本发明实施例提供的在网真会议系统中显示布局的第三个网真终端TerC所看到的远端视频布局图。如图11所示，TerC的左屏（L）为TerA的两位参会人员视频，中屏（C）为TerB的两位参会人员视频，右屏（R）为TerD的一位参会人员的视频。

图12是本发明实施例提供的在网真会议系统中显示布局的第四个网真终端TerD所看到的远端视频布局图。如图12所示，TerD的左屏（L）为TerA的两位参会人员视频，中屏（C）为TerB的两位参会人员视频，右屏（R）为TerC的两位参会人员的视频。

图13是本发明实施例提供的在网真会议系统中显示布局的网真终端的处理流程图。如图13所示，终端通过人脸识别技术可以确定当前本端所采集的视频中哪个坐席上有参会人员就坐，并将此信息保存下来，发送给MCU。

图14是本发明实施例提供的在网真会议系统中显示布局的MCU的处理流程图。如图14所示，MCU收集各个与会网真终端的本端视频布局信息并保存，当所有与会网真终端的本端视频布局信息都收集到了以后，进行分析判断，若当前会议为四方会议（即会议中有四个与会网真终端），并且每个与会网真终端的本端视频布局中仅有一个坐席上有参会人员，当这一条件符合后，MCU开始为每个与会终端组织其所观看的远端视频布局，其远端视频布局均由除本端外另外三个与会网真终端有参会人员就坐的坐席组成，另外三个与会网真终端的参会人员分别显示在左、中、右三个坐席中。

综上所述，本发明具有以下技术效果：在四方网真会议中，当每一参会网真终端三个坐席中仅有一个坐席上有参会人员时，每一个参会人员都可以通过其所在网真终端的远端视频同时看到另外三方的参会人员，即在一间会议室中就可以看到所有的参会人员，从而实现在此特定场景下，每一网真会场的参会人员均可实现大画面显示，达到与所有参会人员最优的面对面的感官效果。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。