一种会议电视系统中的多画面合成方法及装置

摘要

本发明公开了一种会议电视系统中的多画面合成方法，所述方法包括：会议电视系统控制端根据预设多画面布局将多个画面合成为多画面图像底层；会议电视系统控制端在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。所述装置包括设置于会议电视系统控制端的图像底层合成模块以及图像框合成模块。本发明灵活、简便地实现了会议电视系统的多画面合成。

说明书

技术领域

本发明涉及会议电视，具体的说，涉及一种会议电视系统中的多画面合成方法及装置。

背景技术

会议电视作为一种先进的通信手段，已经在政府会议，远程教学，远程诊断和跨地区远程会议等领域得到了广泛的应用。

现有会议电视多画面的实现方法是在MCU(多点控制单元)侧，MCU侧的DSP(数字信号处理器)首先是对多个终端传过来的码流进行解码，再将解码后的数据根据MCU侧中的主控MP(多点处理器)下发的多画面布局信息进行多画面合成，最后将合成后的图像进行编码后输出。

现有技术中，如果要实现暂时将多画面中的一个画面放大观看，随即恢复原来的图像很麻烦，其需要切换多画面布局，将现有的多画面布局A改为多画面布局B(布局B中，所需查看的画面比较大)，看完后再恢复到多画面布局A。

在MCU处理中，多画面布局A变为多画面布局B，需要主控MP将布局B下发给DSP，DSP计算出布局B的多画面相关信息(多画面中每个画面的起始坐标、宽度、高度等)并进行相应多画面合成，然后编码输出；恢复布局A的时候，需要主控MP将布局A重新下发给DSP，DSP再次计算布局A的多画面信息并进行相应的多画面合成。

以上操作的问题在于：一、MCU内部处理复杂，存在多次重复计算；二、需要放大的图像不能够灵活显示，只能根据目前有的布局进行选择。

发明内容

有鉴于上述背景，本发明提供了一种会议电视系统中的多画面合成方法及装置，能够灵活、简便地实现会议电视系统中的多画面合成。

为了解决上述技术问题，本发明采用了如下技术方案：

一种会议电视系统中的多画面合成方法，包括：

A、会议电视系统控制端根据预设多画面布局将多个画面合成为多画面图像底层；

B、会议电视系统控制端在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。

在上述方法的一种实施例中，所述图像框输出特性包括图像框位置、图像框尺寸。

在上述方法的一种实施例中，所述图像框通过鼠标信号在web页面中创建。

在上述方法的一种实施例中，还包括：通过鼠标信号在web页面中关闭所述图像框。

在上述方法的一种实施例中，还包括：对所述多画面图像底层之上的各层的各个图像框进行层级和/或输出特性调整。

在上述方法的一种实施例中，所述预输出画面为所述多画面图像底层中的画面，或者为其他送显画面。

本发明还公开了一种会议电视系统中的多画面合成装置，包括设置于会议电视系统控制端的图像底层合成模块以及图像框合成模块，其中：

所述图像底层合成模块，用于根据预设多画面布局将多个画面合成为多画面图像底层；

图像框合成模块，用于在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。

本发明通过将会议电视系统的多画面进行分层合成，将初始的多画面布局合成为图像底层，而后在图像底层之上创建上层图像框，将需要暂时观看的画面输出到上层图像框，因而不需要改变会议电视系统的原有多画面布局，MCU内部无需复杂的处理计算，上层图像框中的画面可以根据图像框的输出特性灵活调整。因而灵活、简便地实现了会议电视系统的多画面合成。

附图说明

图1是本发明实施例的MCU侧系统框图；

图2是本发明实施例的MCU侧MP的处理流程图；

图3是本发明实施例的MCU侧DSP的处理流程图；

图4是本发明实施例的MCU侧DSP的处理中的多画面二次合成的详细处理流程图；

图5是本发明实施例的二次合成前的16画面布局；

图6是本发明实施例的二次合成后，将0号画面放大后的布局。

具体实施方式

下面对照附图并结合具体实施方式对本发明做详细说明。

本发明应用于会议电视系统，其主要涉及到会议电视系统的MCU侧，也即会议电视系统控制端的处理。

如图1所示，终端或者WEB页面处理模块发出的消息流到达MCU侧，MCU侧包括主控MP和DSP，主控MP首先对消息流进行处理，发送给DSP的消息处理模块，其中包含多画面布局等信息，DSP同时接收媒体流，根据消息指示，由DSP解码模块、DSP多画面合成模块、DSP编码模块依次进行媒体流的码流解码、多画面合成、合成后的图像编码输出。

参见图5，假设主控MP下发给DSP的多画面布局为图5所示的16画面布局，画面按从左到右、从上到下顺序依次编号为0-15。一般的，16画面中的各个画面来自于不同的终端，由DSP对这些画面按图5所示的多画面布局进行合成输出，形成一个720P(1280x720)16画面的图像。本文中，将该图像称为多画面图像底层。

当用户在看图5所示的图像时，如果想把画面号为0的画面放大观看，则在多画面图像底层之上，创建一个图像层，在该图像层中创建一个图像框，将画面号0的画面的图像数据依据图像框的输出特性进行调整，输出到图像框中进行显示。

图像框的输出特性主要包括图像框尺寸和位置，图像框一般定义为矩形，因此，图像框尺寸由图像框的宽度和高度定义。图像框位置一般由图像框起始坐标定义，图像框起始坐标通常是图像框的某一顶点坐标。

可以创建多个图像层，每一图像层中，可以创建多个图像框。并且，各个图像框可以进行层级(从一个图像层调整到另一个图像层)、输出特性等的调整。当用户通过WEB页面观看多画面合成图像底层时，可以在WEB页面中通过鼠标信号创建图像框并输出图像。例如，如图6所示，只需用鼠标在多画面图像底层之上，拖出一个大的矩形框，然后将16画面中0号画面拖进矩形框，就可以实现将0号画面放大观看。

图像框中的预输出画面，可以是多画面合成图像底层当中的某一画面，也可以是其他送显画面，例如用户送显的某一开会时的图片的YUV数据。

为简略起见，下文中以一个图像框为例，并以图像框为矩形框进行说明。可以理解，在多层、多个图像框时，其流程是类似的。为了区分，将多画面图像底层的多画面合成称为一次画面合成，将图像框的创建和图像输出称为二次画面合成。

参照图1，终端或者WEB页面处理模块向MP发送消息，通知MP用户要进行二次画面合成，二次画面合成消息包括：矩形框起始坐标(210，40)，矩形框宽度750，高度450，需要将16画面中0号放入矩形框。

MP得到以上消息，除了将需要进行16画面多画面合成的消息(一次画面合成消息，其包括：需要进行多画面合成，合成的多画面数，多画面布局)下发给DSP，还要将需要进行二次画面合成的消息(包括需要进行二次画面合成，矩形框起始坐标和宽度高度，需要放入矩形框的画面号)下发给DSP。

DSP端，首先是DSP解码模块依次接收16个终端发过来的压缩码流，循环对每个码流进行解码，并将解码后的YUV数据发送给DSP多画面合成模块。

DSP多画面合成模块，首先判断出当前需要进行多画面合成，之后按照MP下发的多画面数和多画面布局得到每个画面的起始坐标和宽度高度，然后对每一路YUV数据进行缩放和合成，完成16画面的多画面合成。

一次多画面合成后，DSP多画面合成模块判断出还要进行二次画面合成，按照MP下发的矩形框起始坐标(210，40)，矩形框宽度750，高度450和所需送显的画面号0号画面进行处理。假设所需送显的画面号0号的宽度为320，高度为180，由于矩形框宽度为750，高度为450，所以需要进行画面缩放，将0号画面缩放为750x450(注意缩放需要使用送显画面号的原始YUV数据)，之后将缩放后的图像按照矩形框起始坐标位置进行二次画面合成。

DSP编码模块接收到多画面合成后的码流，按照相应的格式码率进行编码，编码后就可以得到用户需要看到的图像(也即图6展示的图像，16画面在底层，0号画面显示在上层的矩形框中)。

观看完毕后，用户在WEB页面中关闭矩形框。则WEB页面处理模块通知MP，用户要停止二次画面合成。

MP得到以上消息后，除了将需要进行16画面多画面合成的消息下发给DSP，还要将需要停止二次合成的消息下发给DSP。

DSP端，首先是DSP解码模块依次接收16个终端发过来的压缩码流，循环对每个码流进行解码，并将解码后的YUV数据发送给DSP多画面合成模块。

DSP多画面合成模块，判断出当前需要进行一次画面合成，之后按照MP下发的多画面数和多画面布局得到每个画面的起始坐标和宽度高度，然后对每一路YUV数据进行缩放和合成，完成16画面的多画面合成。

多画面合成后，DSP多画面合成模块判断出不需要进行二次画面合成，直接跳到下一步。

DSP编码模块接收到多画面合成后的码流，按照相应的格式码率进行编码，编码后就恢复了用户需要的看到的图像(也即图5展示的图像)。

综上，本发明实施例的多画面合成控制的主要过程包括：

A、MP下发多画面合成消息，DSP处理此消息。

B、DSP将多个终端传过来的码流进行多路解码。

C、将解码后的数据根据主控MP下发的多画面布局进行多画面合成。

D、将合成后的图像进行编码后输出。

E、MP下发开始多画面二次合成消息，或者下发停止多画面二次合成消息，DSP处理此消息。

F、当开始多画面二次合成时，DSP在进行多画面合成后，将所需送显的图像根据矩形框尺寸进行缩放，然后二次合成到多画面上，或者不进行二次合成。

如果按照消息以及数据处理，流程进行顺序为：A--＞E--＞B--＞C--＞F--＞D。

如图2所示，MP处理二次合成时的消息处理包括：

1、WEB页面是否设置开始多画面二次合成，如是，进行下一步；     否则，进行步骤4。

2、MP得到多画面二次合成指令。

3、MP从多画面二次合成指令中得到矩形框宽度、高度、所需图     像等信息。

4、WEB页面是否设置停止多画面二次合成，如是，进行下一步；     否则流程结束。

5、MP得到停止多画面二次合成指令。

6、MP下发相关消息给DSP。

7、流程结束。

如图3所示，DSP的消息处理主要包括：

1)对MP下发的消息进行处理。

2)进行多路视频压缩码流的解码，如果解码到最后一路，则进行下一步，否则，继续解码。

3)进行多画面合成。

4)是否需要多画面二次合成，如是，进行多画面二次合成后再进行下一步；否则，直接进行下一步。

5)合成图像(在有多画面二次合成时，是含有底层的多画面和上层的矩形框的合成图像；没有多画面二次合成时，就是底层的多画面)的编码输出。

6)流程结束。

如图4所示，本发明实施例的二次画面合成主要包括：

一、是否需要多画面二次合成，是则进行下一步；否则流程结束。

二、根据多画面二次合成信息得到矩形框起始坐标、宽度、高度等信息。

三、得到叠加图像(也即输出到矩形框中的预输出画面)的相关信息，例如，如是底层的多画面的一个画面，则得到该画面的画面号。

四、矩形框和叠加图像的尺寸是否匹配，即矩形框和叠加图像的宽度、高度是否相等，如是，进行下一步；否则，进行步骤六。

五、叠加图像缩放。

六、完成多画面二次合成。

本发明实施例的一种会议电视系统中的多画面合成装置，包括设置于会议电视系统控制端的图像底层合成模块以及图像框合成模块，其中：

所述图像底层合成模块，用于根据预设多画面布局将多个画面合成为多画面图像底层；

图像框合成模块，用于在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。

本发明克服了现有的多画面合成技术中，MCU内部处理复杂性高、多画面显示灵活性差的问题和缺陷，简便、灵活地实现了会议电视系统的多画面合成。在例如需要暂时将多画面中的一个画面放大观看时，只需在WEB页面中通过鼠标拖出一个任意大小的矩形框，然后将所需图像拖到矩形框中，看完后，直接关闭矩形框就可以了。

对于MCU内部处理，不需要改变多画面布局A，只需要在多画面布局A下，MP下发给DSP两条关于多画面二次合成的消息，即开始多画面二次合成消息(包括WEB页面设置的矩形框起始坐标以及宽度、高度和需要输出到矩形框的图像)，以及停止多画面二次合成消息。如果是终端WEB页面设置，需要终端将上述二次合成消息传给MCU的MP；如果是MCU端WEB页面，则直接由MP从WEB页面得到此消息。DSP在根据布局A完成多画面合成后，根据MP下发的开始多画面二次合成消息对所需送显的图像根据矩形框大小进行缩放，然后根据矩形框的起始地址将该画面二次合成到布局A的多画面图像上。

本发明，减少了MCU内部处理的复杂性，多画面图像的显示调整更加灵活、方便、是一种高效的会议系统多画面合成方法。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，但这只是为便于理解而举的实例，不应认为本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，可以做出各种可能的等同改变或替换，这些改变或替换都应属于本发明的保护范围。