级联会议中级联会场的处理方法、装置及系统

摘要

本发明实施例公开了级联会议中级联会场的处理方法，用于实现级联会议中各会场的图像方位和声音方位的一一对应，提高与会者的用户体验。本发明实施例方法包括：接收级联会场发送的音频码流，其中，级联会场发送的音频码流是以不同的会场占用不同的音频声道或音频级联通道发送的；接收非级联会场发送的音频码流；从待选择的音频数据中选择出满足预置条件的音频数据，待选择的音频数据包括：接收到的级联会场发送的音频码流和非级联会场发送的音频码流；对满足预置条件的音频数据的方位顺序进行调整。本发明实施例另外公开了级联会议中级联会场的处理装置及系统。

说明书

技术领域

本发明涉及通信技术领域，尤其涉及级联会议中级联会场的处理方法、 装置及系统。

背景技术

一般的视频会议中，通常是一个多点控制单元(MCU，Multipoint Control Unit)下的普通会场间开会，即会议中的普通会场都是连接在同一个MCU上 的。但随着会议容量的增加或者是组网的越来越复杂，这就需要召开级联会 议，即不仅每个MCU下的会场入会，并且多个MCU间通过级联会场把多个 MCU的会议连成一个会议，这样就达到了多个MCU的会场一起开会的目的。 例如某系统需要召开全国会议，其在北京、各省会、各地市、各县均有MCU 及会场，这样就可以召开一个全国范围内的级联会议，分别在北京、各省会、 各地市安排MCU，各会场分别连接到所属的MCU即可。由于参会会场众多， 并且分散在不同的地方，通过级联会议各会场只需要连接最近的MCU，减少 对网络的要求。

如下举具体实例对现有的一种级联会议中级联会场的处理方法进行描 述，如图1所示，在包含远程呈现会场的级联会议中，MCU1连接有三个会 场，分别是远程呈现会场T1、T3和普通会场T2，远程呈现会场T1包括三个 屏分别为T1L，T1C，T1R，远程呈现会场T3包括三个屏分别为T3L，T3C， T3R，MCU2连接有三个会场，分别是远程呈现会场T4、T6和普通会场T5， 远程呈现会场T4包括三个屏分别为T4L，T4C，T4R，远程呈现会场T6包括 三个屏分别为T6L，T6C，T6R。

假设每个MCU都支持保留声音最大2方的音频数据，即MCU从所连接 的所有会场(包括普通会场，远程呈现会场和级联会场)中最多选择声音最 大的两个会场的音频数据进行混音，如果连接的会场不到两个，则会选择连 接的所有的会场的数据进行混音。

若MCU1和MCU2级联召开会议，级联音频通道为T12，假设级联视频 通道为一条视频码流，为会场T1的中屏T1C。会议混音处理为：在MCU1 的处理中，假设级联通道为最大2方混音，并且假设当时MCU1上的声音最 大的2方为会场T1和T2，则MCU1输出到MCU2的级联音频通道的混音码 流为T12＝T1+T2。在MCU2中，假设当时声音最大的2方为级联会场T12和 T5，如果远程呈现会场T4和T6分别显示的图像为T1C、T5、T6R和T4L、 T1C、T5，则对于T4和T6会场听到声音的情况如下：

对会场T4来说，其听到的声音为T12+T5即T1+T2+T5，同时因为会场 T4为远程呈现会场，其三个屏幕显示的图像分别为T1会场中屏即T1C、T5、 T6会场的右屏T6R的图像。由于用户希望T4会场看到的图像方位与听到的 声音方位对应，即听到T1的声音在左边，听到T5的声音在中间，而听到T6 的声音在右边，由于各会场本身的声音有一定的方位，并不一定与图像显示 的方位一致，所以MCU2就需要对T4听到的声音进行处理，即对各会场的声 音进行方位调整，调整至对应图像的方位后再进行混音输出给会场T4，这样， T4听到的声音方位就能和图像的方位相对应。

对远程呈现会场T6来说，也有和T4同样的问题，也是需要对其听到的 声音(T12+T5)的方位进行调整，使其与看到图像的方位相对应。对会场T4、 T5、T6来说，由于这三个会场与MCU2直接相连，MUC2可以直接对其音频 数据进行处理，分别适应会场T4和T6的方位调整。

如现有技术的上述方案中，T12为级联会场，音频数据为上一级MCU混 音的结果，即为会场T1和T2的数据之和，由于T4和T6均显示会场T1C的 图像，但图像的位置不一样，如果按照各会场显示图像的位置对T1的音频方 位进行调整，由于T1和T2的数据无法分开，也就是同时调整了T2的声音方 位，由于两个会场看到T1的图像方位不一样，必然会导致T4和T6听到的 T2的方位不一样，不能实现级联会议中各会场的图像方位与声音方位一一对 应的效果。

从以上可以看出，级联会场的音频数据作为上一级MCU混音的结果，其 声音方位常与显示会场的图像位置不一致，由于作为混音的结果其数据无法 分开，针对不同的显示屏幕对音频方位进行调整时不能单独的对和该显示屏 幕对应的音频进行调整，而是将该混音的结果做统一的调整，即会将不应该 调整的音频方位也做了调整，不能实现级联会议中各会场的图像方位和声音 方位的一一对应，降低了与会者的用户体验。

发明内容

本发明实施例提供了一种级联会议中级联会场的处理方法、装置及系统， 用于实现级联会议中各会场的图像方位和声音方位的一一对应，提高与会者 的用户体验。

本发明实施例提供的一种级联会议中级联会场的处理方法，包括：接收 级联会场发送的音频码流，其中，级联会场发送的音频码流是以不同的会场 占用不同的音频声道或音频级联通道发送的；接收非级联会场发送的音频码 流；从待选择的音频数据中选择出满足预置条件的音频数据，其中，待选择 的音频数据包括：接收到的级联会场发送的音频码流和非级联会场发送的音 频码流；对满足预置条件的音频数据的方位顺序进行调整。

本发明实施例提供的另一种级联会议中级联会场的处理方法，包括：接 收非级联会场发送的音频码流；从待选择的音频数据中选择出满足预置条件 的音频数据，其中，待选择的音频数据至少包括接收到的非级联会场发送的 音频码流；对满足预置条件的音频数据以不同的会场占用不同的音频声道或 音频级联通道进行处理得到级联会场音频数据，使得第一级联会场能够识别 出级联会场音频数据；将级联会场音频数据进行编码获得音频码流；向第一 级联会场发送音频码流。

本发明实施例提供的一种级联会议中级联会场的处理装置，包括：接收 单元，用于接收级联会场发送的音频码流，其中，级联会场发送的音频码流 是以不同的会场占用不同的音频声道或音频级联通道发送的；还用于接收非 级联会场发送的音频码流；选择单元，用于从待选择的音频数据中选择出满 足预置条件的音频数据，其中，待选择的音频数据包括：接收到的级联会场 发送的音频码流和非级联会场发送的音频码流；顺序调整单元，用于对满足 预置条件的音频数据的方位顺序进行调整。

本发明实施例提供的另一种级联会议中级联会场的处理装置，包括：接 收单元，用于接收非级联会场发送的音频码流；选择单元，用于从待选择的 音频数据中选择出满足预置条件的音频数据，其中，待选择的音频数据至少 包括接收到的非级联会场发送的音频码流；处理单元，用于对满足预置条件 的音频数据以不同的会场占用不同的音频声道或音频级联通道进行处理得到 级联会场音频数据，使得第一级联会场能够识别出级联会场音频数据；编码 单元，用于将级联会场音频数据进行编码获得音频码流；发送单元，用于向 第一级联会场发送音频码流。

本发明另外提供了一种级联会议系统。

从以上技术方案可以看出，本发明实施例具有以下优点：

从本发明实施例提供的以上技术方案可以看出，由于本发明实施例的级 联会议中级联会场的处理装置接收到级联会场发送的音频码流是以不同的会 场占用不同的音频声道或音频级联通道发送的，当级联会议中级联会场的处 理装置需要对音频数据进行方位顺序上的调整时能够直接对需要调整的音频 数据方位进行单独调整，即级联会议中级联会场的处理装置对单个音频数据 方位的调整不会影响到其它音频数据，能够实现级联会议中各会场的图像方 位和声音方位的一一对应，提高了与会者的用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中 所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得 其他的附图。

图1是现有技术中一个级联会议中级联会场的结构图；

图2是本发明实施例中级联会议中级联会场的处理方法一个实施例示意 图；

图3是本发明实施例中级联会议中级联会场的处理方法另一个实施例示 意图；

图4是本发明实施例中级联会议中级联会场的处理方法另一个实施例示 意图；

图5是本发明实施例中级联会议中级联会场的处理方法另一个实施例示 意图；

图6是本发明实施例中一个级联会议中级联会场的结构图；

图7是本发明实施例中另一个级联会议中级联会场的结构图；

图8是本发明实施例中一个级联会议中级联会场的处理装置的示意图；

图9是本发明实施例中另一个级联会议中级联会场的处理装置的示意图；

图10是本发明实施例中另一个级联会议中级联会场的处理装置的示意 图。

具体实施方式

本发明实施例提供了一种级联会议中级联会场的处理方法、装置及系统， 用于实现级联会议中各会场的图像方位和声音方位的一一对应，提高与会者 的用户体验。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合 本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施 例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例， 都属于本发明保护的范围。

首先介绍本发明实施例提供的级联会议中级联会场的处理方法，请参阅 图2描述的本发明一个实施例提供的级联会议中级联会场的处理方法的流程。 该实施例描述的是作为接收端的级联会议中级联会场的处理装置的处理流 程，该级联会议中级联会场的处理装置与级联会场连接，还与非级联会场， 如：普通会场和/或远程呈现会场相连，本发明实施例包括如下步骤：

201、接收级联会场发送的音频码流。

具体可以接收与级联会议中级联会场的处理装置连接的级联会场发送的 音频码流。在本发明实施例中，接收到的级联会场发送的音频码流是以不同 的会场占用不同的音频声道或音频级联通道发送的，与现有技术中级联会场 将音频码流进行混音然后发送是不同的。

在本发明实施例中可以只设置有一条音频级联通道，该音频级联通道包 括两条以上的音频声道，则音频码流是以不同的会场占用不同的音频声道发 送的，即在各个不同的音频声道中分别传输不同会场的音频码流。

在本发明实施例中也可以设置有两条以上的音频级联通道，则音频码流 是以不同的会场占用不同的音频级联通道发送的，即在各个音频级联通道中 分别传输不同会场的音频码流。当音频码流以不同的会场占用不同的音频级 联通道发送时，本发明实施例还包括：接收级联会场发送的音频级联通道组 成信息，其中，音频级联通道组成信息为级联会场建立的音频级联通道的数 目信息，以便获取到接收到的级联会场发送的音频码流占用的音频级联通道 的数目。

202、接收非级联会场发送的音频码流。

具体可以接收与级联会议中级联会场的处理装置连接的普通会场发送的 音频码流，和/或与级联会议中级联会场的处理装置连接的远程呈现会场各个 屏幕分别对应的音频码流，在本发明实施例中，将远程呈现会场的各个屏幕 分别对应的多个音频码流分别作为单个的音频码流输入，该多个音频码流之 间是独立的，远程呈现会场对该多个音频码流的发送是独立的。

需要说明的是，在本发明实施例中步骤201和步骤202之间没有先后顺 序的区别，可以先执行步骤201后执行步骤202，也可以先执行步骤202后执 行步骤201，也可以同时执行步骤201和202，此处不作限定。

203、从待选择的音频数据中选择出满足预置条件的音频数据。

从待选择的音频数据中选择满足预置条件的音频数据，其中，每个会场 的音频数据作为一个音频数据参加是否满足预置条件的选择，待选择的音频 数据包括：接收到的级联会场发送的音频码流和非级联会场发送的音频码流。 选择的音频数据的数量小于或等于预定数量，其中，预定数量是根据预置条 件预先设定。

在本发明实施例中预置的条件具体可以为保留级联会场和非级联会场中 声音最大几方的音频数据，例如，当保留级联会场和非级联会场中声音最大3 方的音频数据时，从所有的音频数据中选择出声音音量从大到小的前3个音 频数据。根据保留声音最大几方的音频数据的原则，从音频数据中筛选出满 足预置条件的音频数据，选择的音频数据的数量少于或等于预定数量。

在本发明实施例中预置的条件具体还可以为保留预置会场的音频数据， 如可以预先设置特定的会场，具体可以为用户指定的一个或两个以上的会场， 则在本发明实施例中满足预置条件为保留预置会场的音频数据，如待选择的 音频数据包括普通会场T1的音频数据，普通会场T2的音频数据，远程呈现 会场T3的音频数据，远程呈现会场T4的音频数据，则假设预置的条件为只 保留用户指定的T1会场的音频数据和T2会场的音频数据，则经过该预置条 件的筛选，可以保留下来T1会场的音频数据和T2会场的音频数据，而T3 会场的音频数据和T4会场的音频数据由于不是用户指定的会场的音频数据而 不会被保留。

需要说明的是，在实际应用中，预置的条件还具体可以为满足其它的条 件，只要是可以对不同的会场的音频数据可以进行筛选即可，此处不做限定。

在本发明实施例中，预定数量是预先设定的，具体根据级联会议中级联 会场的处理装置选择的保留声音最大几方的音频数据确定，例如级联会议中 级联会场的处理装置支持保留最大2方音频数据，则预定数量为2；级联会议 中级联会场的处理装置支持保留最大3方音频数据，则预定数量为3。例如在 级联会议中级联会场的处理装置支持保留最大3方音频数据时，如果级联会 议中级联会场的处理装置连接的会场(包括普通会场和远程呈现会场以及级 联会场)的数量大于或等于3个，则可以选择音量最大的3个音频数据作为 级联会场音频数据，如果在级联会议中级联会场的处理装置连接的会场少于3 个时，则只能选择少于3个的音频数据。

204、对满足预置条件的音频数据的方位顺序进行调整。

当选择出满足预置条件的音频数据后，级联会议中级联会场的处理装置 对满足预置条件的音频数据的方位顺序进行调整，具体可以采用如下方式实 现：

如果非级联会场的视频源只有一个屏被显示在多个屏中的一个屏中或者 是在多画面中的一个位置的画面，则该非级联会场的视频源的所有屏对应的 音频数据的输出方位顺序都为被显示的那个屏在多个屏中的显示方位顺序相 同或者在多画面中的那个位置的画面所在的方位顺序，例如，一个远程呈现 会场T1，包括三个屏T1L，T1C，T1R，只被显示其中的一个屏T1L，则该远 程呈现会场的三个屏T1L，T1C，T1R对应的音频数据输出方位都和被显示的 那个屏T1L在多个屏中的显示方位顺序相同，或在多画面中的那个位置的画 面所在的方位顺序相同。

如果非级联会场的视频源的多个屏中有两个以上的屏被显示，则视频源 被显示的两个以上的屏对应的音频数据输出方位顺序和视频源被显示的这些 屏的方位顺序一一对应，视频源的多个屏中没有被显示的屏对应的音频数据 输出方位顺序为和视频源被显示所有屏中的其中一个屏保持相同，例如，远 程呈现会场T1，包括三个屏T1L，T1C，T1R，只有屏T1L，T1C被显示，而 T1R没有被显示，则被显示的T1L，T1C对应的音频数据输出方位顺序和被 显示的T1L，T1C的方位顺序相同，没有被显示的T1R对应的音频数据可以 和被显示的所有屏T1L，T1C中的其中一个屏的方位顺序相同。

如果非级联会场的视频源中的一个屏被同时显示在多个多画面中或者是 一个多画面和独立屏中，则视频源对应的音频数据的输出方位顺序优先级从 高到低依次为：独立屏的方位、子画面大的屏的方位、以中、左、右优先级 显示的屏的方位。例如，远程呈现会场T1，包括三个屏T1L，T1C，T1R，有 一个屏T1L被显示在多个多画面中或者是一个多画面和独立屏中，那么该屏 T1L对应的音频数据输出方位的顺序优先级依次为：独立屏的方位、子画面 大的屏的方位、以中、左、右优先级显示的屏的方位。

需要说明的是，上述实施例只是根据视频源的方位顺序对音频数据进行 方位调整的其中一种方式，也可以采用其它的实现方式，只要输出的音频数 据的方位顺序符合一定的顺序要求即可。如：如果非级联会场的音频数据满 足了预置条件而被保留下来，但却没有看该会场的图象，即此会场为不可见 会场，则调整策略可以是：保持会场本身的音频数据的方位顺序，或者，将 音频数据的方位顺序设置在一个固定位置，如固定在中间的方位出声，或者 是两边的方位，另外由于没看到其图象，也可以固定在屏幕外的某个地方。

在本发明实施例中，由于级联会议的级联会场的处理装置接收到级联会 场发送的音频码流是以不同的会场占用不同的音频声道或音频级联通道发送 的，当级联会议中级联会场的处理装置需要对音频数据进行方位顺序上的调 整时能够直接对需要调整的音频数据进行单独调整，即级联会议中级联会场 的处理装置对单个音频数据方位的调整不会影响到其它音频数据，能够实现 级联会议中各会场的图像方位和声音方位的一一对应，提高了与会者的用户 体验。

需要说明的是，在图2所示的实施例中，步骤202之后还可以包括：对 级联会场发送的音频码流和非级联会场发送的音频码流进行解码，则待选择 的音频数据具体包括：对级联会场发送的音频码流和非级联会场发送的音频 码流进行解码的结果。

上述实施例中描述的是级联会议中级联会场的处理装置接收到级联会场 发送的音频码流以及非级联会场发送的音频码流后，对音频数据进行方位顺 序的调整。下面对级联会议中级联会场的处理装置向第一级联会场发送音频 码流的角度出发进行描述，请参阅如下实施例。

首先介绍本发明实施例提供的级联会议中级联会场的处理方法，请参阅 图3描述的本发明一个实施例提供的级联会议中级联会场的处理方法的流程， 该实施例描述的是级联会议中级联会场的处理装置的处理流程，该级联会议 中级联会场的处理装置与第一级联会场连接，还与非级联会场如：普通会场 和/或远程呈现会场相连，本发明实施例包括如下步骤：

301、接收非级联会场发送的音频码流。

具体可以接收与级联会议中级联会场的处理装置连接的普通会场发送的 音频码流，和/或与级联会议中级联会场的处理装置连接的远程呈现会场各个 屏幕分别对应的音频码流，在本发明实施例中，将远程呈现会场的各个屏幕 分别对应的多个音频码流分别作为单独的音频码流输入，该多个音频码流之 间是独立的，远程呈现会场对该多个音频码流的发送是独立的。

302、从待选择的音频数据中选择满足预置条件的音频数据。

其中，待选择的音频数据至少包括非级联会场发送的音频码流，从待选 择的音频数据中选择满足预置条件的音频数据，选择的音频数据的数量小于 或等于预定数量，其中，预定数量是根据预置条件预先设定，关于预置条件 的说明，可参照图2中步骤203的说明。

303、对满足预置条件的音频数据以不同的会场占用不同的音频声道或音 频级联通道进行处理。

当级联会议中级联会场的处理装置选择出满足预置条件的音频数据后， 可以分别按照不同的会场占用不同的音频声道或音频级联通道进行处理，获 得级联会场音频数据，使得第一级联会场能够识别出该级联会场音频数据。

需要说明的是，在本发明实施例中对音频数据的处理是以会场为单位， 按照各个音频声道或音频级联通道分别进行的，可以保证对单个音频数据的 处理不会影响到其它的音频数据，具体的处理方法将在后续实施例中说明。

304、将级联会场音频数据进行编码获得音频码流。

其中，将上述步骤中得到的级联会场音频数据进行编码，将编码的结果 作为音频码流。

305、向第一级联会场发送音频码流。

在进行编码之后获得音频码流后，向第一级联会场发送该音频码流。需 要说明的是，本发明实施例中第一级联会场是直接与级联会议中级联会场的 处理装置连接的级联会场。

从本发明实施例中可以看出，由于本发明实施例的级联会议中级联会场 的处理装置对满足预置条件的音频数据以不同的会场占用不同的音频声道或 音频级联通道进行处理得到级联会场音频数据，使得作为接收端的第一级联 会场当需要对音频数据进行方位顺序上的调整时能够直接对音频数据进行单 独调整。

进一步地，本发明提供另一个级联会议中级联会场的处理方法的实施例， 具体请参阅图4，该级联会议中级联会场的处理装置与第一级联会场，第二级 联会场相连接，还与非级联会场相连，在本发明实施例中只设置有一条音频 级联通道，该音频级联通道包括两条以上的音频声道，即在各个音频声道中 分别传输音频码流。本发明实施例包括：

401、接收非级联会场发送的音频码流，以及第二级联会场发送的音频码 流。

具体可以接收与级联会议中级联会场的处理装置连接的普通会场发送的 音频码流，和/或与级联会议中级联会场的处理装置连接的远程呈现会场各个 屏幕分别对应的音频码流，在本发明实施例中，将远程呈现会场的各个屏幕 分别对应的多个音频码流分别作为单个的音频码流输入，该多个音频码流之 间是独立的，远程呈现会场对该多个音频码流的发送是独立的。

当级联会议中级联会场的处理装置连接有第二级联会场时，级联会议中 级联会场的处理装置也接收第二级联会场发送的音频码流。需要说明的是， 本发明实施例中第二级联会场是直接与级联会议中级联会场的处理装置连接 的一个级联会场。

402、从待选择的音频数据中选择出满足预置条件的音频数据。

待选择的音频数据至少包括非级联会场发送的音频码流，本发明实施例 中预置的条件具体可以为保留级联会场和非级联会场中声音最大几方的音频 数据，根据保留声音最大几方的音频数据的原则从待选择的音频数据中筛选 出音频数据，选择的音频数据的数量少于或等于预定数量。

在本发明实施例中，参加保留声音最大几方的音频数据比较的有级联会 议中级联会场的处理装置连接的非级联会场发送的音频码流和第二级联会场 发送的音频码流，其中，第二级联会场的音频码流是作为一个会场的音频码 流参加比较的，在步骤402中，可以将第二级联会场的音频码流叠加起来作 为一个音频码流参加比较，在实际应用中，还可以通过其他方式如将第二级 联会场的音频码流的包络信息通过实时传送协议(RTP，Real-time Transport Protocol)填充信息的方式向级联会议中级联会场的处理装置发送，级联会议 中级联会场的处理装置接收到该音频包络信息后，将该音频包络信息参加保 留声音最大几方的音频数据的比较。

403、当满足预置条件的音频数据为远程呈现会场的屏幕对应的音频数据 时，将远程呈现会场的屏幕对应的音频数据作为单独的会场对应的音频数据。

本发明实施例中，将满足预置条件的远程呈现会场的屏幕作为单独的会 场通过单独的音频声道进行传输，级联会场也作为一个会场通过单独的音频 声道进行传输。

404、或，当满足预置条件的音频数据为普通会场对应的音频数据且普通 会场的声道数不是单声道时，将该普通会场的音频数据混音为单声道音频数 据。

本发明实施例中，将满足预置条件，声道数不是单声道的普通会场的音 频数据混音为单声道音频数据，通过一个音频声道进行传输。

405、根据需要发送的视频码流的方位顺序，对满足预置条件的音频数据 按照不同的会场分别调整方位顺序。

其中，需要发送的视频码流为级联会议中级联会场的处理装置接收到的 视频码流中的一部分或者全部，具体需要向第一级联会场发送哪些视频码流， 可以由用户来选择决定，也可以由级联会议中级联会场的处理装置决定，此 处不作限定。

在本步骤中，将调整过方位顺序的满足预置条件的音频数据作为级联会 场音频数据。

在本发明实施例中，根据需要发送的视频码流的方位顺序，对满足预置 条件的音频数据按照不同的会场分别调整方位顺序，以使得作为接收端的第 一级联会场能够根据视频码流的方位顺序，识别出满足预置条件的音频数据 的方位顺序。

在实际应用中，若满足预置条件的音频数据对应的视频源和需要发送的 视频码流相同，将满足预置条件的音频数据的方位顺序调整为和需要发送的 视频码流相同的方位顺序；若满足预置条件的音频数据对应的视频源和需要 发送的视频码流不相同，将满足预置条件的音频数据的方位顺序按照图2中 的步骤204描述的策略调整。例如：需要发送的视频码流为T2、T1C、T3R， 若满足预置条件的音频数据为T3R、T2、T1L，则由于音频数据T2和视频码 流T2相同，将音频数据T2调整至和视频码流相同的顺序即左边，音频数据 T1L和视频码流均不相同，但是视频码流中存在T1C，由于视频码流T1C和 音频码流T1L同为一个会场T1的两个码流，将音频数据T1L的方位顺序调 整为所显示的视频码流T1C的方位顺序，即该音频数据T1L调整为视频源T1C 的方位顺序即中间，音频数据T3R和视频码流T3R相同，将音频数据T3R调 整至和视频码流T3R方位相同的右边，故调整过方位顺序后的音频数据为 T2、T1L、T3R。

需要说明的是，本步骤405也可以使用如下步骤进行替换：

将满足预置条件的音频数据按照不同的会场占用不同的音频声道进行排 序，将排序过的满足预置条件的音频数据作为级联会场音频数据，其中，排 序可以为按照声音最大几方的音频数据的顺序依次排列，但也可以是其它的 顺序，此处不作限定。

然后，生成音频会场位置信息，其中，音频会场位置信息为满足预置条 件的音频数据的位置排序信息。

最后，将生成的音频会场位置信息发送给第一级联会场，在具体实现时 可以采用RTP填充信息的填充数据方式向第一级联会场发送，同样可以采取 其它实现方式，此处不作限定。

406、将级联会场音频数据进行编码获得音频码流。

其中，将上述步骤中得到的级联会场音频数据进行编码，即可以获取到 音频码流。

407、向第一级联会场发送音频码流。

在进行编码之后获得了音频码流之后，向第一级联会场发送音频码流。 需要说明的是，本发明实施例中第一级联会场是直接与级联会议中级联会场 的处理装置连接的另一个级联会场。

在本发明实施例中的步骤406中，根据需要发送的视频码流的方位顺序， 对相应的级联会场音频数据也作了方位顺序上的调整，使得作为接收端的第 一级联会场能够根据视频码流的方位顺序，识别出满足预置条件的音频数据 的方位顺序，使得第一级联会场就可以对音频数据进行单独的调整。

从本发明实施例中可以看出，由于本发明实施例的级联会议中级联会场 的处理装置对满足预置条件的音频数据以不同的会场占用不同的音频声道或 音频级联通道进行处理得到级联会场音频数据，使得作为接收端的第一级联 会场当需要对音频数据进行方位顺序上的调整时能够直接对音频数据进行单 独调整。

可选地，本发明提供另一个级联会议中级联会场的处理方法的实施例， 具体请参阅图5，该级联会议中级联会场的处理装置与第一级联会场，第二级 联会场相连接，还与非级联会场相连，在本发明实施例中设置有两条以上的 音频级联通道，这与现有技术中只有一条音频级联通道是不同的，即在各个 音频级联通道中分别传输音频码流。本发明实施例包括：

501、接收非级联会场发送的音频码流，以及第二级联会场发送的音频码 流。

本步骤中的内容和上一实施例中步骤401的内容相同，具体可参照该步 骤，此处不作详细描述。

502、对非级联会场发送的音频码流和第二级联会场发送的音频码流进行 解码。

获取到非级联会场发送的音频码流和第二级联会场发送的第二音频码流 后，可以对该音频码流进行解码，需要说明的是，对音频码流进行解码时可 选的一种实现形式。

503、从待选择的音频数据中选择出满足预置条件的音频数据；

待选择的音频数据具体包括：对非级联会场发送的音频码流和第二级联 会场发送的音频码流进行解码的结果，本发明实施例中可以选择根据保留声 音最大几方的音频数据的原则从待选择的音频数据中选择音频数据，选择的 音频数据的数量少于或等于预定数量。

504、将满足预置条件的音频数据按照不同的会场占用不同的音频级联通 道进行处理得到级联会场音频数据；

在本步骤中，将满足预置条件的音频数据按照不同的会场占用不同的音 频级联通道进行处理，即在一个音频级联通道中只用来传输一个会场的音频 数据，将满足预置条件的音频数据作为级联会场音频数据。本发明实施例中， 将满足预置条件的会场作为单独的会场通过音频级联通道进行传输音频数 据，级联会议中级联会场设置有多条的音频级联通道，那么本发明实施例中 可以按照各个音频级联通道对各个会场的音频数据进行处理，每条音频级联 通道的声道数可以为单声道、双声道、三声道或者是更多的声道数，此处不 作限定。

505、生成音频级联通道组成信息，其中，音频级联通道组成信息为级联 会场建立的音频级联通道的数目信息，以便获取到接收到的级联会场发送的 音频码流占用的音频级联通道的数目。

506、将级联会场音频数据进行编码获得音频码流。

其中，将上述步骤中满足预置条件的音频数据进行编码，作为音频码流。

507、向第一级联会场发送音频码流，并向第一级联会场发送音频级联通 道组成信息。

在进行编码之后获得需要发送的音频码流后，向第一级联会场发送。由 于本发明实施例中级联会议中级联会场的处理装置设置有多条音频级联通 道，而音频级联通道的满足预置条件的却总是会时刻变化，在本发明实施例 中还需要向第一级联会场发送音频级联通道组成信息。

从本发明实施例中可以看出，由于本发明实施例的级联会议中级联会场 的处理装置选择出满足预置条件的音频数据是按照不同的音频级联通道分别 发送，使得作为接收端的级联会议中级联会场的处理装置当需要对音频数据 进行方位顺序上的调整时能够直接对音频数据进行单独调整。

如下举具体实例对本发明实施例进行描述，如图6，描述了本发明一个实 施例提供的一个级联会议中级联会场的结构，以设置有一个音频级联通道， 该音频级联通道包括两个以上的音频声道为例，请参阅图6所示：

级联会场有2个MCU，分别是MCU1和MCU2，其中，MCU1与MCU2 连接。

其中，MCU1连接有1个普通会场和2个远程呈现会场，如图6所示， 为没有对音频码流顺序进行调整之前的示意图，在图6中，1个普通会场为 T2，2个远程呈现会场分别是T1和T3，远程呈现会场T1和T3分别有三个 屏幕，分别为T1L、T1C、T1R和T3L、T3C、T3R，同时MCU2作为MCU1 的级联会场也与MCU1连接，MCU2连接有2个普通会场和1个远程呈现会 场，如图6所示，2个普通会场分别是T5和T6，1个远程呈现会场为T4，包 含三个屏幕，分别为T4L、T4C、T4R。每个MCU都是支持保留最大3方音 频会场，即MCU从所连接的所有会场(包括普通会场、远程呈现会场和级联 会场)中选择声音最大的3个会场的音频数据进行编码。

MCU1可以接收到T1L、T1C、T1R、T2和T3L、T3C、T3R发送的音频 码流，MCU2可以接收到T4L、T4C、T4R、T5和T6发送的音频码流以及 MCU1发送的级联会场音频码流和级联会场视频码流，如图6所示，本发明 实施例中，MCU1向MCU2发送的级联会场视频码流为T2、T1C、T3R，本 实施例不描述MCU1向T1L、T1C、T1R、T2和T3L、T3C、T3R发送级联 会场媒体数据的过程，只描述MCU1向MCU2发送级联会场音频码流的过程。

对于MCU1分别对音频码流进行解码获得T1L、T1C、T1R、T2和T3L、 T3C、T3R对应的会场音频数据，将T1L、T1C、T1R、T2和T3L、T3C、 T3R对应的会场音频数据作为待选择的音频数据，根据保留声音最大3方的 音频数据的原则从待选择的音频数据中筛选出音频数据，假设根据保留声音 最大的3方的音频数据筛选出的音频数据为T1C、T2、T3R，则接收到的级 联会场视频码流和筛选出的音频数据的音频源完全相同，即级联会场视频码 流T2、T1C、T3R和筛选出的音频数据T1C、T2、T3R完全相同，则可以按 照级联会场视频码流的顺序对筛选出的音频数据的方位顺序进行相对应的调 整，则调整后，筛选出的音频数据的方位顺序和级联会场视频码流的方位顺 序相同，从而将调整过顺序的音频数据作为级联会场音频数据并进行编码， 获得MCU1的音频码流T1C，T2，T3R，则MCU2能够识别出该音频码流。

若根据保留声音最大3方的音频数据筛选出的音频数据不是T1C、T2、 T3R，即筛选出的音频数据的来源和级联会场视频码流的来源不同，则定义筛 选出的音频数据所在的会场是不可见会场，则可以将不可见会场对应的音频 数据按照图2中的步骤204描述的策略调整。

下面从MCU 2作为接收端的角度进行描述，首先接收MCU 1发送的音 频码流，接收与MCU 2相连接的非级联会场T4，T5，T6发送的音频码流， 然后从待选择的音频数据中选择出满足预置条件的音频数据，选择音频数据 的过程和MCU1中的处理过程相同，此处不再赘述。最后，对选择出的音频 数据可以进行方位顺序上的调整，具体的调整策略已经在图2的实施例中作 了说明，此处不再赘述。本发明实施例中，对单个音频数据方位的调整不会 影响到其它音频数据，能够实现级联会议中各会场的图像方位和声音方位的 一一对应，提高了与会者的用户体验。

如下举另一具体实例对本发明实施例进行描述，如图7，描述了本发明另 一个实施例提供的一个级联会议中级联会场的结构，本发明实施例中设置有 两条以上的音频级联通道，即在各个音频级联通道中分别传输音频码流，请 参阅图7所示：

级联会场有2个MCU，分别是MCU1和MCU2，其中，MCU1与MCU2 连接，MUC1和MUC2之间连接有四条音频级联通道，四条视频级联通道。 其中，MCU1连接有两个普通会场和两个远程呈现会场，如图7所示，两个 普通会场为T2和T7，两个远程呈现会场分别是T1和T3，同时MCU2作为 MCU1的级联会场也与MCU1连接，MCU2连接有两个普通会场和一个远程 呈现会场，如图7所示，2个普通会场分别是T5和T6。MCU1与MCU2间 的级联视频源为T2、T1C、T3R、T7。每个MCU都是支持保留最大4方音频 会场，即MCU从所连接的所有会场(包括普通会场、远程呈现会场和级联会 场)中选择声音最大的4个会场的音频数据。

在本发明实施例中，MCU1和MCU2的音频级联通道为多条，具体可以 根据级联会议的要求而定，同时，音频级联通道同样按照保留声音最大几方 的音频数据的原则对音频数据进行筛选，在本发明实施例中音频级联通道为4 条，每条音频级联通道的声道数可以为单声道、双声道、三声道或者是更多 的声道数，此处不作限定。由于音频级联通道为多条，本发明实施例中可以 将远程呈现会场的音频数据作为一个会场的音频数据，但是音频级联通道的 声道数可以设为双声道或三声道，以保证一个音频级联通道能够加载一个远 程呈现会场的全部音频。

MCU1可以接收到T1、T2、T3和T7发送的音频码流，MCU2可以接收 到T4、T5和T6发送的音频码流以及MCU1发送的级联会场音频码流和级联 会场视频码流，如图7所示，本发明实施例中，MCU1向MCU2发送的级联 会场视频码流为T2、T1C、T3R、T7，本实施例不描述MCU1向T1、T2、T3 和T7发送级联会场媒体数据的过程，只描述MCU1向MCU2发送级联会场 音频码流的过程。

MCU1分别对音频码流进行解码获得T1、T2、T3和T7对应的会场音频 数据，将T1、T2、T3和T7对应的会场音频数据作为待选择的音频数据，根 据保留最大4方会场的音频数据的原则从待选择的音频数据中筛选出音频数 据为T1、T2、T3和T7，作为级联会场音频数据。然后，分别将该四路音频 数据加载到相应的音频级联通道，若筛选出的音频数据为远方呈现会场的音 频数据，则相应的加载到多声道的音频级联通道。

获得级联会场音频数据之后，对级联会场音频数据进行编码获得级联会 场音频码流，然后，向级联会场MCU 2发送级联会场音频码流，并向级联会 场MCU 2发送级联会场视频码流。

由于级联通道的音频最大方是时时变化的，所以需要在级联音频通道的 码流中同时也向MCU 2发送音频级联通道组成信息，其中，音频级联通道组 成信息为级联会场建立的音频级联通道的数目信息，以便获取到接收到的音 频码流占用的音频级联通道的数目，具体可以通过RTP填充信息的形式发送， 但不仅限该方式，此处不作限定。

MCU2收到级联音频通道的最大方会场的数据后，加上和MCU2直接相 连的会场音频数据，MCU2实际上相当于收到了T7、T1、T2、T3、T4、T5、 T6各个会场的独立数据，根据本MCU上会场所需要显示的视频码流的情况 对对应会场的音频码流的方位进行调整处理，使每个会场视频码流的方位顺 序与对应的音频码流的方位顺序一一对应。

需要说明的是，若音频级联通道的会场与视频级联通道的视频会场不完 全相同时，则按照如图2所示的本发明实施例中的处理方式，此处不再赘述。

以上内容对本发明实施例中的级联会议中级联会场的处理方法进行了描 述，下面对级联会议中级联会场的处理装置进行描述，本发明实施例提供的 级联会议中级联会场的处理装置可以作为MCU使用。

请参阅图8，本发明实施例的级联会议中级联会场的处理装置的一个例子 包括：

接收单元801，用于接收级联会场发送的音频码流，级联会场发送的音频 码流是以不同的会场占用不同的音频声道或音频级联通道发送的；还用于接 收非级联会场发送的音频码流；

选择单元802，用于从待选择的音频数据中选择出满足预置条件的音频数 据，待选择的音频数据包括：级联会场发送的音频码流和非级联会场发送的 音频码流；

顺序调整单元803，用于对选择单元803选择出的音频数据的方位顺序进 行调整。

在本发明实施例中，由于级联会议中级联会场的处理装置接收到级联会 场发送的音频码流是以不同的会场占用不同的音频声道或音频级联通道发送 的，当级联会议中级联会场的处理装置需要对音频数据进行方位顺序上的调 整时能够直接对需要调整的音频数据方位进行单独调整，即级联会议中级联 会场的处理装置对单个音频数据方位的调整不会影响到其它音频数据，能够 实现级联会议中各会场的图像方位和声音方位的一一对应，提高了与会者的 用户体验。

需要说明的是，在本发明图8所示的实施例中，当级联会场发送的音频 码流以不同的会场占用不同的音频级联通道发送时，接收单元801，还用于接 收级联会场发送的音频级联通道组成信息，其中，音频级联通道组成信息为 级联会场建立的音频级联通道的数目信息，以便获取到接收到的音频码流占 用的音频级联通道的数目。

级联会议中级联会场的处理装置还可以包括：解码单元，用于对级联会 场发送的音频码流和非级联会场发送的音频码流进行解码。

上述实施例中描述的是级联会议中级联会场的处理装置从接收级联会场 的音频码流，对满足预置条件的音频数据进行方位顺序的调整。下面对级联 会议中级联会场的处理装置从向级联会场发送音频码流的角度出发进行描 述，请参阅图9：

接收单元901，用于接收非级联会场发送的音频码流，还用于接收第二级 联会场发送的音频码流；

解码单元902，用于对接收单元901接收到的音频码流进行解码；

选择单元903，用于从待选择的音频数据中选择出满足预置条件的音频数 据，待选择的音频数据具体包括解码单元902解码的结果；

处理单元904，用于对选择单元903选择出的音频数据以不同的会场占用 不同的音频声道或音频级联通道进行处理得到级联会场音频数据，使得第一 级联会场能够识别出级联会场音频数据；

编码单元905，用于将处理单元904的处理结果进行编码获得音频码流；

发送单元906，用于向第一级联会场发送音频码流。

从本发明实施例中可以看出，由于本发明实施例的级联会议中级联会场 的处理装置对满足预置条件的音频数据以不同的会场占用不同的音频声道或 音频级联通道进行处理得到级联会场音频数据，使得作为接收端的第一级联 会场当需要对音频数据进行方位顺序上的调整时能够直接对音频数据进行单 独调整。

进一步地，请参阅图10，在本发明实施例中只设置有一条音频级联通道， 该音频级联通道包括两条以上的音频声道，即在各个音频声道中分别传输音 频码流。本发明实施例的级联会议中级联会场的处理装置的另一个例子包括：

接收单元1001，用于接收非级联会场发送的音频码流；还用于接收第二 级联会场发送的音频码流；

解码单元1002，用于对接收单元1001接收到的音频码流进行解码；

选择单元1003，用于从待选择的音频数据中选择出满足预置条件的音频 数据，待选择的音频数据具体包括解码单元1002解码的结果；

处理单元1004，包括：会场识别模块10041，用于若满足预置条件的音 频数据为远程呈现会场的屏幕对应的音频数据，将远程呈现会场的屏幕对应 的音频数据作为单独的会场对应的音频数据；混音模块10042，用于若满足预 置条件的音频数据为普通会场对应的音频数据且普通会场的声道数不是单声 道，将普通会场的音频数据混音为单声道音频数据；关联模块1043，用于根 据需要发送的视频码流的方位顺序，对满足预置条件的音频数据按照不同的 会场占用不同的音频声道分别调整方位顺序，将调整过方位顺序的满足预置 条件的音频数据作为级联会场音频数据；

编码单元1005，用于将处理单元1004获取到的级联会场音频数据进行编 码获得音频码流；

发送单元1006，用于向第一级联会场发送音频码流。

需要说明的是，本发明实施例中，处理单元1004包括会场识别模块10041 和混音模块10042时也可以不包括关联模块10043而包括如下模块：排序模 块，用于将满足预置条件的音频数据按照不同的会场占用不同的音频声道进 行排序，将排序过的满足预置条件的音频数据作为级联会场音频数据；生成 模块，用于生成音频会场位置信息，音频会场位置信息为满足预置条件的音 频数据的位置排序信息；同时本发明实施例中的级联会议中级联会场的处理 装置中发送单元1006，还用于向第一级联会场发送音频会场位置信息。

在本发明实施例中也可以设置有两条以上的音频级联通道，即在各个音 频级联通道中分别传输音频码流，级联会议中级联会场的处理装置此时包括 如下单元：生成单元，用于生成音频级联通道组成信息，其中，音频级联通 道组成信息为级联会场建立的音频级联通道的数目信息，以便获取到接收到 的级联会场发送的音频码流占用的音频级联通道的数目；同时本发明实施例 中的级联会议中级联会场的处理装置中发送单元1006，还用于向第一级联会 场发送音频级联通道组成信息。

从本发明实施例中可以看出，由于级联会议中级联会场的处理装置对满 足预置条件的音频数据以不同的会场占用不同的音频声道或音频级联通道进 行处理得到级联会场音频数据，使得作为接收端的第一级联会场当需要对音 频数据进行方位顺序上的调整时能够直接对音频数据进行单独调整。

本发明实施例还提供了一种级联会议系统，包括：

如图8所示的级联会议中级联会场的处理装置；

和，

如图9或图10所示的级联会议中级联会场的处理装置。

从本发明实施例可以看出，由于级联会议系统接收到的音频码流是以不 同的会场占用不同的音频声道或音频级联通道发送的，当级联会议系统需要 对音频数据进行方位顺序上的调整时能够直接对需要调整的音频数据进行单 独调整，即级联会议系统对单个音频数据方位的调整不会影响到其它音频数 据，能够实现级联会议中各会场的图像方位和声音方位的一一对应，提高了 与会者的用户体验。

上述装置和系统内的各模块之间的信息交互、执行过程等内容，由于与 本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙 述，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机 可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的级联会议中级联会场的处理方法、装置及系统进 行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想在具 体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本发明的限制。