一种远程呈现技术中媒体数据发送和播放的方法及系统

摘要

本发明公开了一种远程呈现技术中媒体数据发送的方法及系统，通过采集与坐席相对应的视频或音频数据，对采集到的数据分别进行处理，得到根据采集位置区分的多路码流数据和对应的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。本发明还公开了一种远程呈现技术中媒体数据播放的方法及系统，通过上述方法和系统，能够在数据传输的过程中直接标识相应的采集位置，即对应的播放位置，使得接收端的与会者可以体验到听声辨位，身临其境的感受。进一步的，有效解决了多路音频或视频数据之间的同步问题。

说明书

技术领域

本发明涉及视频会议技术，特别是指一种远程呈现技术中媒体数据发送和 播放的方法及系统。

背景技术

远程呈现(telepresence)是一种高级的远程会议系统。远程呈现以其真实 的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼 神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统 非常重要的技术指标。在传统视频会议系统中，每个会场听到的声音是整个会 议中前几个声音最大的会场混音叠加后的声音，每个会场声音的输入源和输出 只有一个，用户无法感受到声音从会场的哪个方位发出。

在远程呈现会议系统中，各个会场有的是单屏会场有的是多屏会场。多屏 会场中，每个屏幕显示一处坐席与会者的图像，相应的每处坐席与会者对应了 一路音频输入。如果要达到听声辨位的效果，在多屏会场中，发言者图像显示 在会场哪个屏，声音即从该屏所在方位发出，即实现声音跟随图像。例如三屏 会场中，左席发言，那么应该听到声音从左侧发出；中席发言，其应该听到声 音从中间发出；右席发言，与会人员应该听到声音从右侧发出。

这种情况下，不同方位的音频输入输出，需要区别对待进行不同的混音， 传统的单路音频混音方法显然不能满足这种情况。同时在单屏和多屏会场互通 的多点会议中，单屏和多屏会场如何混音输出，同时不影响两个会场听声辨位 的效果，也是需要解决的问题。进一步的，若采用多路码流分别传输的方式， 则多路码流之间的严格同步非常困难，难以达到视频会议对音频的同步要求。

发明内容

有鉴于此，本发明的主要目的在于提供一种远程呈现技术中媒体数据发送 和播放的方法及系统，解决了现有的电视会议系统中，采用多路码流分别传输 的方式来传输媒体数据，不易实现音频同步或视频同步的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种远程呈现技术中媒体数据发送的方法，所述方法包括：

采集与坐席相对应的音频或视频数据，对采集到的音频或视频数据分别进 行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信 息；

对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信 息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别 发送包含多路音频或视频的数据包。

其中，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包 体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且 标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路 码流数据的内容。

其中，所述对采集到的音频或视频数据分别进行处理，具体为：将每一个 采集位置采集到的音频或视频数据都分别处理为一路码流数据。

本发明还提供了一种远程呈现技术中媒体数据播放的方法，所述方法包括：

接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视 频数据，以及各路码流数据的采集位置信息；

将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的 播放位置输出完成播放。

其中，所述解析出多路音频数据或视频数据，以及各路码流数据的采集位 置信息，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息， 根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。

本发明还提供了一种远程呈现技术中媒体数据发送的系统，所述系统包括： 一个或多个音视频采集设备、多路码流数据处理模块和多路码流数据传输模块， 其中，

所述一个或多个音视频采集设备，用于分别采集与坐席相对应的音频或视 频数据，将采集到的数据发送给多路码流数据处理模块；

所述多路码流数据处理模块，用于对采集到的音频或视频数据分别进行处 理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息， 将多路码流数据和所述采集位置信息发送给多路码流数据传输模块；

所述多路码流数据传输模块，用于对多路码流数据进行编码，并把编码后 的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和 所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。

其中，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包 体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且 标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路 码流数据的内容。

其中，所述多路码流数据处理模块对采集到的音频或视频数据分别进行处 理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码 流数据。

本发明还提供了一种远程呈现技术中媒体数据播放的系统，所述系统包括： 多个音视频播放设备、多路码流数据处理模块和多路码流数据传输模块，其中，

多路码流数据传输模块，用于接收并解析发送端的多路码流数据传输模块 发送的包含多路音频或视频的数据包，将解析出的多路音频数据或视频数据， 以及各路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块；

多路码流数据处理模块，用于将多路音频数据或视频数据，发送给各路码 流数据的采集位置信息所对应的音视频播放设备完成播放。

本发明所提供的远程呈现技术中媒体数据发送和播放的方法及系统，采集 与坐席相对应的视频或音频数据，对采集到的视频或音频数据分别进行处理， 得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；对多 路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打 包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含 多路音频或视频的数据包。能够在数据传输的过程中直接标识相应的采集位置， 即对应的播放位置，使得接收端的与会者可以体验到听声辨位，身临其境的感 受。进一步的，也不需要另外进行音频同步或视频同步。

附图说明

图1为本发明一种远程呈现技术中媒体数据发送和播放的方法流程示意 图；

图2为本发明所述包含多路音频或视频的数据包的结构示意图；

图3为在三个单屏会场与一个多屏会场组网时应用本发明通信的音频视频 码流走向示意图；

图4为两个三个单屏会场组网时应用本发明通信的音频视频码流走向示意 图；

图5为本发明一种远程呈现技术中媒体数据发送和播放的系统结构示意 图。

具体实施方式

本发明的基本思想是：采集与坐席相对应的视频或音频数据，对采集到的 视频或音频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路 码流数据的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频 数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位 置信息统一打包，分别发送包含多路音频或视频的数据包。

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

图1为本发明一种远程呈现技术中媒体数据发送和播放的方法流程示意 图，如图1所示，所述方法包括：

步骤101，采集与坐席相对应的音频或视频数据；

具体的，所述采集与坐席相对应的音频或视频数据，具体为：通过安装在 不同采集位置上的视频采集设备和音频采集设备来完成。

步骤102，对采集到的音频或视频数据分别进行处理，得到根据采集位置 区分的多路码流数据和各路码流数据的采集位置信息；

具体的，所述对采集到的音频或视频数据分别进行处理，具体为：将每一 个采集位置采集到的视频或音频数据都分别处理为一路码流数据。其中，所述 分别处理是根据采集位置的不同进行区分。例如：三屏会场中有左、中、右三 个采集位置，针对左侧视频和音频采集设备采集到的数据，分别处理得到左侧 视频码流数据和左侧音频码流数据，所述左侧音频码流数据即对应接收端播放 的左声道；针对右侧视频和音频采集设备采集到的数据，分别处理得到右侧视 频码流数据和右侧音频码流数据，所述右侧音频码流数据即对应接收端播放的 右声道；针对中间视频和音频采集设备采集到的数据，分别处理得到中间视频 码流数据和中间音频码流数据。其中，中间音频码流数据可以是对应接收端播 放的中间声道，也可以同时对应接收端播放的左声道和右声道，对于与会者来 说同时听到左右声道播放相同的声音，会感觉声音来自中间，即正前方。进一 步的，针对多余3个屏幕的会场，则通过调整不同声道的音量大小，来体现音 频数据的采集位置，原则上越接近于采集位置的声道的音量越大。

步骤103，对多路码流数据进行编码，并把编码后的多路音频数据和所述 采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一 打包，分别发送包含多路音频或视频的数据包。

具体的，所述多路码流数据进行编码，具体为：根据传输协议对多路码流 进行编码。所述包含多路音频或视频的数据包，包括：在数据包头部分为每一 路的视频或音频数据添加码流标识，并且标明码流长度，然后将码流数据的具 体内容添加到数据包体部分。其中，所述添加的码流标识，用于对应码流数据 各自的采集位置。图2为本发明所述包含多路音频或视频的数据包的结构示意 图，如图2所示，数据包头21中包含：码流1标识22、码流1长度23、码流 2标识24、码流2长度25。数据包体26中包含：码流1数据27和码流2数据 28。在本发明的包含多路音频或视频的数据包中可以为多路码流分别添加码流 标识，并标明码流长度，这样可以将多路码流打包为一个包含多路音频或视频 的数据包，使得多路码流同步的问题得到很好的解决。进一步的，由于添加了 对应采集位置信息的码流标识，因此可以在接收端依据采集位置还原音频数据 的播放位置，实现了听声辨位。

在步骤103之后，接收端为了播放所述包含多路音频或视频的数据包，本 方法还包括：

步骤104，接收端接收到包含多路音频或视频的数据包后，解析出多路音 频数据或视频数据，以及各路码流数据的采集位置信息；

具体的，所述解析包含多路音频或视频的数据包，具体为：读取数据包头 部分的码流标识得到码流数据的采集位置，根据码流长度，从数据包体部分解 析出相应的多路音频数据或视频数据。

步骤105，将多路音频数据或视频数据，按照各路码流数据的采集位置信 息所对应的播放位置输出完成播放。

具体的，将解析出的码流数据内容输出到会场中的对应的播放位置完成播 放，则与会者可以得到听声辨位的体验。

图3为在三个单屏会场与一个多屏会场组网时应用本发明通信的音频视频 码流走向示意图，如图3所示，3个单屏会场分别为：单屏会场31、单屏会场 32和单屏会场33，所述三个单屏会场和1个三屏会场34进行组网，其中3个 单屏会场的视频依次显示在三屏会场的左、中、右屏幕，各单屏会场可以选看 三屏会场34的任一坐席视频。

首先三屏会场34中多个音频采集设备采集的音频码流，都输入到音频处理 器设备，由音频处理器设备处理后分成左右两个声道的音频码流数据，再由负 责三屏会场34的远程呈现多媒体终端对两个声道码流分别进行编码，并打包为 包含多路音频的数据包进行发送。本实施例中以实时传送协议(Real-time Transport Protocol，RTP)包结构为例，表1为包含多路音频或视频的数据包在 RTP协议中的扩展结构。

表1

如表1所示，其中，标准的RTP头结构部分按照RFC3550定义的规范填 充。扩展部分描述如下：

RTP H-Ext ID域用2个字节表示RTP扩展头标识，例如：赋值0x0011；

length域用2个字节表示扩展RTP头域的长度，一路码流的位置信息和长 度一共占2个字节，因此通过填充和解析本域数值来获取后面一共含有几路码 流；本实施例中以同一数据包中含左、右两路音频码流为例，因此length域的 数值为4个字节；

posID1域用4个字节表示码流1的位置信息，例如：0001B表示左声道码 流，0010B表示右声道码流，如果有多余2路码流可以用该域进行具体的区分；

length1表示posID1对应的码流的长度；

posID2域用4个字节表示码流2的位置信息；

length2表示posID2对应的码流的长度；

进一步的，表1中还有posID3和length3可以根据需要进一步扩展，来携 带更多声道的音频数据码流。

RTP payload为数据体部分，按照posID1、posID2的顺序依次存放其对应 的音频码流数据。

远程呈现系统多媒体终端按上述方式打包编码后的数据发送给多点处理单 元(Multipoint Control Unit，MCU)35，由MCU35将包含多路音频的数据包 发送给接收端。

3个单屏会场也可以按照上述方式编码打包各自的音频码流数据向MCU35 发送；如果单屏会场没有音频处理器设备，可以由单屏会场各自的远程呈现系 统多媒体终端直接发送左、右声道数据相同的包给MCU35。MCU35接收上述 会场远程呈现系统多媒体终端发送的码流数据后，解析扩展的RTP数据包头可 以获取各路码流数据对应的位置信息和码流长度，根据视频显示位置进行混音 发送处理；例如本实施例中，MCU35把单屏会场31的音频码流数据混入到左 声道数据中；单屏会场32的音频码流数据同时混入到左右声道数据中；单屏会 场33的音频码流数据混入到右声道数据中，然后按照上述扩展的RTP数据包 结构打包发送给三屏会场34的远程呈现系统多媒体终端。

MCU35把单屏会场32、单屏会场33、单屏会场34的音频码流数据中，左 声道和右声道数据分别混音，然后按照上述扩展的RTP数据包结构发送码流给 单屏会场31的远程呈现系统多媒体终端。单屏会场31的远程呈现系统多媒体 终端接收数据包后解析出左、右声道码流位置信息和对应码流数据，分别解码， 并把左、右声道数据分别通过音频处理器设备输出到左右音箱，达到听声辨位 的效果。如果单屏会场只有一个音箱，则左右声道数据都输出到同一音箱。

MCU35把单屏会场31、单屏会场33、单屏会场34的音频码流数据中，左 声道和右声道数据分别混音，然后按照上述扩展的RTP数据包结构发送码流给 单屏会场32的远程呈现系统多媒体终端。单屏会场32的处理和上述单屏会场 31处理方式相同。

MCU35把单屏会场31、单屏会场32、单屏会场34的音频码流数据中，左 声道和右声道数据分别混音，然后按照上述扩展的RTP数据包结构发送码流给 单屏会场33的远程呈现系统多媒体终端。单屏会场33的处理和上述单屏会场 31处理方式相同。

进一步的，本实施例中的视频数据也可以按照上述方法打包为包含多路视 频的数据包进行传输，其中，posID1、posID2可以标识出视频码流数据的采集 位置，同样可以对应接收端会场中的多个屏幕的播放位置。特别需要说明的， 对于单屏会场可以根据需要在解析出的多路码流视频数据间进行切换。

图4为两个三个单屏会场组网时应用本发明通信的音频视频码流走向示意 图，如图4所示，两个三屏会场点对点进行组网，三屏会场41的左、中、右坐 席的视频依次显示在三屏会场42的左、中、右屏幕，三屏会场42的左、中、 右坐席的视频依次显示在三屏会场41的左、中、右屏幕。三屏会场41的多个 音频采集设备采集的音频码流都输入到音频处理器设备，由音频处理器设备处 理后分成左右两个声道的码流数据，再由远程呈现多媒体终端对两个声道码流 分别进行编码和打包，然后发送给对端的远程呈现多媒体终端，打包部分与图 3所述实施例中描述相同。三屏会场42的远程呈现多媒体终端接收到含有左右 两声道的码流数据后，解析出左、右声道码流位置信息和对应码流数据，分别 解码，并把左、右声道数据分别通过音频处理器设备输出到左右音箱，达到听 声辨位的效果。本实施例中如果通过MCU43组网，处理方式类似，但码流数 据需要通过MCU43分别中转给参加会议的会场的远程呈现多媒体终端。如果 有3个或以上会场参与会议，则必须有MCU43参与码流数据的处理。

图5为本发明一种远程呈现技术中媒体数据发送和播放的系统结构示意 图，如图5所示，所述系统发送端包括：一个或多个音视频采集设备51、多路 码流数据处理模块52和多路码流数据传输模块53，其中，

所述一个或多个音视频采集设备51，用于分别采集与坐席相对应的音频或 视频数据，将采集到的数据发送给多路码流数据处理模块52；

所述多路码流数据处理模块52，用于对采集到的音频或视频数据分别进行 处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息， 将多路码流数据和所述采集位置信息发送给多路码流数据传输模块53；

具体的，所述多路码流数据处理模块52对采集到的音频或视频数据分别进 行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一 路码流数据。其中，所述分别处理是根据采集位置的不同进行区分。例如：三 屏会场中有左、中、右三个采集位置，针对左侧视频和音频采集设备采集到的 数据，分别处理得到左侧视频码流数据和左侧音频码流数据，所述左侧音频码 流数据即对应接收端播放的左声道；针对右侧视频和音频采集设备采集到的数 据，分别处理得到右侧视频码流数据和右侧音频码流数据，所述右侧音频码流 数据即对应接收端播放的右声道；针对中间视频和音频采集设备采集到的数据， 分别处理得到中间视频码流数据和中间音频码流数据。其中，中间音频码流数 据可以是对应接收端播放的中间声道，也可以同时对应接收端播放的左声道和 右声道，对于与会者来说同时听到左右声道播放相同的声音，会感觉声音来自 中间，即正前方。进一步的，针对多余3个屏幕的会场，则通过调整不同声道 的音量大小，来体现音频数据的采集位置，原则上越接近于采集位置的声道的 音量越大。

所述多路码流数据传输模块53，用于对多路码流数据进行编码，并把编码 后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据 和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。

具体的，所述多路码流数据进行编码，具体为：根据传输协议对多路码流 进行编码。所述包含多路音频或视频的数据包，包括：在数据包头部分为每一 路的视频或音频数据添加码流标识，并且标明码流长度，然后将码流数据的具 体内容添加到数据包体部分。其中，所述添加的码流标识，用于对应码流数据 各自的采集位置信息。在本发明的包含多路音频或视频的数据包中可以为多路 码流分别添加码流标识，并标明码流长度，这样可以将多路码流打包为一个包 含多路音频或视频的数据包，使得多路码流同步的问题得到很好的解决。进一 步的，由于添加了对应采集位置的码流标识，因此可以在接收端依据采集位置 还原音频数据的播放位置，实现了听声辨位。

进一步的，在接收端，本系统还包括：多路码流数据传输模块54、多路码 流数据处理模块55和多个音视频播放设备56，其中，

多路码流数据传输模块54，用于接收并解析发送端的多路码流数据传输模 块53发送的包含多路音频或视频的数据包，将解析出的多路码流数据，以及各 路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块55；

多路码流数据处理模块55，用于将多路音频数据或视频数据，发送给各路 码流数据的采集位置信息所对应的音视频播放设备56完成播放。

具体的，所述多路码流数据传输模块54解析包含多路音频或视频的数据 包，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息，根 据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。然后将 解析出的码流数据内容输出到会场中的对应采集位置的播放位置完成播放，则 与会者可以得到听声辨位的体验。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。