在线直播方法、直播设备、直播系统及电子设备

摘要

本申请涉及一种在线直播方法、直播设备、直播系统及电子设备，应用于在线直播技术领域，所述方法包括：第一移动终端设备录制视频数据，将视频数据及其时间戳发送至目标终端设备；第二移动终端设备录制第一音频数据，响应于播放操作，播放音视频文件，提取音视频文件的原始音频数据；通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据；将播放指令及其时间戳、第二音频数据及其时间戳发送至目标终端设备；目标终端设备基于播放指令对应的时间戳、视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据，以及同步根据播放指令播放音视频文件。本申请可以在消除直播过程中回声问题的同时减少外设。

说明书

技术领域

本申请涉及在线直播技术领域，尤其涉及一种在线直播方法、直播设备、直播系统及电子设备。

背景技术

随着移动终端设备性能的发展，基于移动终端设备的便捷性，使用移动终端设备在线直播变的可能，也更为常见。使用移动终端设备直播扩充了直播的方式，并且在便捷性以及覆盖度方面优势明显。

对于需要展示直播文件的直播场景，例如，在线教育直播场景，为了能同时录制到老师的面部以及课件的内容，可以采用双设备的方案。其中，一个移动终端设备（设备A）录制音视频，另一个移动终端设备（设备B）用于课件的操作及信令的发送。

然而，当设备B播放课件中的音频时，设备A也将会采集到该音频。这样，学生端除了播放该音频之外，还会接收到设备A发送的该音频，从而使学生端听到两个一样的声音，即产生了回声。相关技术中，为了规避回声问题，需要增加外设（耳机），导致直播时所需的设备增加。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种在线直播方法、直播设备、直播系统及电子设备。

根据本申请的第一方面，提供了一种在线直播方法，应用于直播设备，所述直播设备包括：第一移动终端设备和第二移动终端设备，包括：

所述第一移动终端设备录制针对直播对象的视频数据，并将所述视频数据和所述视频数据对应的时间戳发送至目标终端设备；

所述第二移动终端设备录制针对所述直播对象的第一音频数据，响应于所述直播对象针对音频文件或视频文件执行的播放操作，播放所述音频文件或所述视频文件，提取所述音频文件或所述视频文件的原始音频数据；通过所述原始音频数据对所述第一音频数据进行回声消除，得到第二音频数据；

所述第二移动终端设备将所述播放操作对应的播放指令、所述播放指令对应的时间戳、所述第二音频数据及所述第二音频数据对应的时间戳发送至所述目标终端设备，以使所述目标终端设备：基于所述播放指令对应的时间戳、所述视频数据对应的时间戳和所述第二音频数据对应的时间戳，同步播放所述视频数据和所述第二音频数据，以及同步根据所述播放指令播放所述音频文件或所述视频文件；或，

所述第二移动终端设备将所述第一音频数据及所述第一音频数据对应的时间戳发送至所述目标终端设备；以使所述目标终端设备：基于所述视频数据对应的时间戳和所述第一音频数据对应的时间戳，同步播放所述视频数据和所述第一音频数据。

在一种可选的实施方式中，所述在线直播方法还包括：

响应于所述直播对象针对直播文件执行的控制操作，所述第二移动终端设备对所述直播文件进行播放控制，并将所述控制操作对应的控制指令及所述控制指令对应的时间戳发送至所述目标终端设备，以使所述目标终端设备：基于所述第二音频数据对应的时间戳、所述视频数据对应的时间戳以及所述控制指令对应的时间戳，在播放所述第二音频数据和所述视频数据时，同步根据所述控制指令对本地的所述直播文件进行播放控制，其中，所述控制指令为除所述播放指令之外的指令。

在一种可选的实施方式中，所述在线直播方法还包括：

所述第一移动终端设备和所述第二移动终端设备周期性同步网络时间协议时间。

在一种可选的实施方式中，所述通过所述原始音频数据对所述第一音频数据进行回声消除，得到第二音频数据，包括：

将所述原始音频数据反向叠加至所述第一音频数据，得到第二音频数据。

根据本申请的第二方面，提供了一种在线直播方法，应用于目标终端设备，所述方法包括：

接收第一移动终端设备发送的视频数据和所述视频数据对应的时间戳；其中，所述视频数据针对直播对象录制；

接收第二移动终端设备发送的播放操作对应的播放指令、所述播放指令对应的时间戳、第二音频数据及所述第二音频数据对应的时间戳；其中，所述第二音频数据是所述第二移动终端设备通过原始音频数据对录制得到的第一音频数据进行回声消除得到的，所述原始音频数据是所述第二移动终端设备响应于所述直播对象针对音频文件或视频文件执行的所述播放操作，播放所述音频文件或所述视频文件时提取到的；

基于所述播放指令对应的时间戳、所述视频数据对应的时间戳和所述第二音频数据对应的时间戳，同步播放所述视频数据和所述第二音频数据，以及同步根据所述播放指令播放所述音频文件或所述视频文件；或，

接收所述第二移动终端设备发送的所述第一音频数据及所述第一音频数据对应的时间戳；

基于所述视频数据对应的时间戳和所述第一音频数据对应的时间戳，同步播放所述视频数据和所述第一音频数据。

在一种可选的实施方式中，所述在线直播方法还包括：

接收所述第二移动终端设备发送的控制操作对应的控制指令及所述控制指令对应的时间戳，其中，所述控制指令为除所述播放指令之外的指令；

基于所述第二音频数据对应的时间戳、所述视频数据对应的时间戳以及所述控制指令对应的时间戳，在播放所述第二音频数据和所述视频数据时，同步根据所述控制指令对本地的直播文件进行播放控制。

在一种可选的实施方式中，所述在线直播方法还包括：

如果所述第一移动终端设备发生故障，基于所述播放指令对应的时间戳和所述第二音频数据对应的时间戳，播放所述第二音频数据，并同步根据所述播放指令播放所述音频文件或所述视频文件；以及，

基于所述控制指令对应的时间戳和所述第二音频数据对应的时间戳，播放所述第二音频数据，并同步根据所述控制指令对本地的所述直播文件进行播放控制。

根据本申请的第三方面，提供了一种直播设备，所述直播设备包括：

第一移动终端设备，用于录制针对直播对象的视频数据，并将所述视频数据和所述视频数据对应的时间戳发送至目标终端设备；

第二移动终端设备，用于录制第一音频数据，响应于所述直播对象针对音频文件或视频文件执行的播放操作，播放所述音频文件或所述视频文件，提取所述音频文件或所述视频文件的原始音频数据；通过所述原始音频数据对所述第一音频数据进行回声消除，得到第二音频数据；将所述播放操作对应的播放指令、所述播放指令对应的时间戳、所述第二音频数据及所述第二音频数据对应的时间戳发送至所述目标终端设备；以使所述目标终端设备：基于所述播放指令对应的时间戳、所述视频数据对应的时间戳和所述第二音频数据对应的时间戳，同步播放所述视频数据和所述第二音频数据，以及同步根据所述播放指令播放所述音频文件或所述视频文件；

所述第二移动终端设备，还用于将所述第一音频数据及所述第一音频数据对应的时间戳发送至所述目标终端设备，以使所述目标终端设备：基于所述视频数据对应的时间戳和所述第一音频数据对应的时间戳，同步播放所述视频数据和所述第一音频数据。

在一种可选的实施方式中，所述第二移动终端设备，还用于响应于所述直播对象针对直播文件执行的控制操作，对所述直播文件进行播放控制，并将所述控制操作对应的控制指令及所述控制指令对应的时间戳发送至所述目标终端设备，以使所述目标终端设备：基于所述第二音频数据对应的时间戳、所述视频数据对应的时间戳以及所述控制指令对应的时间戳，在播放所述第二音频数据和所述视频数据时，同步根据所述控制指令对本地的所述直播文件进行播放控制，其中，所述控制指令为除所述播放指令之外的指令。

在一种可选的实施方式中，所述第一移动终端设备还用于和所述第二移动终端设备周期性同步网络时间协议时间。

在一种可选的实施方式中，所述第二移动终端设备具体用于通过下述方式实现通过所述原始音频数据对所述第一音频数据进行回声消除，得到第二音频数据：

将所述原始音频数据反向叠加至所述第一音频数据，得到第二音频数据。

根据本申请的第四方面，提供了一种直播系统，所述系统包括：直播设备和目标终端设备，所述直播设备包括：第一移动终端设备和第二移动终端设备；

所述第一移动终端设备，用于录制针对直播对象的视频数据，并将所述视频数据和所述视频数据对应的时间戳发送至目标终端设备；

所述第二移动终端设备，用于录制针对所述直播对象的第一音频数据，响应于所述直播对象针对音频文件或视频文件执行的播放操作，播放所述音频文件或所述视频文件，提取所述音频文件或所述视频文件的原始音频数据；通过所述原始音频数据对所述第一音频数据进行回声消除，得到第二音频数据；将所述播放操作对应的播放指令、所述播放指令对应的时间戳、所述第二音频数据及所述第二音频数据对应的时间戳发送至所述目标终端设备；

所述第二移动终端设备，还用于将所述第一音频数据及所述第一音频数据对应的时间戳发送至所述目标终端设备；

所述目标终端设备，用于基于所述播放指令对应的时间戳、所述视频数据对应的时间戳和所述第二音频数据对应的时间戳，同步播放所述视频数据和所述第二音频数据，以及同步根据所述播放指令播放所述音频文件或所述视频文件；

所述目标终端设备，还用于基于所述视频数据对应的时间戳和所述第一音频数据对应的时间戳，同步播放所述视频数据和所述第一音频数据。

在一种可选的实施方式中，所述第二移动终端设备，还用于响应于所述直播对象针对直播文件执行的控制操作，对所述直播文件进行播放控制，并将所述控制操作对应的控制指令及所述控制指令对应的时间戳发送至所述目标终端设备；

所述目标终端设备，还用于基于所述第二音频数据对应的时间戳、所述视频数据对应的时间戳以及所述控制指令对应的时间戳，在播放所述第二音频数据和所述视频数据时，同步根据所述控制指令对本地的所述直播文件进行播放控制，其中，所述控制指令为除所述播放指令之外的指令。

在一种可选的实施方式中，所述第一移动终端设备还用于和所述第二移动终端设备周期性同步网络时间协议时间。

在一种可选的实施方式中，所述第二移动终端设备具体用于通过下述方式实现通过所述原始音频数据对所述第一音频数据进行回声消除，得到第二音频数据：

将所述原始音频数据反向叠加至所述第一音频数据，得到第二音频数据。

根据本申请的第五方面，提供了一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面或第二方面所述的方法。

根据本申请的第六方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法。

本申请实施例提供的技术方案与现有技术相比具有如下优点：

通过第一移动终端设备录制视频数据，第二移动终端设备录制音频数据，使播放音频文件或视频文件的移动终端设备和录制音频数据的移动终端设备为同一移动终端设备，即第二终端设备。这样，第二终端设备在播放音频文件或视频文件时可以提取音频文件或视频文件的原始音频数据，通过原始音频数据对录制得到的第一音频数据进行回声消除，得到第二音频数据，并将第二音频数据发送至目标终端设备。进而，目标终端设备在接收到第二移动终端设备发送的播放指令播放音频文件或视频文件时，由于接收到的第二音频数据中不包含音频文件或视频文件对应的原始音频数据，因此避免了回声问题。该过程中直播对象可以不使用耳机等外设，减少了直播时直播对象所使用的设备的数量。并且，由于直播对象不需要佩戴耳机，从而可以提升直播体验。而第二终端设备在未播放音频文件或视频文件时，可以直接将第一音频数据数据发送至目标终端设备，目标终端设备将第一音频数据和视频数据进行同步即可。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的在线直播方法的示例性应用环境的系统架构的示意图；

图2为本申请实施例中在线直播方法的一种流程图；

图3为本申请实施例中回声消除的一种示意图；

图4为本申请实施例中直播过程中数据发送的一种示意图；

图5为本申请实施例中在线直播方法的又一种流程图；

图6为本申请实施例中直播设备的一种结构示意图；

图7为本申请实施例中目标终端设备的一种结构示意图；

图8为本申请实施例中直播系统的一种结构示意图；

图9为本申请实施例中电子设备的一种结构示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。

图1示出了可以应用本申请实施例的在线直播方法的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括移动终端设备101和移动终端设备102，终端设备103、终端设备104和终端设备105中的一个或多个，以及网络106。网络106用以在移动终端设备101、移动终端设备102和终端设备103、终端设备104、终端设备105之间提供通信链路的介质。网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。移动终端设备101和移动终端设备102可以是具有显示屏的各种移动电子设备，包括但不限于智能手机和平板电脑等等。终端设备103、终端设备104和终端设备105可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中终端设备的数量仅仅是示意性的。根据实现需要，可以具有任意数量的终端设备。

本申请实施例所提供的在线直播方法可以由移动终端设备101、移动终端设备102，以及终端设备103、终端设备104和终端设备105执行。举例而言，在直播对象直播过程中，可以通过移动终端设备101对直播对象录制视频数据，并将视频数据通过网络106发送至终端设备103、终端设备104和终端设备105。同时，通过移动终端设备102录制第一音频数据，由于直播过程中移动终端设备102可能会播放音频文件或视频文件，因此，录制的第一音频数据中将会包含音频文件或视频文件的音频数据。移动终端设备102可以提取音频文件或视频文件的原始音频数据，通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据，并通过网络106将第二音频数据发送至终端设备103、终端设备104和终端设备105。

这样，通过两个移动终端设备（即移动终端设备101和移动终端设备102）分别发送视频数据和音频数据，使播放音频文件或视频文件和发送音频数据的移动终端设备为同一移动终端设备，即移动终端设备102，可以消除直播过程中因为播放音频文件或视频文件而产生的回声问题。并且，由于不需要增加耳机等额外的设备，减少了直播设备的使用量，提升了直播对象的直播体验。

以下首先对本申请实施例的在线直播方法进行详细介绍。

参见图2，图2为本申请实施例中在线直播方法的一种流程图，应用于直播设备，直播设备包括：第一移动终端设备和第二移动终端设备，在线直播方法可以包括以下步骤：

步骤S210，第一移动终端设备录制针对直播对象的视频数据，并将视频数据和视频数据对应的时间戳发送至目标终端设备。

本申请实施例中，第一移动终端设备和下述的第二移动终端设备均为直播对象直播时所使用的移动终端设备（例如智能手机、平板电脑等），目标终端设备为用户观看直播时所使用的终端设备，可以是移动终端设备，也可以是台式计算机等。

其中，直播对象即为主播，在教育直播领域，直接对象为教师，第一移动终端设备和下述的第二移动终端设备均为教师端，目标终端设备为学生端。目标终端设备的数量可以是一个或多个。

需要说明的是，第一移动终端设备可以录制针对直播对象的视频数据，该视频数据是不包含音频的视频数据，可以通过下述的第二移动终端设备录制音频数据以进行回声消除。然而，通过两个不同的移动终端设备分别发送视频数据和音频数据，可能导致视频数据和音频数据不同步。为了使视频数据和音频数据同步，第一移动终端设备在发送视频数据时，可以将视频数据对应的时间戳也发送至目标终端设备。当然，第二移动终端设备在发送音频数据时，也可以将音频数据对应的时间戳发送至目标终端设备。这样，目标终端设备可以根据该两个时间戳对视频数据和音频数据进行同步。

步骤S220，第二移动终端设备录制第一音频数据。

本申请实施例中，在通过第一移动终端设备录制视频数据的同时，可以通过第二移动终端设备录制对应的音频数据。例如，直播对象在直播过程中，可以对直播内容进行讲解，生成音频数据，那么，第一音频数据中包括直播对象讲解时的音频数据。

步骤S230，第二移动终端设备响应于直播对象针对音频文件或视频文件执行的播放操作，播放音频文件或视频文件，提取音频文件或视频文件的原始音频数据。

需要说明的是，直播对象在直播过程中也可以播放音频文件或视频文件供用户收听或观看。具体的，直播对象针对音频文件或视频文件执行播放操作时，可以生成对应的播放指令，第二移动终端设备将播放指令发送至目标终端设备后，目标终端设备也可以播放音频文件或视频文件。目标终端设备中的音频文件或视频文件可以由目标终端设备预先从服务器获取并存储至本地，也可以是直播过程中，由第二移动终端设备发送至目标终端设备。本申请以预先从服务器获取为例进行说明。

例如，教师在直播过程中，可以播放某个动画片段供学生观看。在第二移动终端设备录制第一音频数据的过程中，除了录入教师讲解时的音频数据，还会录入播放该动画片段时的音频数据，即第一音频数据中除了包含教师讲解时的音频数据，还包含播放该动画片段时的音频数据。为了消除回声，在播放音频文件或视频文件时，第二移动终端设备可以提取音频文件或视频文件的原始音频数据，以通过该原始音频数据对第一音频数据进行回声消除。

可以看出，本申请使播放音频文件或视频文件的移动终端设备和发送音频数据的移动终端设备为同一个移动终端设备，即第二移动终端设备。这样，该第二移动终端设备可以提取音频文件或视频文件的原始音频数据，并进行回声消除。如果通过第一移动终端设备同时录制视频数据和音频数据，通过第二移动终端设备播放音频文件或视频文件，第一移动终端设备无法提取到音频文件或视频文件的原始音频数据，相应地，也将无法进行回声消除。

步骤S240，第二移动终端设备通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据；将播放操作对应的播放指令、播放指令对应的时间戳、第二音频数据及第二音频数据对应的时间戳发送至目标终端设备，以使目标终端设备：基于播放指令对应的时间戳、视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据，以及同步根据播放指令播放音频文件或视频文件。

本申请实施例中，第二移动终端设备在提取到音频文件或视频文件的原始音频数据后，可以根据该原始音频数据对第一音频数据进行回声消除，得到第二音频数据，使第二音频数据中不包含该原始音频数据。可选的，可以将原始音频数据反向叠加至第一音频数据，得到第二音频数据。

参见图3，图3为本申请实施例中回声消除的一种示意图，可以看出，第二移动终端设备中的麦克风可以采集直播对象说话时的音频1，以及播放音频文件或视频文件时扬声器播放的音频2，即，第二移动终端设备录制的第一音频数据包括音频1和音频2。第二移动终端设备在播放音频文件或视频文件时还可以提取出原始音频数据，即音频2。通过将第一音频数据和音频2输入回声消除模块进行回声消除处理，可以得到第二音频数据，即音频1。这样，第二音频数据中不包含音频文件或视频文件对应的原始音频数据，即音频2。

如前所述，第二移动终端设备在发送第二音频数据时，可以将对应的时间戳发送至目标终端设备，以使目标终端设备同步播放第二音频数据和接收自第一移动终端设备的视频数据。同样地，第二移动终端设备在发送播放指令时，也可以将播放指令对应的时间戳发送至目标终端设备，使播放指令和第二音频数据和音频数据同步。

参见图4，图4为本申请实施例中直播过程中数据发送的一种示意图，可以看出，视频数据通过移动终端设备101发送至终端设备103、终端设备104和终端设备105。音频数据和指令通过移动终端设备102发送至终端设备103、终端设备104和终端设备105。即，视频数据和音频数据通过不同的移动终端设备发送，音频数据和指令通过同一个移动终端设备发送。

相应地，由于目标终端设备接收到的第二音频数据和视频数据来自不同的移动终端设备，因此，可以将第二音频数据和视频数据进行同步。而第二音频数据和播放指令虽然均接收自第二移动终端设备，但是播放指令和音频数据通过不同的通道发送，因此，也可以将播放指令和音频进行同步。也就是说，可以将视频数据、第二音频数据和播放指令同步。

具体的，可以根据视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据。并且，根据播放指令对应的时间戳，同步根据播放指令播放音频文件或视频文件。

步骤S250，第二移动终端设备将第一音频数据及第一音频数据对应的时间戳发送至目标终端设备；以使目标终端设备：基于视频数据对应的时间戳和第一音频数据对应的时间戳，同步播放视频数据和第一音频数据。

本申请实施例中，还存在第二终端设备未播放音频文件或视频文件的场景，在此情况下，第二终端设备将第一音频数据和第一音频数据对应的时间戳发送至目标终端设备即可。相应地，目标终端设备可以基于视频数据对应的时间戳和第一音频数据对应的时间戳，同步播放视频数据和第一音频数据。

本申请实施例的在线直播方法，通过第一移动终端设备录制视频数据，第二移动终端设备录制音频数据，使播放音频文件或视频文件的移动终端设备和录制音频数据的移动终端设备为同一移动终端设备，即第二终端设备。这样，第二终端设备可以提取音频文件或视频文件的原始音频数据，通过原始音频数据对录制得到的第一音频数据进行回声消除，得到第二音频数据，并将第二音频数据发送至目标终端设备。进而，目标终端设备在接收到第二移动终端设备发送的播放指令播放音频文件或视频文件时，由于接收到的第二音频数据中不包含音频文件或视频文件对应的原始音频数据，因此避免了回声问题。该过程中直播对象可以不使用耳机等外设，减少了直播时直播对象所使用设备的数量。并且，由于直播对象不需要佩戴耳机，从而可以提升直播体验。而第二终端设备在未播放音频文件或视频文件时，可以直接将第一音频数据数据发送至目标终端设备，目标终端设备将第一音频数据和视频数据进行同步即可。

本申请实施例中，直播对象在直播过程中还可以对直播文件进行播放控制。例如，教师可以对直播的课件进行点击、移动、翻页、放大、缩小等控制操作。其中，直播文件可以是除音频文件和视频文件之外的其他文件，例如，Word文档、PPT课件等。当然，直播文件中也可以嵌入音频文件或视频文件，即前述的音频文件或视频文件可以是直播文件中嵌入的音频文件或视频文件。

具体的，响应于直播对象针对直播文件执行的控制操作，第二移动终端设备可以对直播文件进行播放控制。直播对象在对直播文件执行控制操作时，可以生成控制操作对应的控制指令，并将控制操作对应的控制指令及控制指令对应的时间戳发送至目标终端设备，以使目标终端设备：基于第二音频数据对应的时间戳、视频数据对应的时间戳以及控制指令对应的时间戳，在播放第二音频数据和视频数据时，同步根据控制指令对直播文件进行播放控制。这样，可以使控制指令和第二音频数据、视频数据同步，其中，控制指令为除播放指令之外的指令。例如，控制指令包括：点击指令、移动移动、翻页指令、放大指令、缩小指令等。

需要说明的是，如果第一移动终端设备发生故障，第一移动终端设备将无法发送视频数据至目标终端设备。此时，在接收到播放指令的情况下，目标终端设备可以基于播放指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据播放指令播放音频文件或视频文件；以及，在接收到控制指令的情况下，目标终端设备可以基于控制指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据控制指令对本地的直播文件进行播放控制。也就是说，即使在第一移动终端设备发生故障的情况下，也可以通过第二移动终端设备利用音频进行直播。可见，本申请可以提高直播系统的可用性。

可选的，第一移动终端设备和第二移动终端设备可以周期性同步网络时间协议时间。这样，即使第一移动终端设备和第二移动终端设备是两个不同的设备，第一移动终端设备和第二移动终端设备也具有相同的时间基准，在目标终端设备对视频数据、第二音频数据和播放指令进行同步时，可以达到完全同步，以进一步提升直播体验。

参见图5，图5为本申请实施例中在线直播方法的又一种流程图，应用于直播设备，可以包括以下步骤：

步骤S510，接收第一移动终端设备发送的视频数据和视频数据对应的时间戳；其中，视频数据针对直播对象录制。

步骤S520，接收第二移动终端设备发送的播放操作对应的播放指令、播放指令对应的时间戳、第二音频数据及第二音频数据对应的时间戳；其中，第二音频数据是第二移动终端设备通过原始音频数据对录制得到的第一音频数据进行回声消除得到的，原始音频数据是第二移动终端设备响应于直播对象针对音频文件或视频文件执行的播放操作，播放音频文件或视频文件时提取到的。

步骤S530，基于播放指令对应的时间戳、视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据，以及同步根据播放指令播放音频文件或视频文件。或，

步骤S540，接收第二移动终端设备发送的第一音频数据及第一音频数据对应的时间戳。

步骤S550，基于视频数据对应的时间戳和第一音频数据对应的时间戳，同步播放视频数据和第一音频数据。

需要说明的是，图5实施例的在线直播方法，是与图2实施例相对应的目标终端设备侧的执行过程，视频数据、第一音频数据和第二音频数据的生成方法，具体参见图2实施例中的描述即可，在此不再赘述。

第二移动终端设备在播放音频文件或视频文件的情况下，目标终端设备接收到第一移动终端设备发送的视频数据和视频数据对应的时间戳，以及第二移动终端设备发送的播放操作对应的播放指令、播放指令对应的时间戳、第二音频数据及第二音频数据对应的时间戳之后，对视频数据和第二音频数据进行同步播放，以及同步根据播放指令播放音频文件或视频文件即可。

或者，第二移动终端设备在未播放音频文件或视频文件的情况下，目标终端设备接收到第一移动终端设备发送的视频数据和视频数据对应的时间戳，以及第二移动终端设备发送的第一音频数据及第一音频数据对应的时间戳，对视频数据和第一音频数据进行同步播放即可。

本申请实施例的在线直播方法，终端设备接收到的视频数据来自于第一移动终端设备，接收到的第二音频数据及播放指令，或接收到的第一音频数据来自于第二移动终端设备。这样，第二移动终端设备可以对录制的第一音频数据进行回声消除，进而，目标终端设备在同步播放视频数据、第二音频数据，以及同步根据播放指令播放音频文件或视频文件时，不再包含回声，从而可以提升直播体验。可以看出，直播对象在直播过程中，可以不使用耳机等外设，减少了直播时直播对象所使用设备的数量。

在一种可选的实施方式中，目标终端设备还可以接收第二移动终端设备发送的控制操作对应的控制指令及控制指令对应的时间戳，其中，控制指令为除播放指令之外的指令；基于第二音频数据对应的时间戳、视频数据对应的时间戳以及控制指令对应的时间戳，在播放第二音频数据和视频数据时，同步根据控制指令对本地的直播文件进行播放控制。即，在直播过程中，如果直播对象对直播文件进行播放控制，目标终端设备也可以同步对直播文件进行播放控制。例如，直播对象在播放PPT文件时，点击下一页，目标终端设备也可以接收到对应的控制指令，根据该控制指令播放本地PPT文件的下一页。

另外，如果第一移动终端设备发生故障，目标终端设备基于播放指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据播放指令播放音频文件或视频文件；以及，基于控制指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据控制指令对本地的直播文件进行控制。

本申请实施例中，在第一移动终端设备发生故障的情况下，目标终端设备仍然可以接收第二移动终端设备发送的音频数据、播放指令和控制指令，目标终端设备侧的用户可以接收到第一音频数据或第二音频数据，同步对直播文件进行播放控制，以及在接收到第二音频数据时可以同步根据播放指令播放音频文件或视频文件。因此，在目标终端设备侧的用户看不到视频的情况下，可以继续直播，从而可以提高直播设备的容灾能力。

相应于上述方法实施例，本申请实施例提供了一种直播设备，参见图6，直播设备600包括：

第一移动终端设备610，用于录制针对直播对象的视频数据，并将视频数据和视频数据对应的时间戳发送至目标终端设备；

第二移动终端设备620，用于录制第一音频数据，响应于直播对象针对音频文件或视频文件执行的播放操作，播放音频文件或视频文件，提取音频文件或视频文件的原始音频数据；通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据；将播放操作对应的播放指令、播放指令对应的时间戳、第二音频数据及第二音频数据对应的时间戳发送至目标终端设备；以使目标终端设备：基于播放指令对应的时间戳、视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据，以及同步根据播放指令播放音频文件或视频文件；

第二移动终端设备620，还用于将第一音频数据及第一音频数据对应的时间戳发送至目标终端设备；以使目标终端设备：基于视频数据对应的时间戳和第一音频数据对应的时间戳，同步播放视频数据和第一音频数据。

在一种可选的实施方式中，第二移动终端设备620，还用于响应于直播对象针对直播文件执行的控制操作，对直播文件进行控制，并将控制操作对应的控制指令及控制指令对应的时间戳发送至目标终端设备，以使目标终端设备：基于第二音频数据对应的时间戳、视频数据对应的时间戳以及控制指令对应的时间戳，在播放第二音频数据和视频数据时，同步根据控制指令对本地的直播文件进行控制，其中，控制指令为除播放指令之外的指令。

在一种可选的实施方式中，第一移动终端设备610还用于和第二移动终端设备620周期性同步网络时间协议时间。

在一种可选的实施方式中，第二移动终端设备620具体用于通过下述方式实现通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据：

将原始音频数据反向叠加至第一音频数据，得到第二音频数据。

本申请实施例还提供了一种目标终端设备，参见图7，目标终端设备700包括：

视频数据接收模块710，用于接收第一移动终端设备发送的视频数据和视频数据对应的时间戳；其中，视频数据针对直播对象录制；

音频数据接收模块720，用于接收第二移动终端设备发送的播放操作对应的播放指令、播放指令对应的时间戳、第二音频数据及第二音频数据对应的时间戳；其中，第二音频数据是第二移动终端设备通过原始音频数据对录制得到的第一音频数据进行回声消除得到的，原始音频数据是第二移动终端设备响应于直播对象针对音频文件或视频文件执行的播放操作，播放音频文件或视频文件时提取到的；

同步模块730，用于基于播放指令对应的时间戳、视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据，以及同步根据播放指令播放音频文件或视频文件；或，

音频数据接收模块720，还用于接收第二移动终端设备发送的第一音频数据及第一音频数据对应的时间戳；

同步模块730，还用于基于视频数据对应的时间戳和第一音频数据对应的时间戳，同步播放视频数据和第一音频数据。

在一种可选的实施方式中，上述在线直播装置还包括：

控制指令接收模块，用于接收第二移动终端设备发送的控制操作对应的控制指令及控制指令对应的时间戳，其中，控制指令为除播放指令之外的指令；

所述同步模块730，还用于基于第二音频数据对应的时间戳、视频数据对应的时间戳以及控制指令对应的时间戳，在播放第二音频数据和视频数据时，同步根据控制指令对本地的直播文件进行播放控制。

在一种可选的实施方式中，上所述同步模块730，还用于如果第一移动终端设备发生故障，基于播放指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据播放指令播放音频文件或视频文件；以及，

基于控制指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据控制指令对本地的直播文件进行控制。

本申请实施例还提供了一种直播系统，参见图8，图8为本申请实施例中直播系统的一种示意图，直播系统800包括：直播设备810和目标终端设备820，直播设备810包括：第一移动终端设备811和第二移动终端设备812；

第一移动终端设备811，用于录制针对直播对象的视频数据，并将视频数据和视频数据对应的时间戳发送至目标终端设备820；

第二移动终端设备812，用于录制针对直播对象的第一音频数据，响应于直播对象针对音频文件或视频文件执行的播放操作，播放音频文件或视频文件，提取音频文件或视频文件的原始音频数据；通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据；将播放操作对应的播放指令、播放指令对应的时间戳、第二音频数据及第二音频数据对应的时间戳发送至目标终端设备820；

第二移动终端设备812，还用于将第一音频数据及第一音频数据对应的时间戳发送至目标终端设备；

目标终端设备820，用于基于播放指令对应的时间戳、视频数据对应的时间戳和第二音频数据对应的时间戳，同步播放视频数据和第二音频数据，以及同步根据播放指令播放音频文件或视频文件；

目标终端设备820，还用于基于视频数据对应的时间戳和第一音频数据对应的时间戳，同步播放视频数据和第一音频数据。。

在一种可选的实施方式中，第二移动终端设备812，还用于响应于直播对象针对直播文件执行的控制操作，对直播文件进行播放控制，并将控制操作对应的控制指令及控制指令对应的时间戳发送至目标终端设备820；

目标终端设备820，还用于基于第二音频数据对应的时间戳、视频数据对应的时间戳以及控制指令对应的时间戳，在播放第二音频数据和视频数据时，同步根据控制指令对本地的直播文件进行播放控制。

在一种可选的实施方式中，如果第一移动终端设备811发生故障，目标终端设备820还用于基于播放指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据播放指令播放音频文件或视频文件；以及，

目标终端设备820还用于基于控制指令对应的时间戳和第二音频数据对应的时间戳，播放第二音频数据，并同步根据控制指令对本地的直播文件进行播放控制。

在一种可选的实施方式中，第一移动终端设备811和第二移动终端设备812还用于周期性同步网络时间协议时间。

在一种可选的实施方式中，第二移动终端设备812具体用于通过下述方式实现通过原始音频数据对第一音频数据进行回声消除，得到第二音频数据：

将原始音频数据反向叠加至第一音频数据，得到第二音频数据。

上述系统中各设备的具体细节已经在对应的方法中进行了详细的描述，因此，此处不再赘述。

本申请实施例还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述在线直播方法的步骤。

图9为本申请实施例中电子设备的一种结构示意图。需要说明的是，图9示出的电子设备900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900包括中央处理单元（CPU）901，其可以根据存储在只读存储器（ROM）902中的程序或者从存储部分908加载到随机访问存储器（RAM）903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如局域网（LAN）卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元901执行时，执行本申请的系统中限定的各种功能。

本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述在线直播方法。

需要说明的是，本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本申请实施例中，还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述在线直播方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。