首页> 中国专利> 在线演唱会大合唱的方法及系统

在线演唱会大合唱的方法及系统

摘要

本发明涉及一种在线演唱会大合唱的方法、合唱方法及大合唱系统,其中在线演唱会大合唱的方法,包括以下步骤:发送主播客户端发起的合唱指令;接收观众客户端发送的观众音频数据和主播客户端发送的主播音频数据;观众客户端为响应合唱指令的客户端;观众音频数据和主播音频数据为根据所属客户端的音频录入设备采集的添加了时间标记的音频数据;时间标记为根据当前播放的合唱音频的时间点而生成的;根据接收到的主播音频数据和所有观众音频数据的时间标记,对观众音频数据和播音频数据进行同步合成处理,得到最终合唱流;将最终合唱流分别发送给主播客户端和各观众客户端。本发明能够实现在线演唱会万人大合唱功能,增强了在线直播互动性。

著录项

  • 公开/公告号CN105208039A

    专利类型发明专利

  • 公开/公告日2015-12-30

    原文格式PDF

  • 申请/专利权人 广州华多网络科技有限公司;

    申请/专利号CN201510654760.9

  • 发明设计人 肖鸿亮;

    申请日2015-10-10

  • 分类号H04L29/06(20060101);

  • 代理机构44224 广州华进联合专利商标代理有限公司;

  • 代理人周清华

  • 地址 510655 广东省广州市黄埔大道中309号羊城创意产业园3-08栋

  • 入库时间 2023-12-18 13:23:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-06-08

    授权

    授权

  • 2018-01-12

    著录事项变更 IPC(主分类):H04L29/06 变更前: 变更后: 申请日:20151010

    著录事项变更

  • 2016-01-27

    实质审查的生效 IPC(主分类):H04L29/06 申请日:20151010

    实质审查的生效

  • 2015-12-30

    公开

    公开

说明书

技术领域

本发明涉及音频流媒体应用领域,特别是涉及一种在线演唱会大合唱的方 法及系统。

背景技术

在线演唱会是指,观众通过网络直播平台,在线上同步观看此次演唱会的 直播,与传统线下演唱会相比,观众不受地点、场地、人数数量的限制,并且 观众可以通过网络与歌手互动。传统技术中为了增加网络合唱的社群性与互动 性,一般采用异步合唱混音的方式将多人异步录音的音频变为混音合成的合唱 作品。

但在实现过程中,发明人发现传统技术中至少存在如下问题:传统技术主 要集中于解决混音合成的问题,并没有实质意义上的实现在线直播演唱会主播 与万人观众进行实时大合唱的技术方案,缺乏针对在线直播演唱会实时合唱功 能大数据合成方面的逻辑处理。

发明内容

基于此,有必要针对在线演唱会实现实时合唱的问题,提供一种在线演唱 会大合唱的方法及系统。

为了实现上述目的,本发明技术方案的实施例为:

一方面,提供了一种在线演唱会大合唱的方法,包括以下步骤:

发送主播客户端发起的合唱指令;

接收观众客户端发送的观众音频数据和主播客户端发送的主播音频数据;观 众客户端为响应合唱指令的客户端;观众音频数据和主播音频数据为根据所属 客户端的音频录入设备采集的添加了时间标记的音频数据;时间标记为根据当 前播放的合唱音频的时间点而生成的;

根据接收到的主播音频数据和所有观众音频数据的时间标记,对观众音频 数据和播音频数据进行同步合成处理,得到最终合唱流;

将最终合唱流分别发送给主播客户端和各观众客户端。

此外,还提供了一种在线演唱会大合唱的方法,包括以下步骤:

主播客户端向服务端发起合唱指令;

各观众客户端接收服务端转发的合唱指令;

主播客户端的音频录入设备采集添加了时间标记的主播音频数据;响应合 唱指令的观众客户端在接收到录入指令时,通过音频录入设备采集添加了时间 标记的观众音频数据;时间标记为根据当前播放的合唱音频的时间点而生成的;

发送主播音频数据和各观众音频数据;

接收最终合唱流;最终合唱流为服务端根据主播音频数据和各观众音频数 据的时间标记,对主播音频数据和所有观众音频数据进行同步合成处理后得到 的最终合唱流。

另一方面,提供了一种在线演唱会大合唱的系统,包括主播客户端、观众 客户端以及服务端,服务端包括:

第一发送单元,用于发送主播客户端发起的合唱指令;

接收单元,用于接收观众客户端发送的观众音频数据和主播客户端发送的 主播音频数据;观众客户端为响应合唱指令的客户端;观众音频数据和主播音 频数据为根据所属客户端的音频录入设备采集的添加了时间标记的音频数据; 时间标记为根据当前播放的合唱音频的时间点而生成的;

合成单元,用于根据接收到的主播音频数据和所有观众音频数据的时间标 记,对观众音频数据和主播音频数据进行同步合成处理,得到最终合唱流;

第二发送单元,用于将最终合唱流分别发送给主播客户端和各观众客户端。

上述技术方案具有如下有益效果:

本发明通过主播客户端发起合唱指令,响应合唱指令的观众客户端跟着当 前播放的合唱音频的时间点参与合唱;每位观众客户端的音频录入设备录入一 条添加了时间标记的观众音频数据发送给相应服务器;服务器程序根据时间标 记,在服务端与主播音频数据作同步处理,实时合成合唱流后,返回给各客户 端播放,从而使观众和主播听到现场大合唱的播放效果;本发明能够实现在线 演唱会万人大合唱功能,增强了在线直播互动性,实时的利用大数据处理合成 万人语音,加快处理音频的速率,增加处理音频的数量,区别于一对一的合唱 或完全录入一段音频后再播放的合唱,而是在录入音频的同时,实时的播放合 唱,让更多的观众能参与到活动中来。

附图说明

通过附图中所示的本发明的优选实施例的更具体说明,本发明的上述及其 它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同 的部分,且并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本发明的 主旨。

图1为本发明从服务端角度实施的在线演唱会大合唱的方法实施例1的流 程示意图;

图2为本发明从服务端角度实施的在线演唱会大合唱的方法实施例1的应 用场景示意图;

图3为本发明从服务端角度实施的在线演唱会大合唱的方法实施例2的流 程示意图;

图4为本发明从服务端角度实施的在线演唱会大合唱的方法实施例2的应 用示意图;

图5为本发明从客户端角度实施的在线演唱会大合唱的方法中实施例1的 流程示意图;

图6为本发明在线演唱会大合唱的系统实施例1中服务端的结构示意图。

具体实施方式

为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。 附图中给出了本发明的首选实施例。但是,本发明可以以许多不同的形式来实 现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本 发明的公开内容更加透彻全面。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术 领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术 语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的 术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明从服务端角度实施的在线演唱会大合唱的方法实施例1:

为了实现在线演唱会万人大合唱功能,增强在线直播互动性,本发明提供 了一种从服务端角度实施的在线演唱会大合唱的方法实施例1,如图1所示,可 以包括以下步骤:

步骤S110:发送主播客户端发起的合唱指令;

步骤S120:接收观众客户端发送的观众音频数据和主播客户端发送的主播 音频数据;观众客户端为响应合唱指令的客户端;观众音频数据和主播音频数 据为根据所属客户端的音频录入设备采集的添加了时间标记的音频数据;时间 标记为根据当前播放的合唱音频的时间点而生成的;

步骤S130:根据接收到的主播音频数据和所有观众音频数据的时间标记, 对观众音频数据和播音频数据进行同步合成处理,得到最终合唱流;

步骤S140:将最终合唱流分别发送给主播客户端和各观众客户端。

在一个具体的实施例中,步骤S120具体为:主播客户端通过音频录入设备 录入音频数据;并根据当前播放的合唱音频的时间点,在该音频数据上添加时 间标记,得到添加了时间标记的主播音频数据;而响应了上述合唱指令的观众 客户端,可以通过音频录入设备录入音频数据;并根据当前播放的合唱音频的 时间点,在该音频数据上添加时间标记,得到添加了时间标记的观众音频数据, 其中,观众客户端和主播客户端需要在一个频道中。另外,服务端需检测接收 到的观众音频数据是否异常,若异常,可以屏蔽掉该异常的观众音频数据。

此外,在一个具体的实施例中,当前播放的合唱音频的时间点可以为当前 合唱音频的伴奏播放和/或歌词播放的时间点,而当前播放的合唱音频即为在线 演唱会的后台系统服务端当前播放的由主播和观众一起合唱的歌曲或伴奏音 乐;而本发明中的音频录入设备可以包括麦克风等各种类型的录入设备。

在一个具体的实施例中,步骤S130具体包括:

将主播音频数据以及多个观众客户端发布的观众音频数据先送达给同一台 调度服务器,由调度服务器衡量计算服务器群中各个流媒体服务器空闲程度, 并根据空闲情况,将音频数据调度给具体的流媒体服务器进行处理,一台流媒 体服务器可以处理多个音频数据,目的是合成多个音频数据形成最终合唱流。 其中调度服务器只做音频数据的分配,不做具体的音频数据处理操作。在一个 具体示例中,上述大数据同步处理主要是指采用服务端中的服务器群对成千上 万的音频数据处理合成的过程,不仅处理量大,且需要部署的服务器数量众多, 区别于小平台的数据处理量。

在一个具体的实施例中,步骤S140中将最终合唱流分别发送给主播客户端 和各观众客户端的步骤具体包括:

对最终合唱流进行模拟混响处理,得到模拟混响后的最终合唱流;也可以 同时对合唱流中音量太小或者太刺耳的噪音进行处理(降噪处理),以减小进行 同步合成处理的服务器的处理压力;将处理后的最终合唱流分别发送给主播客 户端和各观众客户端。而在一个具体示例中,混响效果的实现可以采用软件 gaudio(基于C/C++混合编程的跨平台音频库)。而步骤S150具体可以在流媒体 服务器上完成:当中观众和主播音频数据同步合成为一条最终合唱流之后,将 其发送给流媒体服务器,由流媒体服务器派发到各观众和主播客户端,进行播 放,听到合唱。

图2为本发明从服务端角度实施的在线演唱会大合唱的方法实施例1的应 用场景示意图,如图2所示:本发明应用于在线演唱会期间互动环节,可以通 过主播客户端发起合唱指令,响应合唱指令的观众客户端跟着当前播放的合唱 音频的时间点参与合唱;每位观众客户端(图2中分别为观众客户端-1、观众客 户端-2以及观众客户端-3等)的音频录入设备录入一条添加了时间标记的观众 音频数据(图2中分别为观众音频数据-1、观众音频数据-2以及观众音频数据-3 等)发送给相应服务器;服务器程序根据时间标记,在服务端将观众合唱流与 主播音频数据作同步处理,实时合成最终合唱流返回给各客户端播放,从而使 观众和主播在一边录入音频数据的同时,一边实时听到现场大合唱的播放效果。

具体而言,主播在主播客户端界面点击发起合唱指令并发送给观众客户端, 观众客户端显示“加入合唱”按钮;观众点击加入合唱后,观众客户端界面显 示“打开麦克风”,同意系统调用电脑麦克风或其它类型的音频录入设备;观众 通过麦克风(或其它音频录入设备)进行录音(录音音频依据当前播放的合唱 音频的时间点添加了时间标记),同时观众客户端界面显示合唱歌词,提示状态 “正在合唱”;系统服务器处理观众和主播的声音,同步合成得到合唱流,并实 时返回给各客户端播放,从而通过客户端听到合唱效果。

本发明在线演唱大合唱的方法,在服务端实现的实施例1能够实现在线演 唱会万人大合唱功能,增强了在线直播互动性,实时的利用大数据处理合成万 人语音,加快处理音频的速率,增加处理音频的数量,区别于一对一的合唱或 完全录入一段音频后再播放的合唱,而是在录入音频的同时,实时的播放合唱, 让更多的观众能参与到活动中来。

本发明从服务端角度实施的在线演唱会大合唱的方法实施例2;

为了实现在线演唱会万人大合唱功能,增强在线直播互动性,本发明还提 供了一种从服务端角度实施的实施例2,该服务端包括服务器群;实施例2与上 述实施例1的主要区别在于:本实施例2为服务器群中的服务器程序根据时间 标记,实时合成观众合唱流后,再在服务端与主播音频数据作同步处理,得到 最终合唱流;这种获得最终合唱流的方法一方面能够增大本发明对音频数据的 处理量,提高处理速度,大大减少录入音频数据和播放合唱流之间的时间差, 增加实时播放合唱的真实效果;另一方面也能够增强最终合唱流中所有音频数 据同步的准确性,保证合成数据的一致。在本实施例2中观众客户端和主播客 户端需要在一个频道中。

图3为本发明从服务端角度实施的在线演唱会大合唱的方法实施例2的流 程示意图;如图3所示,可以包括以下步骤:

步骤S330:检测接收到的观众音频数据是否异常,若异常,屏蔽异常的观 众音频数据;

步骤S340:检测服务端中各流媒体服务器的空闲状态,并根据各流媒体服 务器的空闲状态,将观众音频数据调度给相应的流媒体服务器;由流媒体服务 器根据观众音频数据的时间标记,对观众音频数据进行同步合成处理,得到添 加了时间标记的观众合唱流;

步骤S350:将观众合唱流和主播音频数据发送给同步处理服务器,由同步 处理服务器根据观众合唱流和主播音频数据的时间标记,对观众合唱流和主播 音频数据进行同步合成处理,得到最终合唱流;同步处理服务器包括C++服务 器。

在一个具体的实施例中,步骤S340对接收到的所有观众音频数据进行合成 处理,得到添加了时间标记的观众合唱流的步骤具体包括:

检测服务端中服务器群的各流媒体服务器的空闲状态,并根据各流媒体服 务器的空闲状态,将观众音频数据调度给相应的流媒体服务器进行大数据同步 和合成处理,得到观众合唱流。

具体而言,多个观众客户端发布的观众音频数据先到达同一台调度服务器, 由调度服务器衡量计算服务器群中各个流媒体服务器空闲程度,并根据空闲情 况,将观众音频数据调度给具体的流媒体服务器进行处理,一台流媒体服务器 可以处理多个音频数据,目的是合成包括多个音频数据的观众合唱流,而根据 多个音频数据的时间标记,可以得到添加了时间标记的观众合唱流。其中调度 服务器只做音频数据的分配,不做具体的音频数据处理操作。在一个具体示例 中,上述大数据同步处理主要是指采用服务端中的服务器群对成千上万的音频 数据处理合成的过程,不仅处理量大,且需要部署的服务器数量众多,区别于 小平台的数据处理量。

在一个具体的实施例中,步骤S350中根据观众合唱流和主播音频数据的时 间标记,对观众合唱流和主播音频数据进行合成处理,得到最终合唱流的步骤 具体包括:

将观众合唱流和主播音频数据发送给同步处理服务器,由同步处理服务器 根据观众合唱流和主播音频数据的时间标记,对观众合唱流和主播音频数据进 行同步时间的合成处理,得到最终合唱流;该同步处理服务器包括C++(在C 语言的基础上开发的一种通用编程语言)服务器。而同步处理服务器的主要实 现流程为:根据观众合唱流和主播音频数据中添加的时间标记,同步时间,让 主播和观众所唱的歌词和/或伴奏的进度尽量重合,达到合唱的效果。在一个具 体示例中,流媒体服务器还可以对合唱流中音量太小或者太刺耳的噪音提前进 行处理(降噪处理),以减小同步处理服务器的处理压力。

图4为本发明在线演唱会大合唱的方法从服务端角度实施的实施例2的应 用示意图;如图4所示:通过主播客户端发起合唱指令,响应合唱指令的观众 客户端跟着当前播放的合唱音频的时间点参与合唱;每位观众客户端(图4中 分别为观众客户端-1、观众客户端-2以及观众客户端-3等)的音频录入设备录 入一条添加了时间标记的观众音频数据(图4中分别为观众音频数据-1、观众音 频数据-2以及观众音频数据-3等)发送给相应服务器;服务器程序根据时间标 记,实时合成观众合唱流后,在服务端与主播音频数据作同步处理,得到最终 合唱流,将最终合唱流实时返回给各客户端播放,从而使观众和主播在录入音 频的同时听到现场大合唱的播放效果。

本发明从客户端角度实施的在线演唱会大合唱的方法中实施例1:

为了实现在线演唱会万人大合唱功能,增强在线直播互动性,本发明还提 供了一种从客户端角度实施的在线演唱会大合唱的方法实施例1,如图5所示, 可以包括以下步骤:

步骤S510:主播客户端向服务端发起合唱指令;

步骤S520:各观众客户端接收服务端转发的合唱指令;

步骤S530:主播客户端的音频录入设备采集添加了时间标记的主播音频数 据;响应合唱指令的观众客户端在接收到录入指令时,通过音频录入设备采集 添加了时间标记的观众音频数据;时间标记为根据当前播放的合唱音频的时间 点而生成的;

步骤S540:发送主播音频数据和各观众音频数据;

步骤S550:接收最终合唱流;最终合唱流为服务端根据主播音频数据和各 观众音频数据的时间标记,对主播音频数据和所有观众音频数据进行同步合成 处理后得到的最终合唱流。

其中,在一个具体的实施例中,步骤S530具体为:主播客户端通过音频录 入设备录入音频数据;并根据当前播放的合唱音频的时间点,在该音频数据上 添加时间标记,得到添加了时间标记的主播音频数据;而响应了上述合唱指令 的观众客户端接收到观众发出的录入指令,连接观众客户端的音频录入设备需 要根据录入指令来录入音频数据(若观众选择不录入,音频录入设备无法录入 音频数据);并根据当前播放的合唱音频的时间点,在该音频数据上添加时间标 记,得到添加了时间标记的观众音频数据;其中,观众客户端和主播客户端需 要在一个频道中,而时间标记可以根据当前播放的合唱音频的时间点而生成。

此外,在一个具体的实施例中,当前播放的合唱音频的时间点可以为当前 合唱音频的伴奏播放和/或歌词播放的时间点,而当前播放的合唱音频即为在线 演唱会的后台系统服务端当前播放的由主播和观众一起合唱的歌曲或伴奏音 乐;而本发明中的音频录入设备可以包括麦克风等各种类型的录入设备。

在一个具体的实施例中,步骤S550中的最终合唱流可以采用本发明从服务 端角度实施的在线演唱会大合唱的方法实施例1或实施例2中的方式来获取。

在一个具体的实施例中,步骤S550后还可以包括主播客户端和各观众客户 端分别对接收到的最终合唱流进行模拟混响和/或降噪处理后播放。而在客户端 实现混响和/或降噪效果,能够减少服务端系统服务器的压力,提高合唱音色音 质。在一个具体的示例中,客户端可以采用软件gaudio(基于C/C++混合编程 的跨平台音频库)来实现混响效果。

本发明从客户端角度实施的在线演唱会大合唱的方法中实施例1通过主播 客户端发起合唱指令,响应合唱指令的观众客户端跟着当前播放的合唱音频的 时间点参与合唱;每位观众客户端的音频录入设备录入一条添加了时间标记的 观众音频数据发送给相应服务器;服务器程序则根据时间标记,在服务端与主 播音频数据作同步处理,实时合成合唱流后,返回给各客户端播放,从而使观 众和主播听到现场大合唱的播放效果;从而实现在线演唱会万人大合唱功能, 增强了在线直播互动性,采用大数据处理合成万人语音,区别于一对一的合唱, 能够一边录入一边实时播放合唱,让更多的观众能参与到活动中来。

本发明在线演唱会大合唱的系统实施例1:

为了实现在线演唱会万人大合唱功能,增强在线直播互动性,本发明还提 供了一种在线演唱会大合唱的系统实施例1;大合唱系统可以包括主播客户端、 观众客户端以及服务端,其中,观众客户端和主播客户端需要在一个频道中, 如图6所示,服务端可以包括:

第一发送单元10,用于发送主播客户端发起的合唱指令;

接收单元20,用于接收观众客户端发送的观众音频数据和主播客户端发送 的主播音频数据;观众客户端为响应合唱指令的客户端;观众音频数据和主播 音频数据为根据所属客户端的音频录入设备采集的添加了时间标记的音频数 据;时间标记为根据当前播放的合唱音频的时间点而生成的;

合成单元30,用于根据接收单元20接收到的主播音频数据和所有观众音频 数据的时间标记,对观众音频数据和主播音频数据进行同步合成处理,得到最 终合唱流;

第二发送单元40,用于将最终合唱流分别发送给主播客户端和各观众客户 端。

在一个具体的实施例中,合成单元30包括:

调度服务器310,用于检测服务端中各流媒体服务器的空闲状态,并根据各 流媒体服务器的空闲状态,将观众音频数据调度给相应的流媒体服务器;

流媒体服务器320,用于根据观众音频数据的时间标记,对调度来的观众音 频数据进行同步合成处理,得到添加了时间标记的观众合唱流。

在一个具体的实施例中,合成单元30还包括:

同步处理服务器330,用于根据观众合唱流和主播音频数据的时间标记,对 观众合唱流和主播音频数据进行同步时间的合成处理,得到最终合唱流;同步 处理服务器包括C++服务器。

在一个具体的实施例中,本发明在线演唱会大合唱的系统实施例1还包括:

检测单元,用于检测接收单元20接收到的观众音频数据是否异常;

屏蔽单元,用于在检测单元的检测结果为是时,屏蔽上述异常的观众音频 数据;

音频处理单元,用于对最终合唱流进行模拟混响和/或降噪处理,得到模拟 混响和/或降噪后的最终合唱流。

在一个具体的实施例中,本发明在线演唱会大合唱的系统实施例1的具体 工作过程可以是如下所述:

第一发送单元10发送主播客户端发起的合唱指令;

接收单元20接收观众客户端发送的观众音频数据和主播客户端发送的主播 音频数据;在一个具体的实施例中,主播客户端通过音频录入设备录入音频数 据;并根据当前播放的合唱音频的时间点,在该音频数据上添加时间标记,得 到添加了时间标记的主播音频数据;而响应了上述合唱指令的观众客户端,通 过音频录入设备录入音频数据;并根据当前播放的合唱音频的时间点,在该音 频数据上添加时间标记,得到添加了时间标记的观众音频数据。接收单元20可 以实时接收观众客户端发送的观众音频数据和主播客户端发送的主播音频数 据。

此外,在一个具体的实施例中,当前播放的合唱音频的时间点为当前合唱 音频的伴奏播放和/或歌词播放的时间点,而当前播放的合唱音频即为在线演唱 会的后台系统服务端当前播放的由主播和观众一起合唱的歌曲或伴奏音乐;而 本发明中的音频录入设备可以包括麦克风等各种类型的录入设备。

合成单元30根据接收到的主播音频数据和所有观众音频数据的时间标记, 对观众音频数据和主播音频数据进行同步合成处理,得到最终合唱流;

一方面,在一个具体的实施例中,合成单元30可以由调度服务器310检测 服务器群中各流媒体服务器320的空闲状态,并根据各流媒体服务器的空闲状 态,将观众音频数据调度给相应的流媒体服务器320进行大数据同步和合成处 理,得到观众合唱流。

具体而言,多个观众客户端发布的观众音频数据先到达同一台调度服务器, 由调度服务器衡量计算服务器群中各个流媒体服务器空闲程度,并根据空闲情 况,将观众音频数据调度给具体的流媒体服务器进行处理,一台流媒体服务器 可以处理多个音频数据,目的是合成多个音频数据形成观众合唱流。其中调度 服务器只做音频数据的分配,不做具体的音频数据处理操作。在一个具体示例 中,上述大数据同步处理主要是指采用服务器群对成千上万的音频数据处理合 成的过程,不仅处理量大,且需要部署的服务器数量众多,区别于小平台的数 据处理量。

然后,合成单元30根据观众合唱流和主播音频数据的时间标记,对观众合 唱流和主播音频数据进行同步合成处理,得到最终合唱流;

在一个具体的实施例中,将观众合唱流和主播音频数据发送给同步处理服 务器330,同步处理服务器330可以根据观众合唱流和主播音频数据的时间标记, 对观众合唱流和主播音频数据进行同步时间的合成处理,得到最终合唱流;在 一个具体的实施例中,同步处理服务器330可以为C++(在C语言的基础上开 发的一种通用编程语言)服务器。同步处理服务器330根据观众和主播音频数 据中的时间标记,同步时间,让主播和观众所唱的歌词和/或伴奏的进度尽量重 合,达到合唱的效果。

第二发送单元40将最终合唱流分别发送给主播客户端和各观众客户端,在 一个具体的示例中,第二发送单元40可以是流媒体服务器,当观众和主播音频 数据同步合成为一条最终合唱流之后,发往流媒体服务器,由流媒体服务器派 发到各观众和主播客户端,由各观众和主播客户端进行播放,听到合唱。

在一个具体的实施例中,音频处理单元可以对最终合唱流进行模拟混响和/ 或降噪处理,得到模拟混响和/或降噪后的最终合唱流;第二发送单元40将模拟 混响后的最终合唱流分别发送给主播客户端和各观众客户端。而在一个具体示 例中,音频处理单元可以采用软件gaudio(基于C/C++混合编程的跨平台音频 库)实现混响效果。

在一个具体的实施例中,为了减少服务端系统服务器的压力,提高合唱音 色音质,可以通过主播客户端和各观众客户端分别对接收到的最终合唱流进行 模拟混响和/或降噪处理后再进行播放。在一个具体的示例中,客户端可以采用 软件gaudio(基于C/C++混合编程的跨平台音频库)来实现混响效果。

本发明在线演唱会大合唱的系统实施例1通过主播客户端发起合唱指令, 响应合唱指令的观众客户端跟着当前播放的合唱音频的时间点参与合唱;每位 观众客户端的音频录入设备录入一条添加了时间标记的观众音频数据发送给相 应服务器;服务器程序根据时间标记,在服务端与主播音频数据作同步处理(或 首先生成观众合唱流,然后同步合成观众合唱流与主播音频数据后,得到最终 合唱流),实时合成合唱流后返回给各客户端播放,从而使观众和主播听到现场 大合唱的播放效果;从而实现在线演唱会万人大合唱功能,增强了在线直播互 动性,实时的利用大数据处理合成万人语音,加快处理音频的速率,增加处理 音频的数量,区别于一对一的合唱或完全录入一段音频后再播放的合唱,而是 在录入音频的同时,实时的播放合唱,让更多的观众能参与到活动中来。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对 上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技 术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细, 但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的 普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改 进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权 利要求为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号