首页> 中国专利> 直播间视频流推送控制方法及相应的服务器与移动终端

直播间视频流推送控制方法及相应的服务器与移动终端

摘要

本发明涉及网络直播技术领域,具体涉及一种直播间视频流推送控制方法及相应的服务器与移动终端。所述方法包括步骤:接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。本发明基于视频流分离以及合并为技术基础实现多平台同步直播,并且实现视频流的分享及灵活组合,使多平台直播更加方便快捷,提高直播效率,提升直播内容,进而提升用户体验。

著录项

  • 公开/公告号CN107005721A

    专利类型发明专利

  • 公开/公告日2017-08-01

    原文格式PDF

  • 申请/专利权人 广州市百果园信息技术有限公司;

    申请/专利号CN201680002272.2

  • 发明设计人 李学凌;胡建强;陈健鸿;吴晨;

    申请日2016-11-22

  • 分类号H04N21/2187(20110101);H04N21/239(20110101);H04N21/254(20110101);H04N21/258(20110101);H04N21/41(20110101);H04N21/488(20110101);H04N21/643(20110101);H04N21/658(20110101);H04L29/06(20060101);

  • 代理机构11330 北京市立方律师事务所;

  • 代理人乔建聪

  • 地址 511442 广东省广州市番禺区南村镇万博二路79号万博商务区万达商业广场北区B-1栋

  • 入库时间 2023-06-19 02:55:17

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-06-14

    专利权的转移 IPC(主分类):H04N21/2187 专利号:ZL2016800022722 登记生效日:20220601 变更事项:专利权人 变更前权利人:广州市百果园信息技术有限公司 变更后权利人:百果园技术(新加坡)有限公司 变更事项:地址 变更前权利人:511442 广东省广州市番禺区南村镇万博二路79号万博商务区万达商业广场北区B-1栋 变更后权利人:新加坡巴西班让路枫树商业城30号楼15层31A

    专利申请权、专利权的转移

  • 2020-07-24

    授权

    授权

  • 2017-08-25

    实质审查的生效 IPC(主分类):H04N21/2187 申请日:20161122

    实质审查的生效

  • 2017-08-01

    公开

    公开

说明书

【技术领域】

本发明涉及网络直播技术领域,具体涉及一种直播间视频流推送控制方法及相应的服务器与移动终端。

【背景技术】

随着互联网技术及智能移动终端设备的发展,各种互联网产品给人们的工作、生活带来了很多便利与娱乐,近年来,各类用于视频直播的直播平台层出不穷,视频直播给人们带来更实时的社交体验。而目前的直播平台包括了用于移动端的直播平台和用于PC端的直播平台。

由于视频直播需求的多样性,主播需要同时直播PC端上的内容(如PC上的游戏画面)和主播个人形象,以跟观看用户进行更好的互动,该直播方式称之为多视角或多平台同步直播,目前的多视角同步直播采用如下几种方案:

1.独立的PC客户端加第三方外设摄像头进行组合直播:

采用这种方案,需要单独开发一套PC端完整的客户端软件,并且配合第三方的外部摄像头,手动将需要直播的进程窗口与摄像头组合以后,通过直播客户端向服务器上传直播流,然后再由服务器下发到各个观看端;操作设置的流程复杂,并且涉及第三方外设的安装、使用以及第三方视频软件的加入才可以实现人与进程窗口同步直播的效果。

2.WEB端加第三方直播推流软件以及外设摄像头进行组合直播:

一般的WEB直播平台使用WEB端后台加上第三方直播推流软件进行直播,用户在WEB端直播平台注册账号并通过流程获得WEB端的直播权限后,还需要针对个人网络进行测速,并且按照指定的码率配置好第三方直播推流软件,不仅流程相当复杂,而且需要掌握第三方直播软件的各种设置,且需要进行人工测速并配置,不方便多平台直播的进行。

3.移动端使用手工形式进行跨平台直播:

在移动端进行直播的过程中,如果需要直播PC端的内容,用户可以通过调整移动端摄像头的方向以及位置,采用手动转播的形式进行多视角直播;该操作相对简单,但因为直播的范围以及直播的内容难以得到保证,导致直播的质量较低,同时以移动端的摄像头进行对其他平台的内容的转播,影响用户在直播过程中的操作以及与观众之间的互动,对直播过程中的互动效果有很大的影响。

总而言之,目前所支持的多视角、跨平台直播方法,或者操作流程繁琐,或者直播效果不佳,无法满足主播用户快捷地分享多端的直播内容、让直播内容以及互动得到更好体验的效果。

【发明内容】

本发明的首要目的在于提供一种直播间视频流推送控制方法及执行该方法步骤的服务器。

本发明的另一目的在于提供直播间视频流推送控制方法及执行该方法步骤的移动终端。

为实现该目的,本发明采用如下技术方案:

第一方面,本发明提供一种直播间视频流推送控制方法,该方法由服务器执行,包括如下步骤:

服务器接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;

服务器响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;

服务器接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

具体的,服务器响应所述连接请求,根据所述预协议信息将第一终端的唯一设备标识、主播用户的身份信息及直播间的特征信息发送给第二终端,以将第一终端上传的第一直播视频流下发至第二终端。

进一步的,在所述响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端步骤之后,所述接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户步骤之前,还包括步骤:

服务器向第二终端发送采集第二直播视频流的控制指令,以在第二终端的用户界面上生成采集第二直播视频流的控制窗口。

具体的,所述第一、第二、第三直播视频流均包含图像流和音频流,所述第三直播视频流包括第一直播视频流、第二直播视频流至少之一的图像流,还包括该两者至少之一的音频流。

第二方面,本发明还提供一种直播间视频流推送控制方法,该方法由第一终端执行,包括如下步骤:

第一终端获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求;

第一终端响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。

具体的,所述预协议信息以二维码形式表征,所述第一终端通过摄像头扫描二维码获取所述预协议信息。

优选的,在所述以主播用户身份向服务器发起所述连接请求后,所述响应于主播用户的确认指令前,第一终端提供确认连接的操作界面,以在接收到主播用户的确认指令后向服务器上传本地产生的第一直播视频流。

进一步的,所述方法还包括后续步骤:

第一终端通过服务器向第二终端发送采集第二直播视频流的控制指令,以在第二终端的用户界面上生成采集第二直播视频流的控制窗口。

第三方面,本发明还提供一种直播间视频流推送控制方法,该方法由第二终端执行,包括如下步骤:

第二终端输出表征预协议信息的链接标识;

第二终端响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流;

第二终端采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

具体的,所述预协议信息包含第二终端的唯一设备标识。

较佳的,所述第二终端接收第一直播视频流的过程与采集第二直播视频流的过程与合并第三直播视频流的过程与上传第三直播视频流的过程并行工作。

另外的,与所述第一方面相对应的,本发明还提供一种服务器,其被配置为用于执行如下步骤:

接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;

响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;

接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

另外的,与所述第二方面相对应的,本发明还提供一种移动终端,其被配置为用于执行如下步骤:

获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求;

响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。

再者,与所述第三方面相对应的,本发明还提供一种移动终端,其被配置为用于执行如下步骤:

输出表征预协议信息的链接标识;

响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流;

采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

最后,本发明还提供一种直播间视频流推送控制系统,包括第一终端、第二终端的至少两个终端以及与之建立通信连接的服务器,其特征在于:

所述第二终端输出表征预协议信息的链接标识,所述第一终端获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求,所述第一终端响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流,所述服务器响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端,所述第二终端接收服务器下发的第一直播视频流,并将所述第一直播视频流和本地采集的第二直播视频流至少之一合并为第三直播视频流,并将所述第三直播视频流上传到服务器,所述服务器接收第二终端上传的第三直播视频流,并将之推送给所述直播间的成员用户。

与现有技术相比,本发明具备如下优点:

本发明考虑到直播间的直播内容包括视频流、音频流、弹幕信息、礼物信息等,基于直播视频流的分离与合并技术,将不同终端的直播视频流通过主播用户终端合并后上传到服务器,再由服务器将合并后的视频流推送至直播间的各个观看用户,降低服务器过多地合并视频流的压力,节省资源。

同时,本发明利用移动端作为主播进行直播的快速登陆及认证入口,一般地,在移动端的直播应用均配置了主播快速开启直播的入口,用户只需登录直播平台账号后即可快速开启移动端的直播;以此配合PC端不添加第三方外设时快速自动化的直播支持,在PC端上的直播客户端,若不添加第三方外部摄像头,可以快速、自动地配置直播参数以录制PC端上软件/桌面的画面;极大降低多端视频流的开播门槛,实现更加快速、灵活地多平台直播流程。

另外,本发明基于移动端以及PC端账号分离体系,利用PC端较高性能的图像处理能力,配合移动端快速开启直播的便捷性,将各直播内容由PC端进行处理、合并,进而上传至服务器,再由服务器推送至直播间的各个观看用户,保证直播视频流的时间同步性。

综上所述,本发明结合移动端以及PC端各自的视频直播客户端优势,简化多平台、多视角直播的操作步骤,降低多平台、多视角直播的技术门槛,使得主播用户使用多平台、多视角同步直播更加方便、快捷,提高直播效率,进而提升用户体验。

显然,上述有关本发明优点的描述是概括性的,更多的优点描述将体现在后续的实施例揭示中,以及,本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

【附图说明】

图1为本发明直播间视频流推送控制方法的一实施例流程示意图;

图2所示是服务器与第一终端建立连接后,在第一终端操作界面上显示合并模式选择窗口的一个实施例示意图;

图3所示是本发明第三直播视频流的一个实施例示意图;

图4所示是本发明直播间视频流推送控制方法一实施例流程示意图;

图5所示是第一终端获取预协议信息的一操作界面示意图;

图6所示是本发明直播间视频流推送控制装置的一实施例示意图;

图7所示是本发明直播间视频流推送控制装置的一实施例示意图;

图8所示是本发明直播间视频流推送控制装置的一实施例示意图;

图9所示是本发明移动终端的一实施例结构示意图;

图10是实现本发明所述直播间视频流推送控制方法的系统示意图。

【具体实施方式】

下面结合附图和示例性实施例对本发明作进一步地描述,其中附图中相同的标号全部指的是相同的部件。此外,如果已知技术的详细描述对于示出本发明的特征是不必要的,则将其省略。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解,这里所使用的远端网络设备,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中,远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信,包括但不限于,基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

本技术领域技术人员可以理解,本发明所述的用户界面/操作界面泛指能够用于向智能终端发送控制指令的显示界面,例如,可以为Andro i d系统的设置页面中的一个选项(或按键,由所述应用程序添加其中,下同),也可以是从桌面呼出的通知栏或者交互页面中的一个选项,还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。

本领域技术人员应当理解,本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念,是业内技术人员所公知的相同概念,是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定,这种命名本身不受编程语言种类、级别,也不受其赖以运行的操作系统或平台所限制。理所当然地,此类概念也不受任何形式的终端所限制。

直播间:本发明所述直播间包括以下含义,①一种基于网络直播平台创建的一个虚拟空间(或虚拟房间),直播间一般由主播客户端创建并连接有多个观看客户端,即直播间中包括了主播及多个观众,位于该虚拟空间内的观看客户端可以观看主播客户端的直播内容,同时主播客户端的用户与观看客户端的用户、观看客户端的用户与观看客户端的用户之间还可以进行语音、图片、文字或赠送电子赠品的互动;②一种以群组方式将用户聚合在一起的即时通讯平台,例如视频会议系统,用户通过登录客户端的方式进入群组,用户在群组内以群组成员的身份存在,同一个群组内包含有多个群组成员,用户可任意加入或退出群组,在群组内,可以进行文字、语音、视频等多种互动。

第一方面,如图1所示是本发明直播间视频流推送控制方法的一实施例流程示意图,该方法由网络设备执行,所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云,其包括步骤S100~S120:

步骤S100:接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求。

直播间的主播用户的第一终端识别由第二终端输出的表征预协议信息的链接标识,进而获取所述预协议信息,然后第一终端向服务器发起包含该预协议信息的连接请求,服务器接收到该连接请求以作后续处理。

具体的,所述预协议信息包含第二终端的唯一设备标识及建立服务器与终端的专属链路的授权令牌或鉴权信息,并且所述预协议信息通过加密方式处理、存储在表征预协议信息的链接标识中,必须经相应授权的应用程序才能从所述链接标识中解析、得到所述预协议信息。一般地,预协议信息的加密方式、表征预协议信息的链接标识由各直播平台自行定义,经该直播平台授权的应用程序识别所述链接标识后方能得到所述预协议信息。

在一种实施方式中,所述表征预协议信息的链接标识通过二维码的形式输出,二维码是通过特定的几何图形按预定的规律在二维平面上分布的黑白相间的图形记录数据符号信息,二维码在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念,使用多个与二进制相对应的几何形体来表示文字、数值等信息,可以通过图象输入设备或光电扫描设备识读二维码以获取二维码中包含的信息。二维码具有条码技术的多个共性:每种码制有其特定的字符集;每个字符占有预定的宽度;并且具有一定的校验功能等。

步骤S110:响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端。

服务器响应于所述连接请求,校验其中的预协议信息,若该预协议信息与直播平台定义的预协议信息规则匹配,则视该连接请求为合法连接请求,将第一终端的唯一设备标识、主播用户的身份信息及直播间的特征信息发送给第二终端,以建立与第二终端的专属通信链路,进而将接收到的第一终端上传的第一直播视频流下发至第二终端。

优选的,在服务器接收所述连接请求、建立与第二终端的专属网络通信链路后,将与第二终端完成建立连接的信息反馈给第一终端,且在接收到来自第一终端的确认指令时,才将接收到的第一终端上传的第一直播视频流下发至第二终端。同时,向第二终端发送采集第二直播视频流的控制指令,以在第二终端的用户界面上生成采集第二直播视频流的控制窗口,然后主播用户在该控制窗口中选择第二直播视频流的视频源,即可快速采集第二直播视频流。

步骤S120:接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

具体的,所述第一、第二、第三直播视频流均包含图像流和音频流,所述第三直播视频流包括第一直播视频流、第二直播视频流至少之一的图像流,还包括该两者至少之一的音频流,第三直播视频流的种类包括:

①第一直播视频流的图像流及第一直播视频流的音频流;

②第二直播视频流的图像流及第二直播视频流的音频流;

③第一直播视频流的图像流及第一直播视频流的音频流以及第二直播视频流的图像流;

④第一直播视频流的图像流及第二直播视频流的图像流以及第二直播视频流的音频流;

⑤第一直播视频流的图像流及第一直播视频流的音频流与第二直播视频流的图像流以及第二直播视频流的音频流。

如图4所示是本发明第三直播视频流的一个实施例示意图,其包括第一直播视频流的图像流及第二直播视频流的图像流,还可以包括两者的音频流,其中第一直播视频流的图像流为图中所示的人物窗口,第二直播视频流的图像流为图中所示的“PC画面”的图像窗口,实现了多视角、跨平台同步直播。

优选的,在第一终端和第二终端上提供相应的视频流、音频流的开启/关闭选项供主播用户进行选择,当主播用户选择开启/关闭某一视频流的图像流或音频流时,相应合成的第三直播视频流随之改变,让主播用户能更好地根据需要展示直播间的内容。例如,当前的第三直播视频流为上述第⑤种类时,主播用户想暂时关闭第一直播视频流的图像流、音频流而通过第二视频流、音频流与观众用户进行更好的互动,此时主播用户可以在第一终端上选择关闭第一直播视频流,此时第二终端所采集的第二直播视频流即作为合并后的第三视频流,然后服务器在接收到第二终端上传的第三直播视频流后将之推送至直播间的观众用户;较佳地,主播用户亦可在第二终端上选择关闭第一直播视频流,此时服务器不再将第一直播视频流下发给第二终端,然后由第二终端所采集的第二直播视频流作为合并后的第三视频流并上传到服务器,服务器再将该第三直播视频流推送给直播间的观看用户,例如在第二终端用户界面上提供的第一直播视频流、音频流的开启/关闭选项按钮,在主播用户选择“关闭”选项按钮后则将接收第一直播视频流的通信链路关闭,不再接收第一直播视频流。

更佳的,在第二终端的用户界面上,主播用户还可以设置第一直播视频流的图像流及第二直播视频流的图像流的显示区域大小,相应合并后的第三直播视频流根据对第一直播视频流和第二直播视频流的修改而进行修改,并将修改后的第三直播视频流之上传到服务器,服务器进而将第三直播视频流推送至直播间,为主播用户提供更多的自定义选择,保证直播间直播内容的展示。

第二方面,如图3所示是本发明直播间视频流推送控制方法一实施例流程示意图,在本实施例中,该方法由第一终端执行,所述第一终端优选为移动终端,所述方法亦可理解为由第一终端上的视频直播应用程序执行,包括步骤S200~S220:

步骤S200:获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求。

具体的,所述预协议信息包含第二终端的唯一设备标识及建立服务器与终端的专属链路的授权令牌或鉴权信息,并且所述预协议信息通过加密方式处理、存储在表征预协议信息的链接标识中,必须经相应授权的应用程序才能从所述链接标识中解析、得到所述预协议信息。一般地,预协议信息的加密方式、表征预协议信息的链接标识由各直播平台自行定义,经该直播平台授权的应用程序识别所述链接标识后方能得到所述预协议信息。

直播间的主播用户的第一终端识别由第二终端输出的表征预协议信息的链接标识,进而获取所述预协议信息,即用户在第一终端运行该视频直播应用程序并以主播身份根据所述预协议信息的表征形式,识别表征预协议信息的链接标识,获取所述预协议信息,然后向服务器发起包含该预协议信息的连接请求,以通过服务器将第一终端的唯一设备标识、主播用户的身份信息和直播间的特征信息发送至第二终端,其中主播用户的身份信息为直播平台上的主播用户UID,用以表征唯一的一个主播用户,另外,直播间的特征信息即直播间的频道ID。如图5所示是第一终端获取预协议信息的一操作界面示意图,通过点击图5中箭头所指向的诸如“PC直播”的按钮,出现扫描框,然后通过扫描第二终端以二维码形式输出的表征预协议信息的链接标识,进而获取相应的预协议信息,同时以主播身份向服务器发起包含该预协议信息的连接请求。

步骤S210:响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。。

服务器响应于所述连接请求,校验其中的预协议信息,若该预协议信息与该直播平台定义的预协议信息规则匹配,则视该连接请求为合法连接请求,然后将第一终端的唯一设备标识、主播用户的身份信息及直播间的特征信息发送给第二终端,以建立与第二终端的专属通信链路;在服务器建立与第二终端的专属通信链路后,向第一终端反馈连接建立完成的提示信息,第一终端接收到该提示信息后在第一终端的用户界面上生成确认连接的操作界面,用于接收主播用户的确认指令,例如在第一终端的用户界面上提供诸如“确认”连接的按钮,且当接收到主播用户的确认指令时,才将本地产生的第一直播视频流上传到服务器,以使得服务器将该第一直播视频流下发至第二终端。

优选的,在主播用户确认连接后,第一终端通过服务器向第二终端发送采集第二直播视频流的控制指令,以在第二终端的用户界面上生成采集第二直播视频流的控制窗口,然后主播用户在该控制窗口中选择第二直播视频流的视频源,即可快速采集第二直播视频流。

第三方面,如图3所示是本发明直播间视频流推送控制方法另一实施例流程示意图,在本实施例中,该方法由第二终端执行,考虑到终端的图像处理性能,所述第二终端优选为PC端,所述方法亦可理解为由第二终端上的视频直播客户端执行,包括步骤S300-S320:

步骤S300:输出表征预协议信息的链接标识。

具体的,所述预协议信息包含第二终端的唯一设备标识及建立服务器与终端的专属链路的授权令牌或鉴权信息,并且所述预协议信息通过加密方式处理、存储在表征预协议信息的链接标识中,必须经相应授权的应用程序才能从所述链接标识中解析、得到所述预协议信息,一般地,预协议信息的加密方式、表征预协议信息的链接标识由各直播平台自行定义,经该直播平台授权的应用程序识别所述链接标识后方能得到所述预协议信息,在一种实施方式中,所述表征预协议信息的链接标识通过二维码的形式输出。例如,PC端上的视频直播客户端操作界面上设有诸如“分享直播”的按钮,用于将预协议信息生成链接标识并呈现在终端的用户界面上,用户点击“分享直播”按钮后,在视频直播客户端的操作界面上输出一个二维码,经直播平台授权的第一终端上的视频直播客户端通过扫描该二维码即可获取到所述预协议信息。

步骤S310:响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流。

在直播间的主播用户的第一终端识别由第二终端输出的表征预协议信息的链接标识,进而获取所述预协议信息,然后第一终端向服务器发起包含该预协议信息的连接请求后,第二终端响应该请求接收服务器发送的第一终端的唯一设备标识、主播用户的身份信息及直播间的特征信息,以此建立与服务器的专属通信链路,进而通过该专属链路接收服务器下发的第一直播视频流。

优选的,在第二终端响应所述连接请求、建立与服务器的专属通信链路后,且当服务器接收到第一终端的确认指令并反馈给第二终端时,才接收服务器下发的第一直播视频流。

步骤S320:采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

在第二终端接收到当服务器反馈的接收到第一终端的确认指令的同时,接收服务器发送的采集第二直播视频流的控制指令,第二终端接收到该控制指令,在用户界面上生成采集第二直播视频流的控制窗口,然后主播用户在该控制窗口中选择第二直播视频流的视频源,即可快速采集第二直播视频流。一般地,第二终端采集的第二直播视频流的图像流包括进程画面(如游戏窗口画面)和桌面画面(即第二终端的整个桌面画面),因此控制窗口中包含上述2种图像流选择,用户根据自己的需要采集相应的视频源作为第二直播视频流。然后主播用户选择推送第三直播视频流,此时,第二终端在采集第二直播视频流的同时将接收到第一直播视频流与第二直播视频流合并为第三直播视频流,并将第三直播视频流上传到服务器,以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

具体的,第二终端的所述接收第一直播视频流的过程与采集第二直播视频流的过程与合并第三直播视频流的过程与上传第三直播视频流的过程并行工作。并行工作是指同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的工作,并行工作具有①时间重叠性:相邻处理过程在时间上错开,轮流重叠使用同一套硬件的各部分;②资源共享性:让多个用户按照一定的时间顺序轮流使用同一套资源,提高资源利用率;③资源重复:重复设置硬件资源,提高硬件可靠性和性能。具体的,对于本发明实施例而言,并行工作是指第二终端在接收第一直播视频流时,可以同步/同步采集第二直播视频流,并同时/同步将所接收到的第一直播视频流和所采集的第二直播视频流合并成第三直播视频流,且同时/同步将第三直播视频流上传到服务器,保证了直播视频流的同时/同步性。

优选的,在第二终端上提供相应的第一、第二直播视频流的图像流、音频流的开启/关闭选项供主播用户进行选择,当主播用户选择开启/关闭某一直播视频流的图像流或音频流时,相应合成的第三直播视频流随之改变,让主播用户能更好地根据需要展示直播间的内容。

更佳的,在第二终端的用户界面上,主播用户还可以设置第一直播视频流的图像流及第二直播视频流的图像流的显示区域大小,相应合并后的第三直播视频流根据对第一直播视频流和第二直播视频流的修改而进行修改,并将修改后的第三直播视频流之上传到服务器,服务器进而将第三直播视频流推送至直播间,为主播用户提供更多的自定义选择,保证直播间直播内容的展示。

与所述第一方面的方法相对应的,如图6所示是本发明一种直播间视频流推送控制装置,包括:接收请求模块:用于接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;响应请求模块:用于响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;视频推送模块:用于接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

与所述第二方面的方法相对应的,如图7所示是本发明一种直播间视频流推送控制装置,包括:获取模块:用于获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求;发送模块:用于响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。

与所述第三方面的方法相对应的,如图8所示是本发明一种直播间视频流推送控制装置,包括:输出模块:用于输出表征预协议信息的链接标识;接收模块:用于响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流;合并模块:用于采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

另外,与第一方面相对应的,本发明还提供一种服务器,包括处理器,所述处理器被配置为用于执行如下步骤:

接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;

响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;

接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

再者,与第二方面相对应的,本发明还提供一种移动终端,包括处理器、存储器、触敏显示器、摄像头,其特征在于,所述处理器用于执行如下步骤:

获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求;

响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。

最后,与第三方面相对应的,本发明还提供一种移动终端,其被配置为用于执行如下步骤:

输出表征预协议信息的链接标识;

响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流;

采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

如图9所示是本发明移动终端的一实施例结构示意图。该移动终端可以为手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以移动终端为手机为例:

参考图9,手机包括:射频(Radio Frequency,RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(wireless fidelity,WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解,图9中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

下面结合图9对手机的各个构成部件进行具体的介绍:

RF电路910可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器980处理;另外,将设计上行的数据发送给基站。通常,RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。

存储器920可用于存储软件程序以及模块,处理器980通过运行存储在存储器920的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元930可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元930可包括触控面板931以及其他输入设备932。触控面板931,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板931可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器980,并能接收处理器980发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931,输入单元930还可以包括其他输入设备932。具体地,其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板941。进一步的,触控面板931可覆盖显示面板941,当触控面板931检测到在其上或附近的触摸操作后,传送给处理器980以确定触摸事件的类型,随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图9中,触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器950,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板941的亮度,接近传感器可在手机移动到耳边时,关闭显示面板941和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

音频电路960、扬声器961,传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号,传输到扬声器961,由扬声器961转换为声音信号输出;另一方面,传声器962将收集的声音信号转换为电信号,由音频电路960接收后转换为音频数据,再将音频数据输出处理器980处理后,经RF电路910以发送给比如另一手机,或者将音频数据输出至存储器920以便进一步处理。

WiFi属于短距离无线传输技术,手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块970,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器920内的软件程序和/或模块,以及调用存储在存储器920内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器980可包括一个或多个处理单元;优选的,处理器980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器980中。

手机还包括给各个部件供电的电源990(比如电池),优选的,电源可以通过电源管理系统与处理器980逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,手机还包括摄像头,并与所述处理器980及手机其他组件电连接。

如图10所示是本发明所述直播间视频流推送控制方法的系统示意图,其中包括第一终端、第二终端、多个服务器及多个观看用户,该系统示意图展示了本发明所述方法的主要流程图,其中,主播用户从第一终端向身份服务器发起包含第二终端输出的预协议信息的连接请求,身份服务器验证所述预协议信息后将第一终端的唯一设备标识、主播用户的身份信息及直播间的特征信息发送给第二终端,然后视频流服务器建立与第一终端的通信链路以接收第一终端上传的第一直播视频流、及建立与第二终端的专属链路以通过该专属链路将第一直播视频流下发至第二终端,第二终端同时采集本地的第二直播视频流,再将第一直播视频流和第二直播视频流两者至少之一合成第三直播视频流并上传到视频流服务器,然后由视频流服务器将第三直播视频流推送给直播间的各个用户甲、乙、丙。

下面举例结合服务器、第一终端(移动端)、第二终端(PC端)说明本发明的一种实施过程,用户需要快速开启同时直播游戏画面及个人形象,首先开启移动端上的视频直播应用程序,登陆直播平台账号后快速创建直播间,此时用户为主播用户,另外在PC端上开启视频直播客户端并登录该直播平台账号,然后点击PC端上的“分享直播”按钮,在PC端上的用户界面输出表征预协议信息的链接标识(以二维码为表征预协议信息的链接标识为例),然后用户点击移动端上的“PC直播”按钮,弹出二维码扫描界面,利用移动端的摄像头扫描PC端界面上输出的二维码,获取其表征的预协议信息并向服务器发起包含该预协议信息的连接请求,服务器完成请求验证后,将移动端的唯一设备标识、主播用户的UID及直播间的频道ID发送给PC端,此时建立视频流服务器与手机端及PC端的通信链路连接并将连接建立完成的信息反馈给第一终端,用户在移动端上完成确认连接后,将本地产生的第一直播视频流上传到视频流服务器,由视频流服务器将所述第一直播视频流下发给PC端,接着用户在PC端上选择所要采集视频源作为第二直播视频流,然后PC端将接收到的第一直播视频流跟本地采集的第二直播视频流合成为第三直播视频流,并且用户在PC端上可以根据需要调整控制第一、第二直播视频流的图像画面大小比例,以更好地显示直播内容,最后PC端将合并成的第三直播视频流上传到视频流服务器,由视频流服务器将第三直播视频流推送给直播间的各个观看用户。

概括地说,本发明提供的技术方案如下:

一种直播间视频流推送控制方法,包括如下步骤:

接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;

响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;

接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

在以上直播间视频流推送控制方法中,进一步包括如下技术内容:

所述响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端的步骤,具体为:

响应该连接请求,根据所述预协议信息将第一终端的唯一设备标识、主播用户的身份信息及直播间的特征信息发送给第二终端,以将第一终端上传的第一直播视频流下发至第二终端;

在所述响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端步骤之后,所述接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户步骤之前,还包括步骤:向第二终端发送采集第二直播视频流的控制指令,以在第二终端的用户界面上生成采集第二直播视频流的控制窗口;

在接收所述连接请求之后,当接收到来自第一终端的确认指令时,才继续后续步骤。

同时提供另一种直播间视频流推送控制方法,包括如下步骤:

获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求;

响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。

在该另一种直播间视频流推送控制方法中,进一步包括如下技术内容:

所述预协议信息以二维码形式表征,通过摄像头扫描二维码获取所述预协议信息;

在所述以主播用户身份向服务器发起所述连接请求后,所述响应于主播用户的确认指令前,提供确认连接的操作界面,以在接收到主播用户的确认指令后向服务器上传本地产生的第一直播视频流;

所述另一种直播间视频流推送控制方法还包括后续步骤:通过服务器向第二终端发送采集第二直播视频流的控制指令,以在第二终端的用户界面上生成采集第二直播视频流的控制窗口。

同时提供第三种直播间视频流推送控制方法,包括如下步骤:

输出表征预协议信息的链接标识;

响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流;

采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

在该第三种直播间视频流推送控制方法中,进一步包括如下技术内容:

所述接收第一直播视频流的过程与采集第二直播视频流的过程与合并第三直播视频流的过程与上传第三直播视频流的过程并行工作。

一种直播间视频流推送控制装置,包括:

接收请求模块:用于接收所述直播间的主播用户从第一终端发起的包含由第二终端输出的预协议信息的连接请求;

响应请求模块:用于响应该连接请求,将接收到的第一终端上传的第一直播视频流下发至第二终端;

视频推送模块:用于接收第二终端上传的由第二直播视频流与所述第一直播视频流至少之一合并而成的第三直播视频流,并将之推送给所述直播间的成员用户。

一种直播间视频流推送控制装置,包括:

获取模块:用于获取由第二终端输出的预协议信息,并以主播用户身份向服务器发起包含该预协议信息的连接请求;

发送模块:用于响应于主播用户的确认指令,向服务器上传本地产生的第一直播视频流。

一种直播间视频流推送控制装置,包括:

输出模块:用于输出表征预协议信息的链接标识;

接收模块:用于响应于第一终端向服务器发起的包含所述预协议信息的连接请求,接收服务器下发的第一直播视频流;

合并模块:用于采集本地的第二直播视频流,并将所述第一直播视频流和第二视频流至少之一合并为第三直播视频流,并将之上传到服务器以使得所述服务器向直播间的至少一个用户推送所述第三直播视频流。

一种服务器,包括处理器,该处理器用于执行上述第一种直播间视频流推送控制方法。

一种移动终端,包括处理器、存储器、触敏显示器、摄像头,其特征在于,所述处理器用于执行上述第二、第三种直播间视频流推送控制方法中的任意一个。

本发明考虑到直播间的直播内容包括视频流、音频流、弹幕信息、礼物信息等,基于直播视频流的分离与合并技术,将不同终端的直播视频流通过主播用户终端合并后上传到服务器,再由服务器将合并后的视频流推送至直播间的各个观看用户,降低服务器过多地合并视频流的压力,节省资源;同时,本发明利用移动端作为主播进行直播的快速登陆及认证入口,以此配合PC端不添加第三方外设时快速自动化的直播支持,极大降低多端视频流的开播门槛,实现更加快速、灵活地多平台直播流程;另外,本发明基于移动端以及PC端账号分离体系,利用PC端较高性能的图像处理能力,配合移动端快速开启直播的便捷性,将各直播内容由PC端进行处理、合并,进而上传至服务器,再由服务器推送至直播间的各个观看用户,保证直播视频流的时间同步性。

综上所述,本发明结合移动端以及PC端各自的视频直播客户端优势,简化多平台、多视角直播的操作步骤,降低多平台、多视角直播的技术门槛,使得主播用户使用多平台、多视角同步直播更加方便、快捷,提高直播效率,进而提升用户体验。

虽然上面已经示出了本发明的一些示例性实施例,但是本领域的技术人员将理解,在不脱离本发明的原理或精神的情况下,可以对这些示例性实施例做出改变,本发明的范围由权利要求及其等同物限定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号