首页> 中国专利> 视频数据的鉴黄方法、装置、电子设备及存储介质

视频数据的鉴黄方法、装置、电子设备及存储介质

摘要

本申请公开了一种视频数据的鉴黄方法、装置、电子设备及存储介质,涉及多媒体技术领域,第一WebRTC服务器接收第一用户设备通过第一WebRTC客户端发送的视频数据,第一WebRTC服务器当确定视频数据涉黄时,发送第一指令至所述第一用户设备,以指示第一用户设备停止发送视频数据至第二用户设备,以减少涉黄视频数据带来的不良影响,第一WebRTC服务器当确定视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示第一用户设备发送视频数据至第二用户设备,以在第二用户设备的第二WebRTC客户端播放,以营造一个良好的视频观看环境。

著录项

  • 公开/公告号CN112565655A

    专利类型发明专利

  • 公开/公告日2021-03-26

    原文格式PDF

  • 申请/专利权人 OPPO广东移动通信有限公司;

    申请/专利号CN202011359802.3

  • 发明设计人 杨昊;刘飞;

    申请日2020-11-27

  • 分类号H04N7/14(20060101);H04N7/15(20060101);H04N21/2187(20110101);H04L29/06(20060101);

  • 代理机构44351 深圳市智圈知识产权代理事务所(普通合伙);

  • 代理人吕静

  • 地址 523860 广东省东莞市长安镇乌沙海滨路18号

  • 入库时间 2023-06-19 10:22:47

说明书

技术领域

本申请涉及多媒体技术领域,更具体地,涉及一种视频数据的鉴黄方法、装置、电子设备及存储介质。

背景技术

为了将现场的新闻事实、体育赛事、文艺演出、知识竞赛、会议内容等活动分享到远端,可通过视频会议、视频直播、视频通话等诸多形式进行分享。如果视频会议、视频直播、视频通话中出现了涉黄场景时,不仅会影响观众或是与会人员的观感,还会造成不良影响,因此,为了营造一个良好的观看环境,对视频会议、视频直播、视频通话等中进行鉴黄十分必要。

发明内容

鉴于上述问题,本申请提出了一种视频数据的鉴黄方法、装置、电子设备及存储介质,能够解决上述问题。

第一方面,本申请实施例提供了一种视频数据的鉴黄方法,应用于视频数据的鉴黄系统的云端,所述云端包括第一WebRTC服务器,所述视频数据的鉴黄系统还包括第一用户设备和第二用户设备,所述第一用户设备设置有第一WebRTC客户端,所述第二用户设备设置有第二WebRTC客户端,所述第一用户设备分别与所述第二用户设备和所述第一WebRTC服务器连接,所述方法包括:所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据;所述第一WebRTC服务器当确定所述视频数据涉黄时,发送第一指令至所述第一用户设备,以指示所述第一用户设备停止发送所述视频数据至所述第二用户设备;所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示所述第一用户设备发送所述视频数据至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

第二方面,本申请实施例提供了一种视频数据的鉴黄装置,应用于视频数据的鉴黄系统的云端,所述云端包括第一WebRTC服务器,所述视频数据的鉴黄系统还包括第一用户设备和第二用户设备,所述第一用户设备设置有第一WebRTC客户端,所述第二用户设备设置有第二WebRTC客户端,所述第一用户设备分别与所述第二用户设备和所述第一WebRTC服务器连接,所述装置包括:视频数据接收模块,用于所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据;第一鉴黄模块,用于所述第一WebRTC服务器当确定所述视频数据涉黄时,发送第一指令至所述第一用户设备,以指示所述第一用户设备停止发送所述视频数据至所述第二用户设备;第二鉴黄模块,用于所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示所述第一用户设备发送所述视频数据至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述方法。

第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。

本申请提供的一种视频数据的鉴黄方法、装置、电子设备及存储介质,第一WebRTC服务器接收第一用户设备通过第一WebRTC客户端发送的视频数据,第一WebRTC服务器当确定视频数据涉黄时,发送第一指令至所述第一用户设备,以指示第一用户设备停止发送视频数据至第二用户设备,以减少涉黄视频数据带来的不良影响,第一WebRTC服务器当确定视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示第一用户设备发送视频数据至第二用户设备,以在第二用户设备的第二WebRTC客户端播放,以确保在第二WebRTC客户端播放的视频数据未涉黄,以营造一个良好的视频观看环境,并且通过一个独立的第一WebRTC服务器专门鉴别视频数据是否涉黄,可以高效准确地获取鉴黄结果。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种视频数据的鉴黄系统的示意图;

图2示出了本申请一实施例提供的视频数据的鉴黄方法的流程示意图;

图3示出了本申请实施例提供的第一用户设备的WebRTC的架构示意图;

图4示出了本申请又一实施例提供的视频数据的鉴黄方法的流程示意图;

图5示出了本申请另一实施例提供的视频数据的鉴黄方法的流程示意图;

图6示出了本申请再一实施例提供的视频数据的鉴黄方法的流程示意图;

图7示出了本申请图6所示的视频数据的鉴黄方法的步骤S410的流程示意图;

图8示出了本申请又另一实施例提供的视频数据的鉴黄方法的流程示意图;

图9示出了本申请图8所示的视频数据的鉴黄方法的步骤S540的流程示意图;

图10示出了本申请实施例提供的视频数据的鉴黄装置的逻辑框图;

图11是本申请实施例的用于执行根据本申请实施例的视频数据的鉴黄方法的电子设备的框图;

图12是本申请实施例的用于保存或者携带实现根据本申请实施例的视频数据的鉴黄方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

用户为了将现场的新闻事实、体育赛事、文艺演出、知识竞赛、会议内容等活动分享到远端,因此,诞生了视频会议、视频直播、视频通话等诸多形式。如果视频会议、视频直播、视频通话中出现了涉黄场景时,不仅会影响观众或是与会人员的观感,还会造成不良影响,因此,为了营造一个良好的观看环境,对视频会议、视频直播、视频通话等中进行鉴黄十分必要。

针对上述技术问题,发明人经过长期的研究发现,并提出了本申请提供的视频数据的鉴黄方法、装置、电子设备及存储介质,通过第一WebRTC服务器对第一用户设备的视频数据进行鉴黄,以营造良好的观看环境。其中,具体的视频数据的鉴黄方法在后续的实施例中进行详细的说明。

为了便于说明,本实施例首先示出了一种视频通话系统,图1示出了本申请实施例提供的一种视频数据的鉴黄系统的示意图,请参阅图1,视频通话系统100包括云端110、第一用户设备120和第二用户设备130,云端110包括第一WebRTC服务器111、第二WebRTC服务器112和第三WebRTC服务器113。第一用户设备120分别与第一WebRTC服务器111和第二WebRTC服务器112连接,第一用户设备120通过第三WebRTC服务器113与第二用户设备130连接。

其中,第二WebRTC服务器112在与第一用户设备120握手协商成功后,第一WebRTC服务器111接收第一用户设备120发送的视频数据。第三WebRTC服务器113将视频数据发送至第一WebRTC服务器111进行鉴黄,当第一WebRTC服务器111鉴别出视频数据未涉黄时,第一用户设备120将视频数据通过第三WebRTC服务器113发送至第二用户设备130进行播放。当第一WebRTC服务器111鉴别出视频数据涉黄时,第三WebRTC服务器113暂停转发第一用户设备120的视频数据。

其中,第三WebRTC服务器113根据视频数据的视频类型,确定视频类型对应的服务器路径转发视频数据。例如,服务器路径包括TURN(Traversal Using Relay NAT)、SFU(Selective Forwarding Unit)和MCU(Multipoint Conferencing Unit),视频类型包括直播类型,视频会议类型和视频通话类型,当视频数据的视频类型为直播类型时,采用TURN转发视频数据;当视频数据的视频类型为视频会议类型时,采用SFU转发视频数据;当视频数据的视频类型为视频电话类型时,采用MCU转发视频数据。

可选地,第一用户设备120与第一WebRTC服务器111、第二WebRTC服务器112和第三WebRTC服务器113之间可建立网络实时通信的通信连接。

其中,网络实时通信(Web Real-Time Communication,简称WebRTC)是google公司力推的一个开源项目,旨在给浏览器与手机或电脑的web应用提供简单的JavaScript接口,使其具备RTC(Real-Time Communications)实时通信能力。意味着开发者在支持WebRTC浏览器上开发web应用仅需简单的JavaScript语句就可以实现复杂的多媒体RTC功能,极大降低了开发难度和开发成本,W3C等组织正在制定WebRTC标准JavaScript API接口。WebRTC整个项目技术架构中,WebRTC底层提供了音视频多媒体的核心技术,包括音视频采集、编解码、网络传输、显示渲染等功能。

可选地,第一用户设备120可以为,但不限于手机、笔记本电脑、平板电脑、台式电脑等。第二用户设备130可以为,但不限于手机、笔记本电脑、平板电脑、台式电脑等。

在图1的基础上,本实施例示出了一种视频数据的鉴黄方法,所述视频数据的鉴黄方法应用于图1所示的视频数据的鉴黄系统100的云端110,在本实施例中云端110包括第一WebRTC服务器111,图2示出了本申请一实施例提供的视频数据的鉴黄方法的流程示意图,请参阅图2,所述视频数据的鉴黄方法具体可以包括如下步骤:

步骤S110、所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据。

第一用户设备采集第一用户在视频直播或者视频会议时的视频数据,可以理解的是,视频数据为第一用户直播或视频会议时的声音或图像。第一用户设备可以采集预设时长的视频数据发送至第一WebRTC服务器,例如,每采集0.1秒预设时长的视频数据,再发送至第一WebRTC服务器,可以理解的是,将直播或视频会议分多段视频数据发送至第一WebRTC服务器进行鉴黄。或者,第一用户设备实时采集并发送视频数据至第一WebRTC服务器。

由于所述第一用户设备设置有第一WebRTC客户端,因此,第一用户设备通过第一WebRTC客户端发送视频数据至第一WebRTC服务器。或者,在第一用户设备上安装第一应用程序,通过第一用户设备通过第一应用程序发送视频数据至第一WebRTC服务器。

在一些实施方式中,本申请实施例中的第一用户设备可以为嵌入式系统,图3示出了本申请实施例提供的第一用户设备的WebRTC的架构示意图,请参阅图3,WebRTC的架构主要包括:硬件层、系统层和WebRTC核心库。其中,硬件层包括处理器、摄像头、麦克风和网卡,系统层包括编解码器(MediaCodec),WebRTC核心库包括视频引擎、实时传输控制协议(RTCP/SRTCP)、数据通道、音频引擎、实时传输协议(RTP/SRTP)和鉴黄模块。

请继续参阅图3,第一用户设备包括麦克风和摄像头,通过麦克风采集第一用户在视频通话或者直播中的音频数据,并通过摄像头采集第一用户在视频通话或者直播中的图像数据;基于音频数据和图像数据,获得视频通话或者直播中的视频数据。

需要说明的是,麦克风和摄像头可以根据应用场景进行选择性地开启,例如,当视频通话的应用场景为网络直播、视频会议、视频电话等时,需要同时采集音频数据和图像数据,因此麦克风和摄像头均开启;当视频通话的应用场景为语音电话时,可以仅开启麦克风。

可选地,视频数据可以通过图3的编解码器进行压缩编码后,再依次通过鉴黄模块以及数据通道将视频数据发送至第一WebRTC服务器,以节省第一用户设备传输视频数据的流量。

步骤S120、所述第一WebRTC服务器当确定所述视频数据涉黄时,发送第一指令至所述第一用户设备,以指示所述第一用户设备停止发送所述视频数据至所述第二用户设备。

可选地,第一WebRTC服务器判断所述视频数据是否涉黄。第一WebRTC服务器中预先建立了预设涉黄数据库,其中预设涉黄数据库中包括多个涉黄数据,第一WebRTC服务器将视频数据与预设涉黄数据库中的多个涉黄数据进行对比,如果视频数据与多个涉黄数据中至少一个匹配,则确定视频数据涉黄。由于视频数据包括音频数据和图像数据,当音频数据与预设涉黄数据库中的涉黄音频匹配时,或者当图像数据与预设涉黄数据库中的涉黄图像匹配时,则确定视频数据涉黄。

在正常情况下(即视频数据未涉黄时),第一用户的视频信息发送至第二用户设备进行播放,当视频数据涉黄时,第一WebRTC服务器发送第一指令至第一用户设备,指示第一用户设备停止发送视频数据,以减少涉黄视频数据带来的不良影响。

步骤S130、所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示所述第一用户设备发送所述视频数据至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

可选地,第一WebRTC服务器判断所述视频数据是否涉黄。第一WebRTC服务器中预先建立了预设涉黄数据库,其中,预设涉黄数据库中包括多个涉黄数据,如果视频数据与多个涉黄数据中每个涉黄数据均不匹配,则确定视频数据未涉黄。由于视频数据包括音频数据和图像数据,当音频数据与预设涉黄数据库中的涉黄音频匹配时,并且当图像数据与预设涉黄数据库中的涉黄图像匹配,则确定视频数据未涉黄。

第一WebRTC服务器当确定视频数据未涉黄时,第一WebRTC服务器发送第二指令至第一用户设备,第一用户设备基于第二指令发送视频数据至第二用户设备,可选地,第二用户设备设置有第二WebRTC客户端时,第二用户设备的第二WebRTC客户端播放视频数据。或者,第二用户设备安装第二应用程序时,第二用户设备的第二应用程序播放视频数据。

在一些实施方式中,第一用户设备与第二用户设备的连接方式可以采用P2P直连的方式,即第一用户设备与第二用户设备直接连接,例如,第一用户设备与第二用户设备通过近场通信或者蓝牙的方式连接。因此,第二用户设备将音视频数据直接发送至第二用户设备。

在另一些实施方式中,第一用户设备与第二用户设备的连接方式还可以采用非P2P直连的方式,例如第一用户设备通过媒体服务器(例如,图1中的第三WebRTC服务器)与第二用户设备连接。因此,第二用户设备将音视频数据通过媒体服务器发送至第二用户设备。

在本实施例提供的视频数据的鉴黄方法,第一WebRTC服务器接收第一用户设备通过第一WebRTC客户端发送的视频数据,第一WebRTC服务器当确定视频数据涉黄时,发送第一指令至所述第一用户设备,以指示第一用户设备停止发送视频数据至第二用户设备,以减少涉黄视频数据带来的不良影响,第一WebRTC服务器当确定视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示第一用户设备发送视频数据至第二用户设备,以在第二用户设备的第二WebRTC客户端播放,以确保在第二WebRTC客户端播放的视频数据未涉黄,以营造一个良好的视频观看环境,降低涉黄风险,并且通过一个独立的第一WebRTC服务器专门鉴别视频数据是否涉黄,可以高效准确地获取鉴黄结果。

在上一实施例的基础上,本实施例提供了一种视频数据的鉴黄方法,所述云端还包括第二WebRTC服务器,以确定音视频数据是否需要鉴黄,图4示出了本申请又一实施例提供的视频数据的鉴黄方法的流程示意图,请参阅图4,所述视频数据的鉴黄方法具体包括如下步骤:

步骤S210、所述第二WebRTC服务器发送视频类型请求至所述第一用户设备。

第二WebRTC服务器发送视频类型请求至第一用户设备,以请求第一用户设备采集的视频数据的类型。

可选地,第二WebRTC服务器为信令服务器。

步骤S220、所述第二WebRTC接收所述第一用户设备基于所述视频类型请求反馈的视频数据的视频类型。

第一用户设备基于视频类型请求,将视频数据的视频类型反馈至第二WebRTC服务器。其中,视频类型包括直播类型、视频会议类型、视频电话类型等,视频类型由第一用户和/或第二用户决定,例如,第一用户在第一WebRTC客户端开启视频直播时,视频类型为直播类型,或者是,第一用户和第二用户共同处于一个视频会议中,则视频类型为视频会议类型。

步骤S230、所述第二WebRTC服务器当确定所述视频类型为预设类型时,发送第三指令至所述第一用户设备,以指示所述第一用户设备建立与所述第一WebRTC服务器的连接。

其中,预设类型为需要开启鉴黄功能的视频类型,第二WebRTC服务器当确定视频类型为预设类型时,则确定第一用户设备采集的视频信息需要鉴黄,第二WebRTC服务器生成第三指令,并且将第三指令发送至第一用户设备,第一用户设备依据第三指令的指示,建立与第一WebRTC服务器的连接,以将视频数据发送至第一WebRTC服务器进行鉴黄。确定当视频类型不为预设类型时,则无需对第一用户设备的视频数据进行鉴黄,节约第一WebRTC服务器的鉴黄资源,第一用户设备将视频数据直接或者通过第三WebRTC服务器间接将视频数据发送至第二用户设备。

在一些实施方式中,预设类型可以包括直播类型、视频会议类型和视频电话类型,对各个类型均进行鉴黄,以防止第一用户设备和第二用户设备之间传输涉黄视频信息。

在另一些实施方式中,当视频类型为直播类型时,第一用户设备进行直播时,直播间是面向所有观众的,因此,在第一用户设备的直播间内容为涉黄视频数据时,观众可以对直播间内容进行举报,也可以降低涉黄视频数据导致的不良影响,因此,预设类型可以为参与人数较少的视频会议类型和视频电话类型。

步骤S240、所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据。

步骤S250、所述第一WebRTC服务器当确定所述视频数据涉黄时,发送第一指令至所述第一用户设备,以指示所述第一用户设备停止发送所述视频数据至所述第二用户设备。

步骤S260、所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示所述第一用户设备发送所述视频数据至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

其中,步骤S240-步骤S260的具体描述请参阅步骤S110-步骤S130,在此不再赘述。

可选地,第二WebRTC服务器还用于在第一用户设备在采集视频数据之前,与第一用户设备进行握手协商,具体为,第二WebRTC服务器将握手请求发送至第一用户设备,第一用户设备基于握手请求生成握手信令,并且将握手信令发送至第二WebRTC服务器,以与第二WebRTC服务器进行网络协商,协商第一用户设备的工作参数,例如,第一用户设备对视频数据的编码方式,鉴黄方式(例如,通过视频数据或者图像进行鉴黄),是否需要开启鉴黄功能等。

在本实施例中,当视频数据的视频类型为预设类型时,需要开启对视频数据的鉴黄功能,第一WebRTC服务器对视频数据进行鉴黄,减少涉黄视频数据带来的不良影响。当视频数据的视频类型不为预设类型时,无需开启对视频数据的鉴黄功能,节约第一WebRTC服务器的鉴黄资源。

在上述实施例的基础上,所述云端还包括第三WebRTC服务器,第一用户设备通过第三WebRTC服务器与第二用户设备连接,即第一用户设备与第二用户设备的连接方式为非P2P直连方式,第三WebRTC服务器用于转发第一用户设备的视频数据,例如,第三WebRTC服务器将第一用户设备的视频数据转发至第二用户设备进行播放,或者第三WebRTC服务器将第一用户设备的视频数据转发至第一WebRTC服务器进行鉴黄。图5示出了本申请另一实施例提供的视频数据的鉴黄方法的流程示意图,请参阅图5,所述视频数据的鉴黄方法具体包括如下步骤:

步骤S310、所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据。

其中,步骤S310的具体描述请参阅步骤S110,在此不再赘述。

步骤S320、所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送所述第二指令至所述第一用户设备。

在一些实施方式中,当视频数据未涉黄时,第一WebRTC服务器发送第二指令至第一用户设备,第一用户设备在接收到第二指令时,将视频数据发送至第三WebRTC服务器。可以理解的是,第二指令为中断指令。

在另一些实施方式中,当视频数据未涉黄时,第一WebRTC服务器并未发送任何中断指令至第一用户设备,由于第一用户设备并未接收到中断指令,因此第一设备继续将视频数据发送至第三WebRTC服务器。

步骤S330、所述第三WebRTC服务器接收所述第一用户设备响应所述第二指令通过所述第一WebRTC客户端发送的所述视频数据,并将所述视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

第一用户设备接收并响应第二指令,通过第一用户设备的第一WebRTC客户端发送视频数据至第三WebRTC服务器,由第三WebRTC服务器将视频数据发送至第二用户设备,在第二用户设备的第二WebRTC客户端或者第二应用程序上播放视频数据。

在本实施例中,通过第三WebRTC服务器接收第一用户发送的视频数据,并将视频数据发送至第二用户设备,使用第三WebRTC服务器作为单独的发送视频数据的服务器,降低了第二用户设备接收到视频数据的时延。

视频数据包括多帧视频图像,为了便于鉴别视频数据是否涉黄,在本申请实施例中,第一WebRTC服务器可以针对视频数据中的一帧图像进行鉴别。

在一些实施方式中,第一用户设备采集视频数据,再从视频数据的多帧视频图像中获取一帧视频图像,作为待鉴别视频图像,可选地,待鉴别视频图像可以为关键帧图像,也可以为多帧视频图像中的任意一帧图像,再将待鉴别视频图像发送至第一WebRTC服务器进行鉴黄。

当第一用户设备与第二用户设备采用P2P直连的方式时,为了保证第一WebRTC服务器的鉴黄效率,第一WebRTC服务器的作用为鉴别视频数据是否鉴黄,所以在P2P直连时,由第一用户设备提取待鉴别视频图像发送至第一WebRTC服务器。或者,当第一用户设备与第二用户设备采用非P2P直连的方式,即第一用户设备通过第三WebRTC服务器与第二用户设备连接,第一用户设备可以通过第三WebRTC服务器将视频数据发送至第二用户设备。在该实施方式中,在第一用户设备侧获取关键帧,并将关键帧通过第一WebRTC服务器发送至第二WebRTC服务器,节约了第一用户设备的流量。

在另一些实施方式中,在非P2P直连方式时,由于第三WebRTC服务器可以提取待鉴别视频图像,在非P2P直连的方式下,第一用户设备可以将视频数据发送至第三WebRTC服务器,由第三WebRTC服务器提取待鉴别视频图像,图6示出了本申请再一实施例提供的视频数据的鉴黄方法的流程示意图,请参阅图6,所述视频数据的鉴黄方法具体包括如下步骤:

步骤S410、所述第三WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据,其中,所述视频数据包括多帧视频图像。

第一用户设备采集包含多帧视频图像的视频数据,并通过第一WebRTC客户端发送视频数据至第三WebRTC服务器。

对于公开的视频数据,由于其不涉及保密的内容,例如,视频数据为直播时的视频数据,为了降低时延,视频数据可不经过加密,直接由第一用户设备通过第一WebRTC客户端将视频数据发送至第三WebRTC服务器。

对于非公开的视频数据,由于其可能涉及版权、保密性、隐私等内容,例如视频会议、视频通话、需要付费才能播放的电影或电视剧资源,因此,可对视频数据进行加密,以保证其安全性,请参阅图7,步骤S410包括如下步骤:

步骤S411、所述第三WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的基于SRTP加密后的视频数据。

其中,安全实时传输协议(Secure Real-time Transport Protocol,简称SRTP),第一用户设备基于SRTP加密视频数据,并将基于SRTP加密后的视频数据通过第一WebRTC客户端发送至第三WebRTC服务器。

步骤S412、所述第三WebRTC服务器基于所述SRTP解密所述加密后的视频数据,获得所述视频数据。

第三WebRTC服务器基于与第一用户设备相同的协议即SRTP,解密加密后的视频数据,获得视频数据。

步骤S420、所述第三WebRTC服务器在所述多帧视频图像中确定其中一帧视频图像,作为待鉴别视频图像,并将所述待鉴别视频图像发送至所述第一WebRTC服务器。

为了减少第一WebRTC服务器鉴黄的工作量,在第三WebRTC服务器在视频数据的多帧视频图像中确定其中一帧视频图像,作为待鉴别视频图像,并将待鉴别视频图像发送至第一WebRTC服务器用于鉴黄。

在一些实施方式中,第三WebRTC服务器在多帧视频图像中确定任意一帧视频图像作为待鉴别视频图像。

在另一些实施方式中,第三WebRTC服务器在每段视频数据中的多帧视频图像中确定一帧关键帧视频图像,作为待鉴别视频图像。其中,关键帧视频图像为关键动作所处的一帧视频图像,其能够表征视频数据的完整画面。例如,第三WebRTC服务器采用目标聚类算法在多帧视频图像中确定一帧关键帧视频图像,作为待鉴别视频图像。或者,第三WebRTC服务器在视频数据中确定i帧对应的视频图像为关键帧图像,作为待鉴别视频图像,其中,i帧为帧内编码帧。

步骤S430、所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据。

步骤S440、所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送所述第二指令至所述第一用户设备。

步骤S450、所述第三WebRTC服务器接收所述第一用户设备响应所述第二指令通过所述第一WebRTC客户端发送的所述视频数据,并将所述视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

其中,步骤S430-步骤S450的具体描述请参阅步骤S310-步骤S330,在此不再赘述。

在本实施例中,为了快速鉴黄,第三WebRTC服务器在视频数据的多帧视频图像中确定其中一帧视频图像,作为待鉴别视频图像,并将待鉴别视频图像发送至第一WebRTC服务器进行视频数据的鉴黄,第一WebRTC服务器通过待鉴别视频图像可快速判断出视频数据是否涉黄。

在上述实施例的基础上,本实施例提供一种视频数据的鉴黄方法,图8示出了本申请又另一实施例提供的视频数据的鉴黄方法的流程示意图,请参阅图8,所述视频数据的鉴黄方法具体包括如下步骤:

步骤S510、所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据。

步骤S520、所述第一WebRTC服务器当确定所述视频数据涉黄时,发送第一指令至所述第一用户设备,以指示所述第一用户设备停止发送所述视频数据至所述第二用户设备。

其中,步骤S510-步骤S520的具体描述请参阅步骤S110-步骤S120,在此不再赘述。

当第二用户设备在播放第一用户设备的直播时,当第二用户设备播放的第一用户设备的视频数据涉黄时,第三WebRTC服务器停止转发第一用户设备的视频数据至第二用户设备,为了保证观看直播的用户的用户体验,因此,可以转发目标视频数据至第二用户设备播放。具体如下:

步骤S530、所述第三WebRTC服务器获取所述第二用户设备的播放记录。

可选地,第三WebRTC服务器第二用户设备预设时间段内的播放记录,例如,预设时间段为一周或者一个月。其中,播放记录可以包括第二用户观看过的第三用户的视频数据,例如第三用户包括主播A、主播B等,播放记录还可以是第二用户观看的视频标签,例如,视频标签可以为搞笑类、吃播类、赶海类、赶山类、美妆类、穿搭类等。

步骤S540、所述第三WebRTC服务器根据所述播放记录确定目标视频数据,并将所述目标视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

在一些实施方式中,所述视频数据的鉴黄系统还包括多个第三用户设备,所述多个第三用户设备与所述第三WebRTC服务器连接,第三WebRTC服务器根据播放记录确定第二用户观看过的多个第三用户的视频数据,在多个第三用户中,确定其中一个作为目标第三用户,并且,确定目标第三用户对应的第三用户设备作为目标第三用户设备,将第三用户设备的目标视频数据发送至第二用户设备的第二WebRTC客户端播放。例如,第三WebRTC服务器根据播放记录,确定第二用户看过主播A的视频数据,将目标第三用户对应的主播A的视频数据发送至第二用户设备。

在另一些实施方式中,所述视频数据的鉴黄系统还包括多个第三用户设备,所述多个第三用户设备与所述第三WebRTC服务器连接,第三WebRTC服务器确定一个用户感兴趣的视频数据发送至第二用户设备,请参阅图9,步骤S540还包括:

步骤S541、所述第三WebRTC服务器根据所述播放记录确定视频标签,并从所述多个第三用户设备中确定所述视频标签对应的第三用户设备,作为目标第三用户设备。

其中,视频标签包括搞笑类、吃播类、赶海类、赶山类、美妆类以及穿搭类。

在一种实施方式中,确定多类视频标签中,每一类视频标签播放的次数,并确定播放次数最多的视频标签对应的第三用户设备,作为目标第三用户设备。

在另一种实施方式中,在多类视频标签中,确定其中任意一类视频标签对应的第三用户设备,作为目标第三用户设备。

步骤S542、所述第三WebRTC服务器将所述目标第三用户设备的目标视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

在另一些实施方式中,还可以根据第一用户设备的视频数据,确定第一用户设备的视频数据的视频标签,在多个第三用户设备的视频数据的视频标签中,确定多个第三用户设备的视频数据的视频标签中,与第一用户设备的视频数据的视频标签相同的第三用户设备,作为目标第三用户设备,并且确定目标第三用户设备的视频数据,作为目标视频数据,第三WebRTC服务器将目标视频数据发送至第二用户设备的第二WebRTC客户端播放。

例如,第一用户设备的视频数据的视频标签为美妆类,在多个第三用户设备中的视频数据中的视频标签,包括美妆类,赶海类,吃播类,确定多个第三用户设备中,美妆类对应的第三用户设备,作为目标第三用户设备,并且确定目标第三用户设备的视频数据(即美妆视频),作为目标视频数据,第三WebRTC服务器将目标视频数据发送至第二用户设备的第二WebRTC客户端播放。

在本实施例中,当第二用户设备在播放第一用户设备的直播时,当第二用户设备播放的第一用户设备的视频数据涉黄时,第三WebRTC服务器停止转发第一用户设备的视频数据至第二用户设备,转发目标第三用户设备的目标视频数据至第二用户设备播放,保证了观看直播的用户的用户体验。

为实现上述方法类实施例,本实施例提供一种视频数据的鉴黄装置,应用于视频数据的鉴黄系统的云端,所述云端包括第一WebRTC服务器,所述视频数据的鉴黄系统还包括第一用户设备和第二用户设备,所述第一用户设备设置有第一WebRTC客户端,所述第二用户设备设置有第二WebRTC客户端,所述第一用户设备分别与所述第二用户设备和所述第一WebRTC服务器连接,图10示出了本申请实施例提供的视频数据的鉴黄装置的逻辑框图,请参阅图10,视频数据的鉴黄装置200包括:视频数据接收模块210、第一鉴黄模块220和第二鉴黄模块230。

视频数据接收模块210,用于所述第一WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据;

第一鉴黄模块220,用于所述第一WebRTC服务器当确定所述视频数据涉黄时,发送第一指令至所述第一用户设备,以指示所述第一用户设备停止发送所述视频数据至所述第二用户设备;

第二鉴黄模块230,用于所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示所述第一用户设备发送所述视频数据至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

可选地,所述云端还包括第二WebRTC服务器,所述第二WebRTC服务器分别与所述第一用户设备和所述第一WebRTC服务器连接,视频数据的鉴黄装置200还包括:视频类型请求模块、视频类型接收模块和连接建立模块。

视频类型请求模块,用于所述第二WebRTC服务器发送视频类型请求至所述第一用户设备;

视频类型接收模块,用于所述第二WebRTC接收所述第一用户设备基于所述视频类型请求反馈的视频数据的视频类型;

连接建立模块,用于所述第二WebRTC服务器当确定所述视频类型为预设类型时,发送第三指令至所述第一用户设备,以指示所述第一用户设备建立与所述第一WebRTC服务器的连接。

可选地,所述云端还包括第三WebRTC服务器,所述第一用户设备与所述第二用户设备通过所述第三WebRTC服务器连接,第二鉴黄模块230包括:第二指令发送模块和第二指令响应模块。

第二指令发送模块,用于所述第一WebRTC服务器当确定所述视频数据未涉黄时,发送所述第二指令至所述第一用户设备;

第二指令响应模块,用于所述第三WebRTC服务器接收所述第一用户设备响应所述第二指令通过所述第一WebRTC客户端发送的所述视频数据,并将所述视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

可选的,视频数据接收模块210包括:视频数据接收子模块和待鉴别视频图像确定子模块。

视频数据接收子模块,用于所述第三WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的所述视频数据,其中,所述视频数据包括多帧视频图像;

待鉴别视频图像确定子模块,用于所述第三WebRTC服务器在所述多帧视频图像中确定其中一帧视频图像,作为待鉴别视频图像,并将所述待鉴别视频图像发送至所述第一WebRTC服务器。

可选地,视频数据接收子模块包括:第一视频数据接收子模块和第二视频数据接收子模块。

第一视频数据接收子模块,用于所述第三WebRTC服务器接收所述第一用户设备通过所述第一WebRTC客户端发送的基于SRTP加密后的视频数据;

第二视频数据接收子模块,用于所述第三WebRTC服务器基于所述SRTP解密所述加密后的视频数据,获得所述视频数据。

可选地,视频数据的鉴黄装置200还包括:播放记录获取模块和目标视频数据播放模块。

播放记录获取模块,用于所述第三WebRTC服务器获取所述第二用户设备的播放记录;

目标视频数据播放模块,用于所述第三WebRTC服务器根据所述播放记录确定目标视频数据,并将所述目标视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

可选地,所述视频数据的鉴黄系统还包括多个第三用户设备,所述多个第三用户设备与所述第三WebRTC服务器连接,目标视频数据播放模块包括:目标第三用户设备确定子模块和目标视频数据播放子模块。

目标第三用户设备确定子模块,用于所述第三WebRTC服务器根据所述播放记录确定视频标签,并从所述多个第三用户设备中确定所述视频标签对应的第三用户设备,作为目标第三用户设备;

目标视频数据播放子模块,用于所述第三WebRTC服务器将所述目标第三用户设备的目标视频数据发送至所述第二用户设备,以在所述第二用户设备的所述第二WebRTC客户端播放。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

图11是本申请实施例的用于执行根据本申请实施例的视频数据的鉴黄方法的电子设备的框图,请参阅图11,其示出了本申请实施例提供的一种电子设备300的结构框图。该电子设备300可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备300可以包括一个或多个如下部件:处理器310、存储器320以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器320中并被配置为由一个或多个处理器310执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中,处理器310可以包括一个或者多个处理核。处理器310利用各种接口和线路连接整个电子设备300内的各个部分,通过运行或执行存储在存储器320内的指令、程序、代码集或指令集,以及调用存储在存储器320内的数据,执行电子设备300的各种功能和处理数据。可选地,处理器310可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器310可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责待显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器310中,单独通过一块通信芯片进行实现。

存储器320可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器320可用于存储指令、程序、代码、代码集或指令集。存储器320可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储移动终端300在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

图12是本申请实施例的用于保存或者携带实现根据本申请实施例的视频数据的鉴黄方法的程序代码的存储单元,请参阅图12,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质400中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质400包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。

综上所述,本申请提供的一种视频数据的鉴黄方法、装置、电子设备及存储介质,第一WebRTC服务器接收第一用户设备通过第一WebRTC客户端发送的视频数据,第一WebRTC服务器当确定视频数据涉黄时,发送第一指令至所述第一用户设备,以指示第一用户设备停止发送视频数据至第二用户设备,以减少涉黄视频数据带来的不良影响,第一WebRTC服务器当确定视频数据未涉黄时,发送第二指令至所述第一用户设备,以指示第一用户设备发送视频数据至第二用户设备,以在第二用户设备的第二WebRTC客户端播放,以确保在第二WebRTC客户端播放的视频数据未涉黄,以营造一个良好的视频观看环境,并且通过一个独立的第一WebRTC服务器专门鉴别视频数据是否涉黄,可以高效准确地获取鉴黄结果。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号