首页> 中国专利> 一种网络终端的不良信息识别方法及局域网终端设备

一种网络终端的不良信息识别方法及局域网终端设备

摘要

本发明实施例公开了一种网络终端的不良信息识别方法及局域网终端设备,其中,网络终端的不良信息识别方法应用于与网络终端通过局域网连接的局域网终端设备上,步骤包括:接收网络终端周期发来的截图信息,将截图信息作为待识别的图像;提取待识别的图像的边缘梯度信息;将符合边缘阈值范围和/或符合预设形状特征的边缘梯度信息对应的图像区域进行提取,作为待分析子图信息;将待识别的图像和/或待分析子图信息输入至深度学习模型中进行分析,并得到分析结果;若分析结果为属于不良类别则向网络终端发送关断指令,控制网络终端停止显示当前画面。这样,能够对网络终端的显示图像进行不良识别,及时拦截含有不良信息的图像,提高用户体验。

著录项

  • 公开/公告号CN112633313A

    专利类型发明专利

  • 公开/公告日2021-04-09

    原文格式PDF

  • 申请/专利权人 北京匠数科技有限公司;

    申请/专利号CN202011092717.5

  • 发明设计人 张乐平;张博;侯磊;李海峰;

    申请日2020-10-13

  • 分类号G06K9/62(20060101);G06K9/34(20060101);G06K9/46(20060101);G06N3/04(20060101);G06N3/08(20060101);H04L29/06(20060101);H04L29/08(20060101);

  • 代理机构11616 北京盛凡智荣知识产权代理有限公司;

  • 代理人孙莉莉

  • 地址 100089 北京市海淀区吴家场路1号院4号楼2层3单元201

  • 入库时间 2023-06-19 10:32:14

说明书

技术领域

本发明属于图像处理技术领域,特别是涉及一种网络终端的不良信息识别方法及局域网终端设备。

背景技术

针对网络终端上显示的一些不良信息,现有的手段主要是通过人事管理制度、网络安全防护手段、专业播控软件控制来进行防护,其管控重点目标是“行为”。

(1)人事管理:通过制定一些管理方法,明确责任,减少事故。

(2)网络安全防护:可部分解决些网络攻击导致的不良内容显示事故。

(3)专业播控软件:信息发布软件(一般设置在信息发布服务器端)设置些安全控制机制,能解决一些通过播控软件发布不良信息的事故。

主要问题是:效率较低、可持续操作性差;黑客通过后门入侵播控软件后,安全机制会失效;不通过信息发布软件,也能发布(投屏等)信息到网络终端上,也能发布不良信息。

发明内容

鉴于上述问题,本发明提出了一种以便克服上述问题或者至少部分地解决上述问题的网络终端的不良信息识别方法及局域网终端设备。

根据本发明实施例的第一方面,提供一种网络终端的不良信息识别方法,应用于与网络终端通过局域网连接的局域网终端设备上,步骤包括:

接收网络终端周期发来的截图信息,将所述截图信息作为待识别的图像;

提取所述待识别的图像的边缘梯度信息;

将符合边缘阈值范围和/或符合预设形状特征的边缘梯度信息对应的图像区域进行提取,作为待分析子图信息;

将所述待识别的图像和/或所述待分析子图信息输入至深度学习模型中进行分析,并得到分析结果,其中,所述分析结果为是否属于不良类别,所述深度学习模型是卷积神经网络利用样本图像经过学习训练得到的;

若所述分析结果为属于不良类别则向网络终端发送关断指令,控制所述网络终端停止显示当前画面。

进一步地,所述接收网络终端周期发来的截图信息,将所述截图信息作为待识别的图像,具体包括:

对所述截图信息进行多尺度缩放,得到多个缩放图像;

将所述多个缩放图像进行空白填充,填充为与所述截图信息尺寸相同的图像,将填充后的缩放图像和所述截图信息作为待识别的图像,其中,待识别的图像有多个;

则所述深度学习模型针对每个待识别的图像输出一个分析结果;

判断所述分析结果中属于不良类别的占比比例,若所述比例超过预定比例阈值,则确定所述截图信息中含有不良信息,向对应网络终端发送关断指令,控制所述网络终端停止显示。

进一步地,在将所述待识别的图像和/或所述待分析子图信息输入至深度学习模型中进行分析,并得到分析结果之前,还包括:

获取预定数量的样本图像;

向所述样本图像中添加标记类别后,将所述样本图像输入至卷积神经网络进行训练识别,若训练识别结果与标记类别不同,则对卷积神经网络的参数进行调整,直至训练识别结果与标记类别相同,再将下一个样本图像输入至卷积神经网络进行训练识别,将所述样本图像全部训练完成后的卷积神经网络,作为深度学习模型。

进一步地,向所述样本图像中添加标记类别后,将所述样本图像输入至卷积神经网络进行训练识别,若训练识别结果与标记类别不同,则对卷积神经网络的参数进行调整,直至训练识别结果与标记类别相同,再将下一个样本图像输入至卷积神经网络进行训练识别,将所述样本图像全部训练完成后的卷积神经网络,作为深度学习模型,具体包括:

向所述样本图像中添加目标区域标记;

将所述样本图像输入至第一卷积神经网络进行训练,若训练得到的目标区域与目标区域标记不同,则对第一卷积神经网络的参数进行调整,直至训练得到的目标区域与目标区域标记相同,再将下一个样本图像输入至第一卷积神经网络进行训练;

将训练完成后的第一卷积神经网络作为目标区域检测模型;

获取预定数量的目标区域图像样本,并为每个目标区域图像样本添加对应的分类标签,作为分类训练样本;

将所述分类训练样本输入至第二卷积神经网络进行训练,若训练输出的分类结果与分类标签不同,则对第二卷积神经网络的参数进行调整,直至训练输出的分类结果与分类标签相同,再将下一个分类训练样本输入至第二卷积神经网络进行训练;

在训练完成后的第二卷积神经网络的输出层添加判断输出类别是否属于不良类别的判断层,将添加后的第二卷积神经网络作为目标分类模型;

将所述目标区域检测模型和所述目标分类模型进行组合,作为深度学习模型。

进一步地,若所述分析结果为属于不良类别则向网络终端发送关断指令,控制所述网络终端停止显示当前画面,具体为:

若所述分析结果为属于不良类别则向网络终端发送关断指令,并将预先存储的预置图像与所述关断指令进行整合,发送给所述网络终端,控制所述网络终端停止显示当前画面,同时显示所述预置图像。

进一步地,若所述分析结果为属于不良类别则向网络终端发送关断指令,控制所述网络终端停止显示当前画面,具体包括:

若所述分析结果为属于不良类别,则对应计数累计加1;

当所述计数累计超过预定阈值,则向网络终端发送关断指令,控制所述网络终端停止显示。

进一步地,所述提取所述待识别的图像的边缘梯度信息,具体包括:

对所述待识别的图像进行灰度处理;

利用梯度算子与图像卷积算法提取所述待识别的图像中水平方向和垂直方向的梯度信息;

利用梯度局部非极大值抑制算法从所述水平方向和垂直方向的梯度信息中查找图像边缘,并将查找到的图像边缘作为边缘梯度信息;

则,所述将符合边缘阈值范围和/或符合预设形状特征的边缘梯度信息对应的图像区域进行提取,作为待分析子图信息,具体包括:

将能够组合成规则矩形区域的边缘梯度信息对应的图像区域作为待分析子图信息。

根据本发明实施例的第二方面,提供一种局域网终端设备,与网络终端通过局域网连接,包括:

接收模块,用于接收网络终端周期发来的截图信息,将所述截图信息作为待识别的图像;

提取模块,用于利用提取所述待识别的图像的边缘梯度信息;将符合边缘阈值范围和/或符合预设形状特征的边缘梯度信息对应的图像区域进行提取,作为待分析子图信息;

分析模块,用于将所述待识别的图像和/或所述待分析子图信息输入至深度学习模型中进行分析,并得到分析结果,其中,所述分析结果为是否属于不良类别,所述深度学习模型是卷积神经网络利用样本图像经过学习训练得到的;

控制模块,用于若所述分析结果为属于不良类别则向网络终端发送关断指令,控制所述网络终端停止显示。

根据本发明实施例的第三方面,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的网络终端的不良信息识别方法的步骤。

根据本发明实施例的第四方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的网络终端的不良信息识别方法的步骤。

本发明实施例提供的网络终端的不良信息识别方法及局域网终端设备,具有如下有益效果:

通过本发明的技术方案,能够利用深度学习模型对网络终端通过局域网周期发来的截图信息进行分析判断,确定该截图中是否有不良内容,若有则向网络终端发送关断指令,网络终端就会停止当前页面的显示。这样能够在局域网范围对各个网络终端进行管控,避免不良信息影响用户,另外深度学习模型是基于卷积神经网络训练获得的,具有再学习的功能,能够不断进行学习提高深度学习模型的识别精度。

附图说明

构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。

参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:

图1为本发明实施例的网络终端的不良信息识别方法的流程图;

图2为本发明实施例的局域网终端设备的部分的结构框图;

图3为本发明实施例的局域网终端设备与终端设备的连接示意图;

图4为本发明实施例的终端设备的信息传送示意图;

图5为本发明实施例的局域网终端设备的信息传送示意图;

图6为本发明实施例中进行处理的图像;

图7为本发明实施例的深度学习模型进行处理时的分析图;

图8为本发明实施例的计算机设备的结构框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件的相对布置、数字表达式和数值不限制本发明的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的,绝不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

如图1所示,一种网络终端的不良信息识别方法,应用于与网络终端通过局域网连接的局域网终端设备上,步骤包括:

步骤101,接收网络终端周期发来的截图信息,将截图信息作为待识别的图像。

在该步骤中,由于一个局域网终端设备可能同时连接多个网络终端,因此,在网络终端生成截图后,会将截图中的像素点进行编码,生成对应的截图信息。并在截图信息中添加该网络终端对应识别码。避免多个网络终端出现识别混乱的情况。

其中,网络终端与局域网终端设备可以通过有线或无线进行连接。

步骤102,利用提取待识别的图像的边缘梯度信息。

在该步骤中,一个待识别的图像中可能会有多个前景图像,针对每个前景图像进行边缘设置,这样每个前景图像就会有多个梯度,从多个梯度中筛选出能够将前景图像全部覆盖并且面积最小的边缘框,作为待识别的图像的边缘梯度信息。

步骤103,将符合边缘阈值范围和/或符合预设形状特征的边缘梯度信息对应的图像区域进行提取,作为待分析子图信息。

在该步骤中,将边缘梯度信息与边缘阈值范围进行比较,将一些不符合边缘阈值范围的前景图像删除,避免其影响识别效果。以及将边缘梯度信息对应的图像区域中的物体形状与预设形状特征(例如,人体形状、枪体形状等具有不良倾向的形状特征)进行比对,将符合预设形状特征的前景图像提取出来。这样能够将一些确定不属于不良内容的前景图像(例如,云朵形状、树木形状) 进行删除,避免这些图像影响识别速率。

将符合要求的边缘梯度信息对应的图像区域(即,前景图像)进行提取,进而每个截图信息中可能对应提取出一个或多个待分析子图信息。若截图信息中没有符合要求的待分析子图信息(例如,风景图像),则直接将其认定为正常图像,则不对网络终端进行任何处理,直接对下一张截图进行分析。

步骤104,将待识别的图像和/或待分析子图信息输入至深度学习模型中进行分析,并得到分析结果,其中,分析结果为是否属于不良类别,深度学习模型是卷积神经网络利用样本图像经过学习训练得到的。

步骤105,若分析结果为属于不良类别则向网络终端发送关断指令,控制网络终端停止显示当前画面。

在上述步骤中,分析结果为属于不良类别,则获取对应的网络终端的识别码,将关断指令发送给对应识别码的网络终端。进而控制网络终端停止播放当前内容。

将深度学习模型得到的属于不良类别的识别结果进行记录存储,设计人员可以定期将记录的识别结果进行查看,若发现有识别错误的情况,将识别错误的截图信息提取出来,并利用这些识别错误的截图信息对该深度学习模型进行进一步的学习训练,使得深度学习模型针对这些截图信息能够得出正确的识别结果。

另外,如果深度学习模型的分析结果连续为正常类别的次数超过预定次数 (例如3次)则向网络终端发送打开命令,控制网络终端进行正常显示。

通过上述技术方案,能够利用深度学习模型对网络终端通过局域网周期发来的截图信息进行分析判断,确定该截图中是否有不良内容,若有则向网络终端发送关断指令,网络终端就会停止当前页面的显示。这样能够在局域网范围对各个网络终端进行管控,避免不良信息影响用户,另外深度学习模型是基于卷积神经网络训练获得的,具有再学习的功能,能够不断进行学习提高深度学习模型的识别精度。

本实施例的方案可以应用在学校的局域网中,或者公司的局域网中,或者家庭的局域网中。

在具体实施例中,步骤101具体包括:

步骤1011,对截图信息进行多尺度缩放,得到多个缩放图像。

步骤1012,将多个缩放图像进行空白填充,填充为与截图信息尺寸相同的图像,将填充后的缩放图像和截图信息作为待识别的图像,其中,待识别的图像有多个。

在上述步骤中,截图信息缩放的比例和数量,用户可以根据实际需要进行设置。在对多个缩放图像进行空白填充时可以选择将缩放图像放置在中心位置、左上、左下、右上或者右下进行空白填充。优选为将缩放图像放置在中心位置进行空白填充。

另外,可以用白色进行空白填充,或者用黑色进行空白填充,或者利用其它颜色作为背景进行空白填充,本方案优选采用白色作为背景进行空白填充。

则经过步骤102至步骤104后,深度学习模型针对每个待识别的图像输出一个分析结果。

对应步骤105具体为:判断分析结果中属于不良类别的占比比例,若比例超过预定比例阈值,则确定截图信息中含有不良信息,向对应网络终端发送关断指令,控制网络终端停止显示。

在上述步骤中,由于待识别的图像有多个,则对应输出多个分析结果,这多个分析结果可以一样或者不一样,为了避免出现控制错误的情况,用户可以根据实际需要设置预定比例阈值,根据分析结果中属于不良类别的占比,当占比超过预定比例阈值时确定含有不良内容,需要对网络终端进行关断。

通过上述方案,对截图信息进行多尺度缩放,相当于对同一图片施加了不同的观察视角,能够避免某一固定分辨率下过大或过小的物体识别不佳的情况,并且可以得到多个分析结果,根据多个分析结果能够更加精确的确定该截图信息中是否含有不良内容,进而使得识别精度得到进一步的提高。

在具体实施例中,在步骤104之前,还包括:

步骤1041,获取预定数量的样本图像。

步骤1042,向样本图像中添加标记类别后,将样本图像输入至卷积神经网络进行训练识别,若训练识别结果与标记类别不同,则对卷积神经网络的参数进行调整,直至训练识别结果与标记类别相同,再将下一个样本图像输入至卷积神经网络进行训练识别,将样本图像全部训练完成后的卷积神经网络,作为深度学习模型。

在上述方案中,获取的样本图像中有的是含有不良内容的图像,有的是正常图像,将这些图像标记对应类别,并进行混合之后输入卷积神经网络 (Convolutional NeuralNetworks,CNN)进行学习训练。训练过程中不断的对卷积神经网络的参数进行调整,使得卷积神经网络的识别精度不断的提高。训练完成后得到的卷积神经网络即全卷积神经网络(FCN,Fully Convolutional Networks),直接输出全图像素级预测结果,简化了处理流程并可提高计算速度。

其中,卷积神经网络中包含有多个隐层,第一个隐层对输入的图像进行处理后,将处理结果输入至下一个隐层进行处理,并以此类推,直至最后一个隐层得到对应的预测识别结果,通过输出层将预测识别结果输出。隐层的数量具体根据识别过程的复杂程度进行设定。

在具体实施例中,步骤1042具体包括:

步骤10421,向样本图像中添加目标区域标记。

步骤10422,将样本图像输入至第一卷积神经网络进行训练,若训练得到的目标区域与目标区域标记不同,则对第一卷积神经网络的参数进行调整,直至训练得到的目标区域与目标区域标记相同,再将下一个待训练子图信息输入至第一卷积神经网络进行训练。

步骤10423,将训练完成后的第一卷积神经网络作为目标区域检测模型(objective Region detection model,ORDM)。

步骤10424,获取预定数量的目标区域图像样本,并为每个目标区域图像样本添加对应的分类标签,作为分类训练样本。其中,目标区域图像样本可以是目标区域检测模型训练过程中输出的目标区域图像。也可以是从网络中或者其他设备中得到的目标区域图像。

步骤10425,将分类训练样本输入至第二卷积神经网络进行训练,若训练输出的分类结果与分类标签不同,则对第二卷积神经网络的参数进行调整,直至训练输出的分类结果与分类标签相同,再将下一个分类训练样本输入至第二卷积神经网络进行训练。

步骤10426,在训练完成后的第二卷积神经网络的输出层添加判断输出类别是否属于不良类别的判断层,将添加后的第二卷积神经网络作为目标分类模型(objectiveclassification model,OCM)。

步骤10427,将目标区域检测模型和目标分类模型进行组合,作为深度学习模型。

上述方案中,得到的目标区域检测模型能够对图像进行区域识别,目标分类模型能够对相应的区域图像进行分类,确定该区域图像的类别。本方案没有将两个模型对应的隐层进行集中整合为一体,而是进行分开学习训练,这样两个模型可以同时进行训练,分开后两个卷积神经网络的规模都相对较小,训练速度更快,得到的输出结果准确度更高。

目标分类模型得到分类结果后,再利用目标分类模型的最后一层判断对应的类别是否属于不良类别,如果属于则输出结果为其属于不良类别,否则属于正常类别。

通过上述方案,将目标区域检测模型和目标分类模型进行组合得到深度学习模型,这样能够使得训练过程能够更加快速,并且得到的深度学习模型的识别精度更高。

在具体实施例中,步骤105具体为:若分析结果为属于不良类别则向网络终端发送关断指令,并将预先存储的预置图像与关断指令进行整合,发送给网络终端,控制网络终端停止显示当前画面,同时显示预置图像。

通过上述方案,如果直接将网络终端的显示界面关闭,用户无法获知是何种原因关闭显示,因此可以预先绘制预置图像,预置图像中包含“含有不良内容”的信息,这样能够提高用户体验感。

在具体实施例中,步骤105具体包括:若分析结果为属于不良类别,则对应计数累计加1;当计数累计超过预定阈值,则向网络终端发送关断指令,控制网络终端停止显示。

通过上述方案,为了避免出现不良识别错误的情况,可以为分析结果进行计数累计,若连续计数累计超过预定阈值(3次),证明网络终端确实在显示不良内容,向网络终端发送关断指令。

另外,如果分析结果为正常类别则将计数累计进行清零。

在具体实施例中,步骤102具体包括:

步骤1021,对待识别的图像进行灰度处理。

步骤1022,利用梯度算子与图像卷积算法提取待识别的图像中水平方向和垂直方向的梯度信息。

步骤1023,利用梯度局部非极大值抑制算法从水平方向和垂直方向的梯度信息中查找图像边缘,并将查找到的图像边缘作为边缘梯度信息。

则,步骤103具体包括:

将能够组合成规则矩形区域的边缘梯度信息对应的图像区域作为待分析子图信息。

在上述方案中,能够对待识别的图像中的每个前景图像进行边缘识别,得到的边缘梯度信息是最贴近前景图像的边缘的。并将组合成矩形的边缘梯度所围成的区域作为待分析子图信息,以供按照步骤104和105以及上述对应步骤 104的扩展步骤,对待分析子图信息进行不良信息识别判断。进而确定出该待分析子图信息中是否包含有不良信息。

其中,一个待识别的图像可以对应提取一个或多个待分析子图信息。

通过上述实施例的方案,能够利用深度学习模型对网络终端通过局域网周期发来的截图信息进行分析判断,确定该截图中是否有不良内容,若有则向网络终端发送关断指令,网络终端就会停止当前页面的显示。这样能够在局域网范围对各个网络终端进行管控,避免不良信息影响用户,另外深度学习模型是基于卷积神经网络训练获得的,具有再学习的功能,能够不断进行学习提高深度学习模型的识别精度。

依据上述实施例的方法,本实施例提出一种局域网终端设备,与网络终端通过局域网连接,如图2所示包括:

接收模块21,用于接收网络终端周期发来的截图信息,将截图信息作为待识别的图像;

提取模块22,用于提取待识别的图像的边缘梯度信息;将符合边缘阈值范围和/或符合预设形状特征的边缘梯度信息对应的图像区域进行提取,作为待分析子图信息;

分析模块23,用于将待识别的图像和/或待分析子图信息输入至深度学习模型中进行分析,并得到分析结果,其中,分析结果为是否属于不良类别,深度学习模型是卷积神经网络利用样本图像经过学习训练得到的;

控制模块24,用于若分析结果为属于不良类别则向网络终端发送关断指令,控制网络终端停止显示。

在具体实施例中,接收模块21具体包括:

缩放单元,用于对截图信息进行多尺度缩放,得到多个缩放图像;

填充单元,用于将多个缩放图像进行空白填充,填充为与截图信息尺寸相同的图像,将填充后的缩放图像和截图信息作为待识别的图像,其中,待识别的图像有多个;

则分析模块23针对每个待识别的图像输出一个分析结果;

控制模块24,用于判断分析结果中属于不良类别的占比比例,若比例超过预定比例阈值,则确定截图信息中含有不良信息,向对应网络终端发送关断指令,控制网络终端停止显示。

在具体实施例中,设备还包括:

获取模块,用于获取预定数量的样本图像;

训练模块,用于向样本图像中添加标记类别后,将样本图像输入至卷积神经网络进行训练识别,若训练识别结果与标记类别不同,则对卷积神经网络的参数进行调整,直至训练识别结果与标记类别相同,再将下一个样本图像输入至卷积神经网络进行训练识别,将样本图像全部训练完成后的卷积神经网络,作为深度学习模型。

在具体实施例中,训练模块具体包括:

标记单元,用于向样本图像中添加目标区域标记;

第一训练单元,用于样本图像输入至第一卷积神经网络进行训练,若训练得到的目标区域与目标区域标记不同,则对第一卷积神经网络的参数进行调整,直至训练得到的目标区域与目标区域标记相同,再将下一个样本图像输入至第一卷积神经网络进行训练;

模型确定单元,用于将训练完成后的第一卷积神经网络作为目标区域检测模型;

标记单元,还用于获取预定数量的目标区域图像样本,并为每个目标区域图像样本添加对应的分类标签,作为分类训练样本;

第二训练单元,用于将分类训练样本输入至第二卷积神经网络进行训练,若训练输出的分类结果与分类标签不同,则对第二卷积神经网络的参数进行调整,直至训练输出的分类结果与分类标签相同,再将下一个分类训练样本输入至第二卷积神经网络进行训练;

模型确定单元,还用于在训练完成后的第二卷积神经网络的输出层添加判断输出类别是否属于不良类别的判断层,将添加后的第二卷积神经网络作为目标分类模型;

组合单元,用于将目标区域检测模型和目标分类模型进行组合,作为深度学习模型。

在具体实施例中,控制模块24,具体用于若分析结果为属于不良类别则向网络终端发送关断指令,并将预先存储的预置图像与关断指令进行整合,发送给网络终端,控制网络终端停止显示当前画面,同时显示预置图像。

在具体实施例中,控制模块24,具体还用于若分析结果为属于不良类别,则对应计数累计加1;当计数累计超过预定阈值,则向网络终端发送关断指令,控制网络终端停止显示。

在具体实施例中,提取模块22具体包括:

灰度处理单元,用于对待识别的图像进行灰度处理;

边缘梯度确定单元,用于梯度算子与图像卷积算法提取所述待识别的图像中水平方向和垂直方向的梯度信息;利用梯度局部非极大值抑制算法从所述水平方向和垂直方向的梯度信息中查找图像边缘,并将查找到的图像边缘作为边缘梯度信息。

则,提取模块,还用于将能够组合成规则矩形区域的边缘梯度信息对应的图像区域作为待分析子图信息。

基于本申请的另一个实施例的局域网终端设备,与网络终端通过局域网连接,如图3所示。

网络终端:在各个网络一体机(即,网络终端)上安装对应的监测软件/APP,信息传送过程如图4所示,其主要功能如下:

(1)按周期(如1秒、5秒)对网络一体机显示画面截屏;

(2)将截屏的图片,通过局域网上传至AIFT计算中心(即,局域网终端设备);

(3)接收AIFT计算中心反馈的截图判断结果和控制命令(如截屏正常继续播放、截屏有不良内容关断显示、截屏有不良内容转成预置画面等);

(4)继续监视一体机原始输出视频流(内部),周期截图上传至AIFT,如果视频流恢复正常、AIFT反馈截图已从不良恢复正常、要求恢复屏幕显示,则将屏幕恢复正常显示。

该软件/APP最终会体现为网络一体机上的一个进程/服务,默默地在后台发挥作用。

局域网AI计算中心(AIFT),信息传送过程如图5所示,主要功能:

接收本局域网内、所有网络一体机上检测软件/APP上传的截图,对其中的图像、文字信息进行智能识别,如果发现不良内容,则将判断结果和控制命令,发送至监测软件/APP,要求软件/APP关闭本一体机的屏幕显示、或转换至默认画面。

如果截图内容正常,则将判断结果和控制命令,发送至监测软件/APP,要求软件/APP恢复或保持本一体机的正常播放。

“不良信息鉴别算法”详解:

“不良信息鉴别算法”基于图像处理、深度机器学习技术开发。

“不良信息鉴别算法”模块收到待鉴别的图片后,首先对图片进行预处理,自适应调整图像亮度和对比度并平滑高频噪声,随后检测图片中是否包含特征明显的子图区域,通过图像梯度局部非极大值抑制法,可以提取图像的边缘信息(如图6所示),图像边缘梯度满足阈值条件和预设形状特征的区域将被提取出来作为子图待分析。原图与子图同时分析有助于提高内容识别的准确率。

经过图像处理之后,待鉴别的图像被分割为多个待分析的图像区域。

待分析的图像区域使用深度学习算法进行后续分析。深度学习是机器学习研究中的一个新的领域,深度学习模型具有优异的特征学习能力,它模仿人脑的机制来解释数据,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类。

对图像进行内容分析的深度学习模型基于卷积神经网络构建,模型由两层子模型构成:目标区域检测模型(ORDM)与目标分类模型(OCM)。前者用于在图像中找到前景物体并提取坐标区域,后者分析目标区域得到目标分类结果。 ORDM模型与OCM模型均基于CNN构建全卷积网络(FCN),可以自适应输入图像的尺寸,单张输入图像直接输出全图像素级预测结果,简化了处理流程并可提高计算速度。

区域检测模型与目标分类模型使用不同的标注数据集进行训练。前者用于提取前景物体边缘特征,数据集以前景、边缘、背景作为分类标注;后者用于提取物体类别,数据集以目标真实类别作为标注。分离后的模型各自关注更加确定的场景,可采用更小规模的网络训练达到更高的准确率,整体的资源占用更小,计算时间更快。

为了进一步提高实际预测阶段的准确率,对模型的输入图像进行多尺度缩放,相当于对同一图片施加了不同的观察视角,能够避免某一固定分辨率下过大或过小的物体识别不佳的情况。对不同尺寸的图像添补空白区域,构建成同一尺寸的图片组,可以实现多尺度图像在FCN模型(深度学习模型)中的批量加速。

得到的深度学习模型的处理分析过程如图7所示。

基于上述实施例的方法,本实施例提出一种计算机设备,如图8所示,包括存储器82和处理器81,其中存储器82和处理器81均设置在总线83上存储器82存储有计算机程序,处理器81执行计算机程序时实现图1所示的网络终端的不良信息识别方法。

基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储器(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。

可选地,该设备还可以连接用户接口、网络接口、摄像头、射频(Radio Frequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解,本实施例提供的一种计算机设备的结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。

基于上述如图1所示方法和图2所示装置的实施例,相应的,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1所示的异常行为识别方法。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与计算机设备中其它硬件和软件之间通信。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。

通过应用本申请的技术方案,能够利用深度学习模型对网络终端通过局域网周期发来的截图信息进行分析判断,确定该截图中是否有不良内容,若有则向网络终端发送关断指令,网络终端就会停止当前页面的显示。这样能够在局域网范围对各个网络终端进行管控,避免不良信息影响用户,另外深度学习模型是基于卷积神经网络训练获得的,具有再学习的功能,能够不断进行学习提高深度学习模型的识别精度。

本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号