首页> 中国专利> 抛物行为识别方法、模型训练方法及相关装置

抛物行为识别方法、模型训练方法及相关装置

摘要

本申请实施例公开了一种抛物行为识别方法、模型训练方法及相关装置,其中抛物行为识别方法包括:获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,多个运动区域分别所属于目标视频中的多帧图像,运动区域对应的时间信息是根据其所属的图像在目标视频中的顺序确定的;运动像素点对应的时间信息为其所属的运动区域对应的时间信息;通过抛物行为识别模型,根据多个运动像素点各自对应的位置信息及时间信息,确定目标运动轨迹对应于抛物行为的置信度;根据所述置信度,确定目标视频中运动目标是否对应于抛物行为。

著录项

  • 公开/公告号CN112926445A

    专利类型发明专利

  • 公开/公告日2021-06-08

    原文格式PDF

  • 申请/专利权人 北京爱笔科技有限公司;

    申请/专利号CN202110206044.X

  • 发明设计人 翁仁亮;钱扬;

    申请日2021-02-24

  • 分类号G06K9/00(20060101);G06K9/62(20060101);G06T7/246(20170101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人柳欣

  • 地址 100094 北京市海淀区北清路81号二区1号楼12层1202室、13层整层

  • 入库时间 2023-06-19 11:19:16

说明书

技术领域

本申请涉及计算机技术领域,具体涉及一种抛物行为识别方法、模型训练方法及相关装置。

背景技术

在公共场所中异常抛物是一种极其危险的行为,例如,在机场航站楼上向隔离区抛掷违禁物品,轻则可能妨害机场的运行秩序,重则可能造成重大安全事故。目前,主要基于部署在公共场所中的监控摄像头拍摄的图像,检测公共场所中是否存在此类抛物行为。

相关技术主要通过以下方式实现对于抛物行为的检测识别:根据监控摄像头拍摄的图像生成运动目标的轨迹图像,并且确定该轨迹图像中运动目标的运动轨迹,然后采用人工设定的规则判断该运动轨迹的相关属性是否满足抛物轨迹的属性标准,由此来检测识别抛物行为。

上述抛物行为的检测识别方式,需要借助人的先验知识,通常难以覆盖负责多样的应用环境,具有一定的场景局限性,容易错误识别或者漏识别抛物行为。

发明内容

本申请实施例提供了一种抛物行为识别方法、模型训练方法及相关装置,能够准确地识别各种场景中的抛物行为。

有鉴于此,本申请第一方面提供了一种抛物行为识别方法,所述方法包括:

获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;所述目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,所述多个运动区域分别所属于目标视频中的多帧图像,所述运动区域对应的时间信息是根据其所属的图像在所述目标视频中的顺序确定的;所述运动像素点所属于所述运动区域,所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息;

通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,确定所述目标运动轨迹对应于抛物行为的置信度;

根据所述置信度,确定所述目标视频中所述运动目标是否对应于抛物行为。

本申请第二方面提供了一种模型训练方法,所述方法包括:

获取训练样本集;所述训练样本集中包括正训练样本和负训练样本,所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;

基于所述训练样本集,对待训练的抛物行为识别模型进行训练;

待所述抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。

本申请第三方面提供了一种抛物行为识别装置,所述装置包括:

信息获取模块,用于获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;所述目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,所述多个运动区域分别所属于目标视频中的多帧图像,所述运动区域对应的时间信息是根据其所属的图像在所述目标视频中的顺序确定的;所述运动像素点所属于所述运动区域,所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息;

置信度确定模块,用于通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,确定所述目标运动轨迹对应于抛物行为的置信度;

行为识别模块,用于根据所述置信度,确定所述目标视频中所述运动目标是否对应于抛物行为。

本申请第四方面提供了一种模型训练装置,所述装置包括:

训练样本获取模块,用于获取训练样本集;所述训练样本集中包括正训练样本和负训练样本,所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;

训练模块,用于基于所述训练样本集,对待训练的抛物行为识别模型进行训练;待所述抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。

本申请第五方面提供了一种设备,所述设备包括:处理器和存储器;

所述存储器,用于存储计算机程序;

所述处理器,用于调用所述计算机程序,以执行第一方面所述的抛物行为识别方法或者第二方面所述的模型训练方法。

本申请第六方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行第一方面所述的抛物行为识别方法或者第二方面所述的模型训练方法。

从以上技术方案可以看出,本申请实施例具有以下优点:

本申请实施例提供了一种抛物行为识别方法,该方法包括:获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,该目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,目标轨迹图像中的多个运动区域分别所属于目标视频中的多帧图像,运动区域对应的时间信息是根据其所属的图像在目标视频中的顺序确定的,运动像素点所属于运动区域,运动像素点对应的时间信息即为其所属的运动区域对应的时间信息;然后,通过抛物行为识别模型,根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息,确定该目标运动轨迹对应于抛物行为的置信度;进而,根据该置信度,确定目标视频中的运动目标是否对应于抛物行为。在上述抛物行为识别方法中,采用预先训练的抛物行为识别模型,根据运动轨迹上多个运动像素点各自对应的位置信息及时间信息,识别该运动轨迹是否对应于抛物行为,整体实现过程无需人工干预;并且,在训练抛物行为识别模型时,可以采用大量丰富的训练样本对其进行训练,使得该抛物行为识别模型适用于各种应用环境,在各种应用环境中均能准确地识别抛物行为。

附图说明

图1为本申请实施例提供的抛物行为识别方法的流程示意图;

图2为本申请实施例提供的一种示例性的目标轨迹图像;

图3为本申请实施例提供的模型训练方法的流程示意图;

图4为本申请实施例提供的抛物行为识别装置的结构示意图;

图5为本申请实施例提供的模型训练装置的结构示意图;

图6为本申请实施例提供的服务器的结构示意图

图7为本申请实施例提供的终端设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了减少抛物行为识别过程中的人工干预,并且可以在各种应用场景中准确地识别抛物行为,本申请实施例提供了一种抛物行为识别方法。

在该抛物行为识别方法中,先获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,该目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,目标轨迹图像中的多个运动区域分别所属于目标视频中的多帧图像,运动区域对应的时间信息是根据其所属的图像在目标视频中的顺序确定的,运动像素点所属于运动区域,运动像素点对应的时间信息即为其所属的运动区域对应的时间信息;然后,通过抛物行为识别模型,根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息,确定该目标运动轨迹对应于抛物行为的置信度;进而,根据该置信度,确定目标视频中的运动目标是否对应于抛物行为。

上述抛物行为识别方法,采用预先训练的抛物行为识别模型,根据运动轨迹上多个运动像素点各自对应的位置信息及时间信息,识别该运动轨迹是否对应于抛物行为,整体实现过程无需人工干预;此外,由于训练抛物行为识别模型时可以采用大量丰富的训练样本对其进行训练,因此,可以使得训练得到的抛物行为识别模型适用于各种应用环境,在各种应用环境中均能准确地识别抛物行为。

需要说明的是,本申请实施例提供的抛物行为识别方法和模型训练方法可以应用于各种具备数据处理能力的设备,如终端设备、服务器等。其中,终端设备具体可以为计算机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)和智能手机等;服务器可以为应用服务器,也可以为Web服务器,具体部署时,服务器可以为独立服务器,也可以为集群服务器。

下面通过方法实施例对本申请提供的抛物行为识别方法进行详细介绍。

参见图1,图1为本申请实施例提供的抛物行为识别方法的流程示意图。为了便于描述,下述实施例以服务器作为执行主体为例进行介绍。如图1所示,该抛物行为识别方法包括以下步骤:

步骤101:获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;所述目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,所述多个运动区域分别所属于目标视频中的多帧图像,所述运动区域对应的时间信息是根据其所属的图像在所述目标视频中的顺序确定的;所述运动像素点所属于所述运动区域,所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息。

在实际应用中,服务器通常需要基于目标摄像头拍摄的目标视频,检测在该目标摄像头拍摄的场景中是否发生了抛物行为;在该种情况下,服务器通常需要先基于目标摄像头拍摄的目标视频,生成用于表征该目标视频中运动目标的运动轨迹的目标轨迹图像。

具体实现时,服务器可以针对目标摄像头拍摄的目标视频中的每帧目标图像,通过运动检测算法将其转换为对应的运动图像,该运动图像中包括对应于运动目标的运动区域和对应于场景的场景区域,且运动区域的像素值和静止区域的像素值不同;示例性的,运动图像中运动区域的像素值可以均为255,场景区域的像素值可以均为0,运动区域和场景区域分别呈现白色和黑色。然后,服务器可以从各帧目标图像各自对应的运动图像中筛选出多帧运动图像,根据这多帧运动图像各自对应的目标图像在目标视频中的时间顺序,相应地确定这多帧运动图像中的运动区域对应的时间信息。进而,根据这多帧运动图像中运动区域所处的位置、以及这多帧运动图像中运动区域对应的时间信息,生成目标轨迹图像,该目标轨迹图像能够表征与运动区域对应的运动目标的运动轨迹。

图2所示为一种示例性的目标轨迹图像,其中包括对应于某运动目标的多个运动区域,这多个运动区域分别所属于不同的运动图像、对应不同的时间信息,按照时间信息从前到后的顺序将这多个运动区域串联起来,即可拟合得到对应于该运动目标的目标运动轨迹。

服务器具体识别目标轨迹图像中的目标运动轨迹是否对应于抛物行为时,需要在目标运动轨迹上采集多个运动像素点,并且确定这多个运动像素点各自在目标轨迹图像中的位置坐标、以及这多个运动像素点各自对应的时间信息。具体实现时,服务器基于目标轨迹图像中对应于同一运动目标、且所对应的时间信息不同的运动区域,拟合得到该运动目标对应的目标运动轨迹后,可以进一步在每个对应于该运动目标的运动区域中,采集一个位于目标运动轨迹上的像素点作为运动像素点;例如,服务器可以采集运动区域的边界上与目标运动轨迹相交的像素点作为运动像素点;进而,服务器可以确定该运动像素点在目标轨迹图像中的位置坐标作为其对应的位置信息,确定该运动像素点所属的运动区域对应的时间信息作为其对应的时间信息。

需要说明的是,在实际应用中,运动区域对应的时间信息实际上可以为运动区域对应的编号,该编号是根据该运动区域被添加至目标轨迹图像中的顺序确定的,也可以理解为该编号是根据该运动区域所属的图像在目标视频中的顺序确定的。相应地,运动像素点对应的时间信息即为该运动像素点所属的运动区域对应的编号。

可选的,为了避免后续浪费不必要的计算处理资源,服务器可以在通过抛物行为识别模型,确定目标运动轨迹对应于抛物行为的置信度之前,先对目标运动轨迹进行初步判断,以判断该目标运动轨迹是否有可能对应于抛物行为。具体的,服务器可以判断目标运动轨迹是否满足抛物行为约束条件,此处的抛物行为约束条件包括以下至少一种:目标运动轨迹上起始运动像素点对应的编号小于终止运动像素点对应的编号、目标运动轨迹穿越目标隔离物;若目标运动轨迹满足抛物行为约束条件,则说明该目标运动轨迹有可能对应于抛物行为,可以继续执行后续步骤;若目标运动轨迹不满足抛物行为约束条件,则说明该目标运动轨迹不可能对应于抛物行为,因此无需继续执行后续步骤,可以在一定程度上减少对于服务器计算处理资源的浪费。

服务器基于目标轨迹图像中的运动区域及其对应的编号,拟合得到目标运动轨迹后,通常可以先采用曲线检测算法检测该目标运动轨迹是否为抛物线;在该目标运动轨迹为抛物线的情况下,服务器可以进一步判断该抛物线上的起始像素点对应的编号是否小于该抛物线上的终止像素点对应的编号,若是,则说明该目标运动轨迹可能对应于抛物行为,反之,若否,则说明该目标运动轨迹并非是因真实的抛物行为产生的。

此外,在真实环境下,通过抛物行为抛掷的物体通常需要穿越特定的隔离物,例如,从墙内向墙外抛掷物体,或者从墙外向墙内抛掷物体;若检测到的目标运动轨迹穿越目标隔离物,则说明该目标运动轨迹可能对应于有效的抛物行为,反之,若检测到的目标运动轨迹没有穿越目标隔离物,则说明该目标运动轨迹可能对应于无效的抛物行为。

应理解,在实际应用中,服务器还可以根据实际需求设置其他抛物行为约束条件,以通过所设置的抛物行为约束条件对目标运动轨迹进行初步检测识别,本申请在此不对该抛物行为约束条件做任何限定。

步骤102:通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,确定所述目标运动轨迹对应于抛物行为的置信度。

服务器从目标运动轨迹上采集到多个运动像素点,并且确定出这多个运动像素点各自对应的位置信息和时间信息后,服务器可以将这多个运动像素点各自对应的位置信息和时间信息生成特定的特征向量,并将该特征向量输入预先训练好的抛物行为识别模型,该抛物行为识别模型通过对所输入的特征向量进行分析处理后,可以相应地输出该目标运动轨迹对应于抛物行为的置信度。

需要说明的是,本申请实施例中的抛物行为识别模型可以为任意一种神经网络分类模型,例如,可以为包括三层感知机的分类网络模型,本申请在此不对该抛物行为识别模型的具体结构做任何限定。下文将通过另一方法实施例对该抛物行为识别模型的训练方法做详细介绍。

具体实现时,服务器可以根据多个运动像素点各自在目标轨迹图像中的位置坐标以及这多个运动像素点各自对应的时间信息,生成位置特征向量;进而,通过抛物行为识别模型,根据该位置特征向量确定目标运动轨迹对应于抛物行为的置信度。

示例性的,在运动像素点对应的时间信息为编号的情况下,服务器可以预先设定输入抛物行为识别模型的位置特征向量是大小为1*2T特征向量,T为目标轨迹图像中包括的运动区域的数目阈值,也可以理解为目标轨迹图像中包括的运动区域所对应的最大编号。服务器根据各个运动像素点各自在目标轨迹图像中的位置坐标,构建1*2T大小的位置特征向量f;例如,服务器可以针对编号为t的运动像素点,将其在目标轨迹图像中的位置坐标进行归一化处理,即利用运动像素点的横坐标x除以目标轨迹图像的宽w得到归一化后的横坐标

当然,在实际应用中,服务器也可以采取其它方式构建位置特征向量。例如,预先设定位置特征向量为大小为2*T的特征向量,对编号为t的运动像素点的横坐标x和纵坐标y进行归一化处理,得到横坐标

步骤103:根据所述置信度,确定所述目标视频中所述运动目标是否对应于抛物行为。

服务器得到抛物行为识别模型输出的置信度后,可以根据该置信度确定与目标运动轨迹对应的运动目标是否对应于抛物行为。具体的,服务器可以预先设定置信度阈值,若抛物行为识别模型输出的置信度高于该置信度阈值,则确定与目标运动轨迹对应的运动目标对应于抛物行为;反之,若抛物行为识别模型输出的置信度不高于该置信度阈值,则确定与目标运动轨迹对应的运动目标并非对应于抛物行为。

可选的,在确定目标视频中的运动目标对应于抛物行为的情况下,服务器可以进一步产生报警信息,该报警信息用于提示目标视频对应的拍摄场所中存在抛物行为;如此,提示相关工作人员及时检测抛物行为是否存在危险。例如,假设目标视频是部署在机场的目标摄像头拍摄的,对应于某特定的区域如隔离区,服务器检测到该目标视频中的运动目标对应于抛物行为时,可以向机场安保人员发送报警信息,以通知机场安保人员该目标摄像头拍摄的隔离区域内存在抛物行为。

可选的,不同的目标轨迹图像中的目标运动轨迹可能对应于同一抛物行为,例如,生成时间相近的两个目标轨迹图像中的目标运动轨迹可能是因同一个抛物行为产生的;为了避免针对同一抛物行为重复报警,本申请实施例提供的方法可以在检测到生成时间相近的两个目标轨迹图像中的目标运动轨迹均对应于抛物行为的情况下,进一步检测这两个目标轨迹图像中的目标运动轨迹是否对应于同一抛物行为。

即,服务器可以在确定根据第一目标轨迹图像确定的第一目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值,以及确定根据第二目标轨迹图像确定的第二目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值,且所述第一目标轨迹图像与所述第二目标轨迹图像之间的时间间隔小于预设时长的情况下,基于预设采样标准,在第一目标运动轨迹上采集第一采样点组成第一采样点集,在第二目标运动轨迹上采集第二采样点组成第二采样点集;将第一采样点集和第二采样点集中对应于相同横坐标的第一采样点和第二采样点,组成采样点对;针对每个采样点对,确定其中第一采样点与第二采样点的纵坐标差值,作为该采样点对对应的差值距离;计算各个采样点对各自对应的差值距离的平均值作为平均距离;判断该平均距离是否小于预设距离阈值,若是,则确定第一目标运动轨迹和第二目标运动轨迹对应于同一抛物行为。

示例性的,服务器可以在第一目标轨迹图像中的第一目标运动轨迹上,按照x坐标均匀采集若干第一采集点组成第一采集点集,并且在第二目标轨迹图像中的第二目标轨迹上,也按照x坐标均匀采集若干第二采集点组成第二采集点集。然后,利用第一采集点集和第二采集点集中具有相同横坐标的第一采集点和第二采集点组成采集点对;针对每个采集点对,计算其中第一采集点与第二采集点的纵坐标的差值,作为该采集点对对应的差值距离。进而,计算各个采集点对各自对应的差值距离的平均值得到平均距离。判断该平均距离是否小于预设距离阈值,若是,则可以确定第一目标轨迹图像中的第一目标运动轨迹与第二目标轨迹图像中的第二目标轨迹实际上对应于同一抛物行为;反之,若否,则可以确定第一目标轨迹图像中的第一目标运动轨迹与第二目标轨迹图像中的第二目标轨迹实际上对应于不同的抛物行为。

在上述抛物行为识别方法中,先获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,该目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,目标轨迹图像中的多个运动区域分别所属于目标视频中的多帧图像,运动区域对应的时间信息是根据其所属的图像在目标视频中的顺序确定的,运动像素点所属于运动区域,运动像素点对应的时间信息即为其所属的运动区域对应的时间信息;然后,通过抛物行为识别模型,根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息,确定该目标运动轨迹对应于抛物行为的置信度;进而,根据该置信度,确定目标视频中的运动目标是否对应于抛物行为。如此,采用预先训练的抛物行为识别模型,根据运动轨迹上多个运动像素点各自对应的位置信息及时间信息,识别该运动轨迹是否对应于抛物行为,整体实现过程无需人工干预;此外,由于训练抛物行为识别模型时可以采用大量丰富的训练样本对其进行训练,因此,可以使得训练得到的抛物行为识别模型适用于各种应用环境,在各种应用环境中均能准确地识别抛物行为。

下面通过方法实施例对本申请实施例提供的用于训练上述抛物行为识别模型的模型训练方法进行详细介绍。

参见图3,图3为本申请实施例提供的模型训练方法的流程示意图。为了便于描述,下述实施例仍以服务器作为执行主体为例进行介绍。如图3所示,该模型训练方法包括以下步骤:

步骤301:获取训练样本集;所述训练样本集中包括正训练样本和负训练样本,所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息。

服务器对抛物行为识别模型进行训练之前,需要先获取包括大量训练样本的训练样本集。该训练样本集中包括对应于抛物行为的正训练样本和对应于非抛物行为的负训练样本,其中,正训练样本中包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息和时间信息,负训练样本中包括与非抛物行为对应的运动轨迹上的多个采样点各自对应的位置信息和时间信息。

在一种可能的实现方式中,服务器可以通过以下方式构建上述正训练样本:设置抛物轨迹的初始坐标、初始坐标对应的初始时间信息、初始速度以及加速度,基于该初始坐标、初始速度和加速度模拟生成抛物轨迹;然后,在该抛物轨迹上按照产生的时间顺序采集采样点,并以初始时间信息为基础,按照采样点产生的时间顺序针对采样点配置对应的时间信息;进而,基于初始坐标及其对应的初始时间信息、以及所采集的各个采样点及其各自对应的时间信息,构建正训练样本。

考虑到真实的抛物数据在现实生活中难以获取且数量较少,通常难以满足神经网络模型训练的要求,因此,本申请实施例提供的方法基于抛物行为所遵循的物理规律,自动生成大量与抛物行为对应的正训练样本。具体的,可以先在一个设定的范围内随机生成初始坐标及其对应的初始编号、初始速度和加速度,并且基于初始坐标、初始速度和加速度模拟生成抛物轨迹;然后,在时间上均匀采样或者不均匀采样,记录每个采样点的坐标,并为其配置对应的编号。考虑到真实抛物行为的抛物轨迹上的点并非理想的质点,因此,可以对每个采样点的坐标施加一定范围内的扰动。

根据先验知识,通过抛掷行为抛出的物体在摄像机画面中出现的时间不会超过t秒,相机的平均帧率为K,那么根据该相机拍摄的视频生成的目标轨迹图像中最多包括T=t*K个与该运动目标对应的运动区域,相应地,应当在该抛掷物体的运动轨迹上采集T个采样点;因此,正训练样本中包括的采样点的数目应当不超过T。如此生成的正训练样本更贴合真实的抛物数据,理论上,通过这种方式生成的正训练样本能够覆盖各种抛物情况。

在一种可能的实现方式中,服务器可以通过以下方式构建上述负训练样本:通过抛物线检测算法,根据轨迹图像中对应于多个运动目标的多个运动区域及其各自对应的时间信息,检测运动目标的运动轨迹是否为抛物线;在运动目标的运动轨迹并非抛物线的情况下,在该运动目标的运动轨迹上采集多个运动像素点,基于这多个运动像素点各自在轨迹图像中的坐标、以及这多个运动像素点各自所属的运动区域对应的时间信息,构建负训练样本。

由于真实环境中大部分时间没有抛物行为,因此,可以基于摄像头采集的对应于其它运动目标的运动轨迹生成负训练样本。即服务器可以采用抛物线检测算法,根据基于摄像头拍摄的视频生成的轨迹图像中的多个运动区域及其各自对应的编号,检测该运动区域对应的运动目标的运动轨迹是否为抛物线;若不是,则可以在基于这多个运动区域拟合得到的运动轨迹上采集多个运动像素点,利用这多个运动像素点各自在轨迹图像中的坐标、以及这多个运动像素点各自所属的运动区域对应的编号,构建负训练样。

考虑到各种摄像头拍摄得到的图像的分辨率不尽相同,因此,通常需要对训练样本中运动像素点的坐标(x,y)进行归一化处理,归一化后的横坐标

步骤302:基于所述训练样本集,对待训练的抛物行为识别模型进行训练。

服务器获取到训练样本集后,可以利用该训练样本集中的正训练样本和负训练样本,对预先构建的、待训练的抛物行为识别模型进行训练。该抛物行为识别模型可以为任一种神经网络分类模型,例如,可以为包括三层感知机的分类网络模型。

具体训练时,服务器可以将基于训练样本中各个运动像素点各自对应的坐标和时间信息确定的位置特征向量,输入待训练的抛物行为识别模型;该抛物行为识别模型对所输入的位置特征向量进行分析处理后,输出预测置信度。进而,服务器可以基于该预测置信度和该训练样本对应的行为类型(即是否为抛物行为),构建交叉熵损失函数,基于该交叉熵损失函数调整所训练的抛物行为识别模型中的模型参数。应理解,当训练样本为正训练样本时,该正训练样本对应的标准置信度应当为1,服务器可以基于抛物行为识别模型输出的预测置信度和1构建交叉熵损失函数;当训练样本为负训练样本时,该负训练样本对应的标准置信度应当为0,服务器可以基于抛物行为识别模型输出的预测置信度和0构建交叉熵损失函数。

步骤303:待所述抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。

在对抛物行为识别模型进行训练的过程中,服务器可以判断该抛物行为识别模型是否满足训练结束条件;若该抛物行为识别模型已满足训练结束条件,则可以确认完成对于该抛物行为识别模型的训练,可以将该抛物行为识别模型投入实际应用。

示例性的,服务器可以利用测试样本集对抛物行为识别模型的模型性能进行测试,若测试得到的测试结果表征该抛物行为识别模型的准确度达到预设的准确度阈值,则服务器可以认为该抛物行为识别模型已满足训练结束条件;或者,服务器也可以判断对于该抛物行为识别模型的迭代训练的次数是否达到预设训练次数阈值,若已达到,则也可以认为该抛物行为识别模型已满足训练结束条件。本申请在此不对上述训练结束条件做任何限定。

在上述模型训练方法中,服务器先获取训练样本集,该训练样本集中包括正训练样本和负训练样本,正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;然后,基于该训练样本集,对待训练的抛物行为识别模型进行训练;待该抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。如此,在训练抛物行为识别模型时采用大量丰富的训练样本对其进行训练,可以使得训练得到的抛物行为识别模型适用于各种应用环境,在各种应用环境中均能准确地识别抛物行为。

本申请实施例还提供了一种抛物行为识别装置。参见图4,图4为本申请实施例提供的抛物行为识别装置的结构示意图,如图4所示,该装置包括:

信息获取模块401,用于获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;所述目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,所述多个运动区域分别所属于目标视频中的多帧图像,所述运动区域对应的时间信息是根据其所属的图像在所述目标视频中的顺序确定的;所述运动像素点所属于所述运动区域,所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息;

置信度确定模块402,用于通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,确定所述目标运动轨迹对应于抛物行为的置信度;

行为识别模块403,用于根据所述置信度,确定所述目标视频中所述运动目标是否对应于抛物行为。

可选的,所述置信度确定模块402具体用于:

根据所述多个运动像素点各自在所述目标轨迹图像中的位置坐标以及所述多个运动像素点各自对应的时间信息,生成位置特征向量;

通过所述抛物行为识别模型,根据所述位置特征向量确定所述目标运动轨迹对应于抛物行为的置信度。

可选的,所述位置特征向量为大小为1*2T的特征向量,所述T是根据所述目标轨迹图像中运动区域的数目阈值确定的,所述T为大于1的正整数;所述运动像素点对应的时间信息为编号,所述编号是根据所述运动像素点所属的所述运动区域被添加至所述目标轨迹图像中的顺序确定的;所述置信度确定模块402具体用于:

针对每个所述运动像素点,对所述运动像素点在所述目标轨迹图像中的横坐标和纵坐标分别进行归一化处理;根据所述运动像素点对应的编号t,将归一化后的横坐标和纵坐标分别填写至所述位置特征向量中2t的位置和2t+1的位置。

可选的,在确定根据第一目标轨迹图像确定的第一目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值,以及确定根据第二目标轨迹图像确定的第二目标运动轨迹对应于抛物行为的置信度高于所述预设置信度阈值,且所述第一目标轨迹图像与所述第二目标轨迹图像之间的时间间隔小于预设时长的情况下,所述装置还包括:

相同抛物行为判断模块,用于基于预设采样标准,在所述第一目标运动轨迹上采集第一采样点组成第一采样点集,以及在所述第二目标运动轨迹上采集第二采样点组成第二采样点集;将所述第一采样点集和所述第二采样点集中对应于相同横坐标的第一采样点和第二采样点,组成采样点对;针对每个所述采样点对,确定其中所述第一采样点与所述第二采样点的纵坐标差值,作为所述采样点对对应的差值距离;计算各个所述采样点对各自对应的差值距离的平均值,作为平均距离;判断所述平均距离是否小于预设距离阈值,若是,则确定所述第一目标运动轨迹和所述第二目标运动轨迹对应于同一抛物行为。

可选的,所述运动像素点对应的时间信息为编号,所述编号是根据所述运动像素点所属的所述运动区域被添加至所述目标轨迹图像中的顺序确定的;所述装置还包括:

抛物行为预判模块,用于判断所述目标运动轨迹是否满足抛物行为约束条件;所述抛物行为约束条件包括以下至少一种:所述目标运动轨迹上起始运动像素点对应的编号小于终止运动像素点对应的编号、所述目标运动轨迹穿越目标隔离物;若是,则执行所述通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及编号,确定所述目标运动轨迹对应于抛物行为的置信度。

上述抛物行为识别装置,先获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,该目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,目标轨迹图像中的多个运动区域分别所属于目标视频中的多帧图像,运动区域对应的时间信息是根据其所属的图像在目标视频中的顺序确定的,运动像素点所属于运动区域,运动像素点对应的时间信息即为其所属的运动区域对应的时间信息;然后,通过抛物行为识别模型,根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息,确定该目标运动轨迹对应于抛物行为的置信度;进而,根据该置信度,确定目标视频中的运动目标是否对应于抛物行为。如此,采用预先训练的抛物行为识别模型,根据运动轨迹上多个运动像素点各自对应的位置信息及时间信息,识别该运动轨迹是否对应于抛物行为,整体实现过程无需人工干预;此外,由于训练抛物行为识别模型时可以采用大量丰富的训练样本对其进行训练,因此,可以使得训练得到的抛物行为识别模型适用于各种应用环境,在各种应用环境中均能准确地识别抛物行为。

本申请实施例还提供了一种模型训练装置。参见图5,图5为本申请实施例提供的模型训练装置,如图5所示,该装置包括:

训练样本获取模块,用于获取训练样本集;所述训练样本集中包括正训练样本和负训练样本,所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;

训练模块,用于基于所述训练样本集,对待训练的抛物行为识别模型进行训练;待所述抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。

可选的,所述装置还包括:

正样本构建模块,用于设置抛物轨迹的初始坐标、所述初始坐标对应的初始时间信息、初始速度以及加速度,基于所述初始坐标、所述初始速度和所述加速度模拟生成抛物轨迹;在所述抛物轨迹上按照产生的时间顺序采集采样点,并以所述初始时间信息为基础,按照所述采样点产生的时间顺序针对所述采样点配置对应的时间信息;基于所述初始坐标及其对应的初始时间信息、以及所采集的各个所述采样点及其各自对应的时间信息,构建所述正训练样本。

可选的,所述装置还包括:

负样本构建模块,用于在所述运动目标的运动轨迹并非抛物线的情况下,在所述运动目标的运动轨迹上采集多个运动像素点,基于所述多个运动像素点各自在所述轨迹图像中的坐标、以及所述多个运动像素点各自所属的所述运动区域对应的时间信息,构建所述负训练样本。

上述模型训练装置,先获取训练样本集,该训练样本集中包括正训练样本和负训练样本,正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;然后,基于该训练样本集,对待训练的抛物行为识别模型进行训练;待该抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。如此,在训练抛物行为识别模型时采用大量丰富的训练样本对其进行训练,可以使得训练得到的抛物行为识别模型适用于各种应用环境,在各种应用环境中均能准确地识别抛物行为。

本申请实施例还提供了一种用于识别抛物行为和模型训练的设备,该设备具体可以是服务器或终端设备,下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。

参见图6,图6为本申请实施例提供的一种服务器600的结构示意图。该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)622(例如,一个或一个以上处理器)和存储器632,一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器622可以设置为与存储介质660通信,在服务器600上执行存储介质660中的一系列指令操作。

服务器600还可以包括一个或一个以上电源626,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口658,和/或,一个或一个以上操作系统641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图6所示的服务器结构。

其中,CPU 622用于执行如下步骤:

获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;所述目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,所述多个运动区域分别所属于目标视频中的多帧图像,所述运动区域对应的时间信息是根据其所属的图像在所述目标视频中的顺序确定的;所述运动像素点所属于所述运动区域,所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息;

通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,确定所述目标运动轨迹对应于抛物行为的置信度;

根据所述置信度,确定所述目标视频中所述运动目标是否对应于抛物行为。

或者,

获取训练样本集;所述训练样本集中包括正训练样本和负训练样本,所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;

基于所述训练样本集,对待训练的抛物行为识别模型进行训练;

待所述抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。

可选的,CPU 622还可以用于执行本申请实施例提供的抛物行为识别方法和模型训练方法的任意一种实现方式的步骤。

参见图7,图7为本申请实施例提供的一种终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括计算机、平板电脑、个人数字助理(英文全称:Personal DigitalAssistant,英文缩写:PDA)等任意终端设备,以终端为计算机为例:

图7示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图7,计算机包括:射频(英文全称:Radio Frequency,英文缩写:RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(英文全称:wirelessfidelity,英文缩写:WiFi)模块770、处理器780、以及电源790等部件。本领域技术人员可以理解,图7中示出的计算机结构并不构成对计算机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

存储器720可用于存储软件程序以及模块,处理器780通过运行存储在存储器720的软件程序以及模块,从而执行计算机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器780是计算机的控制中心,利用各种接口和线路连接整个计算机的各个部分,通过运行或执行存储在存储器720内的软件程序和/或模块,以及调用存储在存储器720内的数据,执行计算机的各种功能和处理数据,从而对计算机进行整体监控。可选的,处理器780可包括一个或多个处理单元;优选的,处理器780可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器780中。

在本申请实施例中,该终端所包括的处理器780还具有以下功能:

获取目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息;所述目标运动轨迹是根据目标轨迹图像中对应于运动目标的多个运动区域及其各自对应的时间信息确定的,所述多个运动区域分别所属于目标视频中的多帧图像,所述运动区域对应的时间信息是根据其所属的图像在所述目标视频中的顺序确定的;所述运动像素点所属于所述运动区域,所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息;

通过抛物行为识别模型,根据所述目标运动轨迹上多个运动像素点各自对应的位置信息及时间信息,确定所述目标运动轨迹对应于抛物行为的置信度;

根据所述置信度,确定所述目标视频中所述运动目标是否对应于抛物行为。

或者,

获取训练样本集;所述训练样本集中包括正训练样本和负训练样本,所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息,所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息;

基于所述训练样本集,对待训练的抛物行为识别模型进行训练;

待所述抛物行为识别模型满足训练结束条件,确定完成对于所述抛物行为识别模型的训练。

可选的,所述处理器780还用于执行本申请实施例提供的抛物行为识别方法和模型训练方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质,用于存储程序代码,该程序代码用于执行前述各个实施例所述的一种抛物行为识别方法和模型训练方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例所述的一种抛物行为识别方法和模型训练方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号