目标标注质量检验方法、装置、计算机设备和存储介质

摘要

本申请涉及一种目标标注质量检验方法、装置、计算机设备和存储介质。所述方法包括：读取标注完成的视频帧；查询所述视频帧得到包含同一目标的多帧图像，所述多帧图像中包括所述同一目标的实际标注结果，且所述多帧图像是按照时间顺序依次排列的；根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像；根据所述在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算所述当前帧图像中目标的参考标注结果；根据所述参考标注结果，检验所述当前帧图像中目标的实际标注结果的标注质量。采用本方法能够提高处理效率。

说明书

技术领域

本申请涉及人工智能技术领域，特别是涉及一种目标标注质量检验方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的发展，出现了多目标追踪技术，其在智慧交通、智慧城市等领域具有重要的应用场景，为了促进该领域的发展,相应的多目标追踪数据集具有很大的作用，所以需要人工对相关数据进行标定。

传统技术中，在标注工作中，目标物体所在的位置是很重要的信息，为了确保目标框的准确性，需要对标注结果的质量进行衡量。

然而，目前的通过肉眼观察是一个比较可靠的方式，但对于数据量特别大的场景，效率低效。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高效率的目标标注质量检验方法、装置、计算机设备和存储介质。

一种目标标注质量检验方法，所述方法包括：

读取标注完成的视频帧；

查询所述视频帧得到包含同一目标的多帧图像，所述多帧图像中包括所述同一目标的实际标注结果，且所述多帧图像是按照时间顺序依次排列的；

根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像；

根据所述在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算所述当前帧图像中目标的参考标注结果；

根据所述参考标注结果，检验所述当前帧图像中目标的实际标注结果的标注质量。

在其中一个实施例中，所述在前帧图像和所述在后帧图像均包括至少一帧；所述根据所述在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算所述当前帧图像中目标的参考标注结果，包括：

分别提取所述在前帧图像中的至少一帧和所述在后帧图像中的至少一帧组成多组检测对；

分别获取每一组检测对中的在前帧图像中的每一帧的目标的实际标注结果以及在后帧图像中的每一帧的目标的实际标注结果；

根据时间顺序分别获取每一组检测对中的在前帧图像中的每一帧至当前帧图像的第一距离，以及在后帧图像中的每一帧至当前帧图像的第二距离；

根据所述第一距离和所述第二距离计算得到每一组检测对中的每一帧的权重；

根据所述权重以及每一组检测对中的每一帧的目标的实际标注结果，计算所述当前帧图像中目标的初始标注结果；

对所述初始标注结果进行融合得到所述当前帧图像中目标的参考标注结果。

在其中一个实施例中，所述根据所述第一距离和所述第二距离计算得到每一组检测对中的每一帧的权重，包括：

根据所述第一距离和所述第二距离计算得到总份数；

分别根据在前帧图像中的每一帧至当前帧图像的第一距离与所述总份数，计算得到在前帧图像中的每一帧对应的权重；

分别根据在后帧图像中的每一帧至当前帧图像的第二距离与所述总份数，计算得到在后帧图像中的每一帧对应的权重。

在其中一个实施例中，所述根据所述参考标注结果，检验所述当前帧图像中目标的实际标注结果的标注质量，包括：

计算所述参考标注结果和所述实际标注结果的交并比；

根据所述交并比的大小衡量所述当前帧图像中目标的实际标注结果的标注质量。

在其中一个实施例中，所述方法还包括：

获取所述在前帧图像和所述在后帧图像中的目标的属性信息；

根据所述属性信息检验所述当前帧图像中目标的属性信息的标注质量。

在其中一个实施例中，所述查询所述视频帧得到包含同一目标的多帧图像，包括：

按照视频帧的时间顺序依次读取所述视频帧，并提取所述视频帧中标注完成的目标的目标标识；

按照目标标识的排序规则对所述目标标识进行存储，并将包含同一目标标识对应的目标的视频帧与所存储的目标标识进行关联；

根据目标标识的排序规则，校验所存储的目标标识是否完整；

当所存储的目标标识完整，则继续根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像，否则输出读取错误的提示。

在其中一个实施例中，所述目标标识是根据递增生成方式生成的，所述目标标识的递增生成方式包括：

接收输入的新目标确认指令；

根据所述新目标确认指令获取到历史目标标识的最大值，并递增所述最大值；

建立所述新目标对应的标注框与递增后的最大值的关联关系。

一种目标标注质量检测装置，所述装置包括：

读取模块，用于读取标注完成的视频帧；

查询模块，用于查询所述视频帧得到包含同一目标的多帧图像，所述多帧图像中包括所述同一目标的实际标注结果，且所述多帧图像是按照时间顺序依次排列的；

提取模块，用于根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像；

参考标注结果生成模块，用于根据所述在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算所述当前帧图像中目标的参考标注结果；

检测模块，用于根据所述参考标注结果，检验所述当前帧图像中目标的实际标注结果的标注质量。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述目标标注质量检验方法、装置、计算机设备和存储介质，根据同一目标的在前帧图像和在后帧的实际标注结果来得到参考标注结果，然后再根据参考标注结果来检测当前帧图像中目标的实际标注结果，不需要人工肉眼一个个的观察，对于数据量特别大的场景，提高了效率。

附图说明

图1为一个实施例中目标标注质量检测方法的流程示意图；

图2为一个实施例中标注结果的示意图；

图3为图1所示实施例中的步骤S108的流程图；

图4为图1所示实施例中的步骤S104的流程图；

图5为一个实施例中目标标注质量检测装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种目标标注质量检验方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

S102：读取标注完成的视频帧。

具体地，在多目标追踪数据集标注过程中，需要给出同一个目标(即同一个目标标识id)在不同时刻的具体位置，如图2所示，三个目标在不同时刻具有不同的坐标信息。标注需要包含三个目标在不同时刻的位置信息，为了衡量标注质量，需要给出标注的结果。

其中各个视频帧中不同的目标的标注的结果可以包括标注框的位置以及大小，其中位置可以通过关键点的坐标来进行标识，大小则可以通过宽和高来进行标识。其中标注框可以是不同形状的框，当标注框为矩形框时，可以通过该矩形框左上角坐标(x，y)以及矩形框的宽高(w，h)唯一确定该矩形框。

S104：查询视频帧得到包含同一目标的多帧图像，多帧图像中包括同一目标的实际标注结果，且多帧图像是按照时间顺序依次排列的。

具体地，由于一个目标在相邻时刻的运动是连续变化的，因此可以查询视频帧得到一个目标对应的多帧图像，例如按照时间顺序读取第一帧视频帧，读取其中包括的多个目标，然后建立目标分组，将第一帧视频帧与目标分组建立关系，然后读取下一帧视频帧，读取其中包括的多个目标，将若存在与已建立的目标分组对应的目标，则将该视频帧归属到该目标分组中，若是出现新的目标，则新建目标分组，若是不存在与已建立的目标分组对应的目标，则说明已建立的目标分组所对应的视频帧均选择完成。

其中需要说明的是在每个目标分组中视频帧是按照时间顺序依次排列的，这是由于一个目标在相邻时刻的运动是连续变化的，因此根据该特性来对各个视频帧的标注结果的质量进行评价，该根据此进行评价，需要视频帧是按照时间顺序依次排列的。

S106：根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像。

S108：根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图像中目标的参考标注结果。

具体地，在前帧图像是指按照时间顺序位于当前帧图像之前的视频帧，在后帧图像是指按照时间顺序位于当前帧图像之后的视频帧。

为了衡量目标位置标注的准确性，采用一种差值的方式进行自动评估，即采用t之前时刻和t之后时刻标注的目标位置去检验t时刻目标的位置，该方法所基于的假设在于：一个目标在相邻时刻的运动是连续变化的，所以中间时刻目标所在的位置可以通过相邻的几帧目标的位置差值得到。且为了保证正确性，考虑到当前帧图像的在前帧图像和在后帧图像。

具体地，终端获取到所获取的根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，然后根据所获取的实际标注结果来计算得到当前帧图像中目标的参考标注结果。例如，假设当前帧图像的实际标注结果为(x1,y1,w1,h1)，其中在前帧图像的同一目标的实际标注结果为(x0,y0,w0,h0)，在后帧图像的同一目标的实际标注结果为(x2,y2,w2,h2)，则根据在前帧图像的同一目标的实际标注结果为(x0,y0,w0,h0)，在后帧图像的同一目标的实际标注结果为(x2,y2,w2,h2)可以得到参考标注结果，例如

S110：根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量。

具体地，将参考标注结果和当前帧图像中的目标的实际标注结果进行匹配，如果高度匹配，例如匹配度大于预设值，则标注结果可信度高，否则，在这三帧图像中存在某一帧图片的标注不够准确，需要重新标注，因此终端可以将该三帧图像进行标注，例如进行问题标注后输出，以便于用户查勘这三张图片，并人工找出标注存在问题的图片进行重新标注。

上述目标标注质量检验方法，根据同一目标的在前帧图像和在后帧的实际标注结果来得到参考标注结果，然后再根据参考标注结果来检测当前帧图像中目标的实际标注结果，不需要人工肉眼一个个的观察，对于数据量特别大的场景，提高了效率。

在其中一个实施例中，参见图3所示，图3为图1所示实施例中的步骤S108的流程图，该步骤S108，即在前帧图像和在后帧图像均包括至少一帧；根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图像中目标的参考标注结果，包括：

S302：分别提取在前帧图像中的至少一帧和在后帧图像中的至少一帧组成多组检测对。

具体地，为了提高检测结果的准确性，也即提高参考标注结果的准确性，终端通过多组视频帧图像进行参考标注结果的生成。因此终端首先从目标对应的视频帧中提取多帧视频组成多组检测对，每一组检测对中至少包括前帧图像中的一帧和在后帧图像中的一帧。例如假设目标A对应有9帧视频帧，序号分别为1至9，其中第4帧为当前帧图像，在第1至3帧为在前帧图像，5至9帧为在后帧图像，终端可以分别从第1至3帧中提取至少一帧，再从5-9帧中提取至少一帧组成一组检测对。为了提高准确性，终端可以提取多组检测对。

S304：分别获取每一组检测对中的在前帧图像中的每一帧的目标的实际标注结果以及在后帧图像中的每一帧的目标的实际标注结果。

具体地，该步骤主要是为了获取到每一组检测对中的每一帧的实际标注结果，具体地即终端根据目标的目标标识去读取到该帧图像中的目标的标注结果即可。

S306：根据时间顺序分别获取每一组检测对中的在前帧图像中的每一帧至当前帧图像的第一距离，以及在后帧图像中的每一帧至当前帧图像的第二距离。

具体地，此处的第一距离和第二距离可以是视频帧之间的距离，例如按照时间顺序排列的第n帧视频帧与第m帧视频帧的距离为m-n，其中m>n。

S308：根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重。

具体地，权重是用于衡量检测对中的每一帧视频在生成参考标注结果时的重要程度。可选地，根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重，包括：根据第一距离和第二距离计算得到总份数；分别根据在前帧图像中的每一帧至当前帧图像的第一距离与总份数，计算得到在前帧图像中的每一帧对应的权重；分别根据在后帧图像中的每一帧至当前帧图像的第二距离与总份数，计算得到在后帧图像中的每一帧对应的权重。其中总份数是第一距离中的最大值和第二距离中的最大值的和。例如，一组检测对中存在2帧图像，一个在前帧图像和一个在后帧图像，且在前帧图像与在后帧图像至当前帧图像的距离均为1，也就是说在前帧图像和在后帧图像与当前帧图像相邻，此时在前帧图像和在后帧图像的权重＝1/(1+1)＝1/2。

S310：根据权重以及每一组检测对中的每一帧的目标的实际标注结果，计算当前帧图像中目标的初始标注结果。

具体地，此处的初始标注结果是指根据每一检测对中的每一帧的目标的实际标注结果生成的，如上文所示，该初始标注结果＝权重*在前帧图像对应的标注结果+权重*在后帧图像对应的标注结果。

S312：对初始标注结果进行融合得到当前帧图像中目标的参考标注结果。

具体地，该参考标注结果是对初始标注结果进行融合得到的，例如计算所有初始标注结果的平均值以得到对应的参考标注结果。

上述实施例中，设置多个检测对以进行检测，并综合多个检测对的结果，使得参考标注结果更为准确。

在其中一个实施例中，根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量，包括：计算参考标注结果和实际标注结果的交并比；根据交并比的大小衡量当前帧图像中目标的实际标注结果的标注质量。

具体地，参考标注结果和实际标注结果都是标注框，因此终端计算参考标注结果和实际标注结果的交并比，即(参考标注结果与实际标注结果的交集)/(参考标注结果和实际标注结果的并集)，并根据交并比的大小衡量当前帧图像中目标的实际标注结果的标注质量，例如交并比越大，说明参考标注结果和实际标注结果重合度越高，则实际标注结果越可信，否则，实际标注结果不可信。

上述实施例中，通过交并比来进行处理，并根据交并比的大小衡量当前帧图像中目标的实际标注结果的标注质量，更为简单可信。

在其中一个实施例中，上述目标标注质量检验方法还包括：获取在前帧图像和在后帧图像中的目标的属性信息；根据属性信息检验当前帧图像中目标的属性信息的标注质量。

具体的属性信息是指标注过程中标注的目标的属性信息，例如目标的颜色、纹理等信息，由于该些信息保持不变，因此终端可以获取到在前帧图像和在后帧图像中的同一目标的属性信息，然后判断当前帧图像中同一目标的属性信息与在前帧图像和在后帧图像中的同一目标的属性信息是否相同，若是相同，则标注质量较高，否则，标注质量较低，可选地，终端还可以将目标的位置以及属性等进行记录，并输出对应的位置和属性的标注质量的结果，以给用户以指导，例如若位置标注存在问题，则直接输出位置标注存在问题，则用户仅需要检查位置的问题，而无需检查属性的问题，减少用户的处理量。

在其中一个实施例中，参见图4所示，图4为图1所示实施例中的步骤S104的流程图，该步骤S104，即查询视频帧得到包含同一目标的多帧图像，包括：

S402：按照视频帧的时间顺序依次读取视频帧，并提取视频帧中标注完成的目标的目标标识。

具体地，由于目标的标识是按照递增生成方式生成的，因此当视频帧按照时间顺序排列时，目标标识也是按照递增的方式来获取到，不存在遗漏或者是减少等。

其中，目标标识是根据递增生成方式生成的，目标标识的递增生成方式包括：接收输入的新目标确认指令；根据新目标确认指令获取到历史目标标识的最大值，并递增最大值；建立新目标对应的标注框与递增后的最大值的关联关系。即在标注的过程中，用户当发现新目标的时候，则点击目标标识递增按钮，以建立新目标对应的目标标识，例如获取到历史目标标识的最大值，并递增最大值得到新的目标标识，并建立新目标对应的标注框与递增后的最大值的关联关系，这样不需要用户进行编号，仅需点击一下即可，提高处理效率。由于标注过程也是按照视频帧的时间顺序进行的，所以在读取的时候，按照视频帧的时间顺序依次读取视频帧，所读取到的目标的目标标识也应该是递增的。

S404：按照目标标识的排序规则对目标标识进行存储，并将包含同一目标标识对应的目标的视频帧与所存储的目标标识进行关联。

S406：根据目标标识的排序规则，校验所存储的目标标识是否完整。

具体地，终端将当前帧中读取的目标标识按照递增的顺序进行存储，若是与已存储的目标分组的目标标识相同，则将当前帧归属至对应的目标分组，若是与已存储的目标分组的目标标识不相同，则建立新的目标分组，并将当前帧归属至新的目标分组中。

其中校验所存储的目标标识是否完整是判断目标标识是否按照递增的方式被发现的。若是存在目标标识的断层，则说明存在已标注的目标没有读取到或存储的可能，因此终端可以发出提示，以提醒用户存在未检测的标注结果。

S408：当所存储的目标标识完整，则继续根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像，否则输出读取错误的提示。

具体地，当所存储的目标标识完整，则可以继续后续的处理，即提取当前帧图像对应的在前帧图像和在后帧图像等。

在实际应用中，因此终端在提取目标标识的时候，首先读取第一帧视频帧，读取其中的目标的目标标识，并建立目标分组，其中目标分组与目标标识对应，也是递增，当第一帧视频中存在3个目标，则按照递增方式生成对应的目标分组，然后读取下一帧视频帧，并读取其中包括的多个目标，将若存在与已建立的目标分组对应的目标，则将该视频帧归属到该目标分组中，若是出现新的目标，则新建目标分组，若是不存在与已建立的目标分组对应的目标，则说明已建立的目标分组所对应的视频帧均选择完成，例如下一帧存在4个目标，3个与原来的相同，则归属到对应的目标分组，对于新的目标首先可以校验其的目标标识是否符合递增方式，若是，则建立新的目标分组，若否，则说明丢掉了一部分标注的结果。在其他实施例中，还可以是在一段视频处理完成后，再统一校验目标标识是否按照递增方式获取到，即是否存在遗漏，若否则输出读取错误的提示。

上述实施例中，借助目标标识生成的方式来校验标注结果读取的准确性，从而保证读取数据的正确，进而保证后续标注质量衡量的正确性。

应该理解的是，虽然图1、图3和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种目标标注质量检验装置，包括：读取模块100、查询模块200、提取模块300、参考标注结果生成模块400和检测模块500，其中：

读取模块100，用于读取标注完成的视频帧；

查询模块200，用于查询视频帧得到包含同一目标的多帧图像，多帧图像中包括同一目标的实际标注结果，且多帧图像是按照时间顺序依次排列的；

提取模块300，用于根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像；

参考标注结果生成模块400，用于根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图像中目标的参考标注结果；

检测模块500，用于根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量。

在其中一个实施例中，在前帧图像和在后帧图像均包括至少一帧；上述参考标注结果生成模块400包括：

检测对生成单元，用于分别提取在前帧图像中的至少一帧和在后帧图像中的至少一帧组成多组检测对；

结果获取单元，用于分别获取每一组检测对中的在前帧图像中的每一帧的目标的实际标注结果以及在后帧图像中的每一帧的目标的实际标注结果；

距离获取单元，用于根据时间顺序分别获取每一组检测对中的在前帧图像中的每一帧至当前帧图像的第一距离，以及在后帧图像中的每一帧至当前帧图像的第二距离；

权重计算单元，用于根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重；

初始标注结果计算单元，用于根据权重以及每一组检测对中的每一帧的目标的实际标注结果，计算当前帧图像中目标的初始标注结果；

融合单元，用于对初始标注结果进行融合得到当前帧图像中目标的参考标注结果。

在其中一个实施例中，权重计算单元包括：

总份数计算子单元，用于根据第一距离和第二距离计算得到总份数；

权重计算子单元，用于分别根据在前帧图像中的每一帧至当前帧图像的第一距离与总份数，计算得到在前帧图像中的每一帧对应的权重；分别根据在后帧图像中的每一帧至当前帧图像的第二距离与总份数，计算得到在后帧图像中的每一帧对应的权重。

在其中一个实施例中，上述的检验模块包括：

交并比计算单元，用于计算参考标注结果和实际标注结果的交并比；

检验单元，用于根据交并比的大小衡量当前帧图像中目标的实际标注结果的标注质量。

在其中一个实施例中，上述的目标标注质量检验装置还可以包括：

属性信息获取模块，用于获取在前帧图像和在后帧图像中的目标的属性信息；

上述检验模块还用于根据属性信息检验当前帧图像中目标的属性信息的标注质量。

在其中一个实施例中，查询模块200包括：

目标标识提取单元，用于按照视频帧的时间顺序依次读取视频帧，并提取视频帧中标注完成的目标的目标标识；

关联存储单元，用于按照目标标识的排序规则对目标标识进行存储，并将包含同一目标标识对应的目标的视频帧与所存储的目标标识进行关联；

校验单元，用于根据目标标识的排序规则，校验所存储的目标标识是否完整；当所存储的目标标识完整，则继续根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像，否则输出读取错误的提示。

在其中一个实施例中，目标标识是根据递增生成方式生成的；目标标注质量检验装置还可以包括：包括：

接收模块，用于接收输入的新目标确认指令；

递增模块，用于根据新目标确认指令获取到历史目标标识的最大值，并递增最大值；

关联关系建立模块，用于建立新目标对应的标注框与递增后的最大值的关联关系。

关于目标标注质量检验装置的具体限定可以参见上文中对于目标标注质量检验方法的限定，在此不再赘述。上述目标标注质量检验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标标注质量检验方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：读取标注完成的视频帧；查询视频帧得到包含同一目标的多帧图像，多帧图像中包括同一目标的实际标注结果，且多帧图像是按照时间顺序依次排列的；根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像；根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图目标的参考标注结果；根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量。

在一个实施例中，处理器执行计算机程序时所涉及的在前帧图像和在后帧图像均包括至少一帧；处理器执行计算机程序时所实现的根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图像中目标的参考标注结果，包括：分别提取在前帧图像中的至少一帧和在后帧图像中的至少一帧组成多组检测对；分别获取每一组检测对中的在前帧图像中的每一帧的目标的实际标注结果以及在后帧图像中的每一帧的目标的实际标注结果；根据时间顺序分别获取每一组检测对中的在前帧图像中的每一帧至当前帧图像的第一距离，以及在后帧图像中的每一帧至当前帧图像的第二距离；根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重；根据权重以及每一组检测对中的每一帧的目标的实际标注结果，计算当前帧图像中目标的初始标注结果；对初始标注结果进行融合得到当前帧图像中目标的参考标注结果。

在一个实施例中，处理器执行计算机程序时所实现的根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重，包括：根据第一距离和第二距离计算得到总份数；分别根据在前帧图像中的每一帧至当前帧图像的第一距离与总份数，计算得到在前帧图像中的每一帧对应的权重；分别根据在后帧图像中的每一帧至当前帧图像的第二距离与总份数，计算得到在后帧图像中的每一帧对应的权重。

在一个实施例中，处理器执行计算机程序时所实现的根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量，包括：计算参考标注结果和实际标注结果的交并比；根据交并比的大小衡量当前帧图像中目标的实际标注结果的标注质量。

在一个实施例中，处理器执行计算机程序时实现以下步骤：获取在前帧图像和在后帧图像中的目标的属性信息；根据属性信息检验当前帧图像中目标的属性信息的标注质量。

在一个实施例中，处理器执行计算机程序时所实现的查询视频帧得到包含同一目标的多帧图像，包括：按照视频帧的时间顺序依次读取视频帧，并提取视频帧中标注完成的目标的目标标识；按照目标标识的排序规则对目标标识进行存储，并将包含同一目标标识对应的目标的视频帧与所存储的目标标识进行关联；根据目标标识的排序规则，校验所存储的目标标识是否完整；当所存储的目标标识完整，则继续根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像，否则输出读取错误的提示。

在一个实施例中，处理器执行计算机程序时所涉及的目标标识是根据递增生成方式生成的，处理器执行计算机程序时所实现的目标标识的递增生成方式包括：接收输入的新目标确认指令；根据新目标确认指令获取到历史目标标识的最大值，并递增最大值；建立新目标对应的标注框与递增后的最大值的关联关系。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：读取标注完成的视频帧；查询视频帧得到包含同一目标的多帧图像，多帧图像中包括同一目标的实际标注结果，且多帧图像是按照时间顺序依次排列的；根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像；根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图目标的参考标注结果；根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量。

在一个实施例中，计算机程序被处理器执行时所涉及的在前帧图像和在后帧图像均包括至少一帧；计算机程序被处理器执行时所实现的根据在前帧图像中的目标的实际标注结果以及在后帧图像中的目标的实际标注结果，计算当前帧图像中目标的参考标注结果，包括：分别提取在前帧图像中的至少一帧和在后帧图像中的至少一帧组成多组检测对；分别获取每一组检测对中的在前帧图像中的每一帧的目标的实际标注结果以及在后帧图像中的每一帧的目标的实际标注结果；根据时间顺序分别获取每一组检测对中的在前帧图像中的每一帧至当前帧图像的第一距离，以及在后帧图像中的每一帧至当前帧图像的第二距离；根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重；根据权重以及每一组检测对中的每一帧的目标的实际标注结果，计算当前帧图像中目标的初始标注结果；对初始标注结果进行融合得到当前帧图像中目标的参考标注结果。

在一个实施例中，计算机程序被处理器执行时所实现的根据第一距离和第二距离计算得到每一组检测对中的每一帧的权重，包括：根据第一距离和第二距离计算得到总份数；分别根据在前帧图像中的每一帧至当前帧图像的第一距离与总份数，计算得到在前帧图像中的每一帧对应的权重；分别根据在后帧图像中的每一帧至当前帧图像的第二距离与总份数，计算得到在后帧图像中的每一帧对应的权重。

在一个实施例中，计算机程序被处理器执行时所实现的根据参考标注结果，检验当前帧图像中目标的实际标注结果的标注质量，包括：计算参考标注结果和实际标注结果的交并比；根据交并比的大小衡量当前帧图像中目标的实际标注结果的标注质量。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取在前帧图像和在后帧图像中的目标的属性信息；根据属性信息检验当前帧图像中目标的属性信息的标注质量。

在一个实施例中，计算机程序被处理器执行时所实现的查询视频帧得到包含同一目标的多帧图像，包括：按照视频帧的时间顺序依次读取视频帧，并提取视频帧中标注完成的目标的目标标识；按照目标标识的排序规则对目标标识进行存储，并将包含同一目标标识对应的目标的视频帧与所存储的目标标识进行关联；根据目标标识的排序规则，校验所存储的目标标识是否完整；当所存储的目标标识完整，则继续根据时间顺序从所查询到的多帧图像中，提取当前帧图像对应的在前帧图像和在后帧图像，否则输出读取错误的提示。

在一个实施例中，计算机程序被处理器执行时所涉及的目标标识是根据递增生成方式生成的，计算机程序被处理器执行时所实现的目标标识的递增生成方式包括：接收输入的新目标确认指令；根据新目标确认指令获取到历史目标标识的最大值，并递增最大值；建立新目标对应的标注框与递增后的最大值的关联关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。