一种体育赛事转播权益广告统计分析方法及系统

摘要

本发明公开了一种体育赛事转播权益广告统计分析方法及系统，基于图像识别，解决人工统计工作量巨大、时间成本高的问题，将以往需要在赛事结束一周以上的时间缩短未最快比赛结束3小时内即可得到统计结果，使得电视台根据前次转播的权益广告统计结果进行机位和转播策略调整以优化权益广告的展示效果成为可能。

说明书

技术领域

本发明涉及信息处理技术领域，具体涉及一种体育赛事转播权益广告统计分析方法及系统。

背景技术

传统体育赛事转播的权益广告展示信息统计需在比赛比赛结束后，人工对视频进行逐秒统计，工作量巨大、时间成本高，通常需要一周以上才能得到统计结果，统计结果时效性差，无法应用于比赛日程内的转播机位调整策略。因此，急需一种基于人工智能图像识别的技术，可以在比赛日程内快速得到权益广告的展示统计信息，从而帮助电视台根据调整转播机位的设置，增加权益广告的展示机会，提升广告权益价值。

发明内容

为此，本发明提供一种体育赛事转播权益广告统计分析方法及系统，以解决现有体育赛事转播的权益广告展示信息统计存在的人工统计工作量大、时间成本高、时效性差等问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出了一种体育赛事转播权益广告统计分析方法，所述方法包括：

获取比赛转播视频并抽帧，通过对得到的图片中出现的权益广告及其广告类别进行标注，得到权益广告目标检测数据集，并根据图片中权益广告有效信息出现的占比对广告完整度的分类进行标注，得到权益广告完整度分类数据集，并分别构建训练集和测试集；

使用对应训练集分别对权益广告目标检测模型和广告完整度分类模型进行训练，并使用对应测试集对模型进行测试；

使用得到的权益广告目标检测模型对比赛视频的抽帧图像逐帧进行检测输出权益广告目标检测结果，并将结果满足要求的图片输入到广告完整度分类模型中输出广告完整度分类结果；

根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示。

进一步地，所述广告完整度的分类包括完整、不完整和无效，如果图片中权益广告的有效信息出现的占比≥第一预设阈值，则标记为完整，如果权益广告的有效信息出现的占比＜第一预设阈值，且≥第二预设阈值，则标记为不完整，如果权益广告的有效信息出现的占比＜第二预设阈值，则标记为无效。

进一步地，所述权益广告目标检测结果包括检测到的对象的矩形框坐标和预测概率。

进一步地，所述方法还包括：

若得到的权益广告目标检测结果中预测概率超过预设检测结果置信度阈值，则认为是可信结果，若低于预设检测结果置信度阈值，则认为是不可信结果；

获取连续多帧检测到的对象均为同一对象且检测结果均为可信结果的图片输入至广告完整度分类模型中得到广告完整度分类结果。

进一步地，所述方法还包括：

对于图像中的同一种权益广告的两个目标检测结果矩形框A和B计算交并比IoU，如果A和B的IoU≥设定阈值，则认为A和B是同一个对象；如果A和B的IoU＜设定阈值，则认为A和B是不同的对象。

进一步地，根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示，具体包括：

在设定时长的视频片段内，对于某一种权益广告，如果完整出现的帧数＞有效广告阈值，则这一秒的该权益广告标记为有效权，如果完整出现的帧数≤有效广告阈值，而不完整出现的帧数＞有效广告阈值，则这一秒的该权益广告标记为无效权益，如果完整出现和不完整出现的帧数都≤有效广告阈值，则这一秒的该权益广告标记为无权益。

进一步地，根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示，具体还包括：

在设定时长的视频片段内，如果有某一种权益广告被标记为有效权益，则该视频片段是有有效权益的；如果没有任何一种权益广告被标记为有效权益，但有某一种权益广告被标记为无效权益，则该视频片段是有无效权益的；如果所有种类的权益广告都被标记为无效，则该视频片段是无效的。

进一步地，根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示，具体还包括：

计算权益广告有效/无效数字化播出率；

其中，视频总时长的秒数为S_vid，有效权益的秒数为S_valid，无效权益的秒数为S_invalid，无权益的秒数为S_none；

统计每一种权益广告有效/无效数字化播出率，并绘制播出率统计图。

根据本发明实施例的第二方面，提出了一种体育赛事转播权益广告统计分析系统，所述系统包括：

数据集构建模块，用于获取比赛转播视频并抽帧，通过对得到的图片中出现的权益广告及其广告类别进行标注，得到权益广告目标检测数据集，并根据图片中权益广告有效信息出现的占比对广告完整度的分类进行标注，得到权益广告完整度分类数据集，并分别构建训练集和测试集；

模型训练模块，用于使用对应训练集分别对权益广告目标检测模型和广告完整度分类模型进行训练，并使用对应测试集对模型进行测试；

模型处理模块，用于使用得到的权益广告目标检测模型对比赛视频的抽帧图像逐帧进行检测输出权益广告目标检测结果，并将结果满足要求的图片输入到广告完整度分类模型中输出广告完整度分类结果；

统计分析模块，用于根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示。

本发明具有如下优点：

本发明提出的一种体育赛事转播权益广告统计分析方法及系统，基于图像识别，解决人工统计工作量巨大、时间成本高的问题，将以往需要在赛事结束一周以上的时间缩短未最快比赛结束3小时内即可得到统计结果，使得电视台根据前次转播的权益广告统计结果进行机位和转播策略调整以优化权益广告的展示效果成为可能。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例1提供的一种体育赛事转播权益广告统计分析方法的流程示意图；

图2为本发明实施例1提供的一种体育赛事转播权益广告统计分析方法中检测结果后处理流程示意图；

图3为本发明实施例1提供的一种体育赛事转播权益广告统计分析方法中播出率统计结果示意图；

图4为本发明实施例1提供的一种体育赛事转播权益广告统计分析方法中每种权益广告播出率统计图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提出了一种体育赛事转播权益广告统计分析方法，该方法包括以下步骤：

S100、获取比赛转播视频并抽帧，通过对得到的图片中出现的权益广告及其广告类别进行标注，得到权益广告目标检测数据集，并根据图片中权益广告有效信息出现的占比对广告完整度的分类进行标注，得到权益广告完整度分类数据集，并分别构建训练集和测试集。

通过制定一系列数据标注规范，执行一次数据标注。在一轮赛事的多场比赛中，比赛场地和权益广告是固定的。因此对一轮赛事只需根据第一场比赛的直播视频数据执行一次标注，获得标注数据。

S200、使用对应训练集分别对权益广告目标检测模型和广告完整度分类模型进行训练，并使用对应测试集对模型进行测试。

使用上述标注数据，基于深度学习算法训练权益广告目标检测模型和广告完整度模型，训练完成后保存模型文件。对每一场比赛的视频应用训练好的目标检测算法模型进行预测，得到权益广告位的检测位置。

S300、使用得到的权益广告目标检测模型对比赛视频的抽帧图像逐帧进行检测输出权益广告目标检测结果，并将结果满足要求的图片输入到广告完整度分类模型中输出广告完整度分类结果。

检测结果后处理：设定检测结果置信度阈值conf_thres(0～1之间的任意实数)，检测结果的预测概率小于conf_thres的，认为是不可信的检测，直接丢弃。对于剩下的可信检测结果，利用多目标最终算法，保留连续三帧(包含)以上都是可信检测的对象。连续出现帧数小于三帧的检测结果认为是随机误检测结果。将上述处理后的检测结果，应用广告完整度模型进行完整度分类预测，输出类别为完整、不完整、无效三种类别。最后输出每一帧图像的算法结果，对每一种权益广告分为完整、不完整、无效三种情况。

S400、根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示。

结果统计与可视化展示：设视频的1秒有S帧图像，设定有效广告阈值valid_thres(1～S之间的任意整数)。在一秒比赛视频的S帧图像中，对于一种权益广告，如果完整出现的帧数大于valid_thres，则对这一秒的该权益广告标记为有效权益；如果完成出现的帧数小于等于valid_thres，而不完整出现的帧数大于valid_thres，则对这一秒的该权益广告标记为无效权益；如果完整出现和不完整出现的帧数都小于等于valid_thres，则对这一秒的该权益广告标记为无权益。根据以上计算方式，可以计算一场比赛视频中，每一种权益广告每一秒是否为有效权益、无效权益或无权益，从而可以得到权益广告的统计结果并进行可视化展示。

具体实施过程如下：

1.制定标注规范，基于第一次比赛的视频执行数据标注。

在一轮赛事的多场比赛中，比赛场地和权益广告是固定的。因此对一轮赛事只需根据第一场比赛的直播视频数据执行一次标注，获得标注数据。根据以下步骤指定标注规范并进行数据标注。

(1-1)在比赛开始前、场馆布置完成后，从主办方获取赞助商权益广告的种类及其示例图片，设定完整广告有效信息占比的阈值odd1、不完整广告有效信息占比的阈值odd2，其中odd1大于odd2。

(1-2)制定权益广告目标检测的数据标注规范，对于一张图片中，每一个出现的权益广告都在图片上标注矩形框，并标注权益广告的类别。将标注好的数据集按照一定比例划分为训练集和测试集，这一比例可以是9:1或8:2或其他任一比例值。

(1-3)制定广告完整度分类的数据标注规范，对于一张权益广告的图片，如果权益广告的有效信息出现的占比大于等于odd1，则标记为完整；如果权益广告的有效信息出现的占比小于odd1且大于等于odd2，则标记为不完整；如果权益广告的有效信息出现的占比小于odd2，则标记为无效。

(1-4)第一场比赛开始后，录制转播视频，并对视频进行抽帧，每一秒的视频抽取1帧图像(每一秒抽帧的数量也可以是2帧、3帧或其他任意整数帧)。

(1-5)获取步骤(1-4)保存的图片后，根据(1-2)和(1-3)的规范进行数据标注，得到权益广告目标检测数据集和权益广告完整度分类数据集。

2.训练模型，应用模型进行预测得到检测结果

(2-1)获取(1-5)得到的权益广告目标检测数据集，选择基于深度学习的目标检测算法，如YoloV5或Faster-RCNN等任意深度学习目标检测算法均可。

(2-2)使用训练集进行模型训练，使用测试集测试模型的准确率，选择在测试集上准确率最高的模型作为最终的权益广告检测模型。

(2-3)对每一场比赛，在比赛后得到比赛视频，对比赛视频的每一帧图像应用(2-2)的权益广告检测模型检测权益广告，得到每一帧图像每一类权益广告的检测结果：检测到的对象的矩形框坐标和预测概率。

(2-4)获得(1-5)得到的权益广告完整度分类数据集，选择任意一种分类算法，使用训练集训练广告完整度分类模型。使用测试集测试模型的准确度，选择在测试集上准确度最高的模型。

3.权益广告目标检测结果后处理以及广告完整度分类

获取步骤(2-3)得到的一场比赛每一帧图像的权益广告目标检测结果后，如图2所示，按照以下步骤进行后处理。

(3-1)设定检测结果置信度阈值conf_thres(0～1之间的任意实数)，检测结果的预测概率小于conf_thres的，认为是不可信的检测；检测结果的预测概率大于等于conf_thres的，认为是可信的检测。

(3-2)设定IoU的阈值为iou_thres，IoU的定义如下：

IoU全称为交并比(IntersectionoverUnion)，对于图像中的同一种权益广告的两个目标检测结果矩形框A和B，

如果A和B的IoU大于等于iou_thres，则认为A和B是同一个对象；如果A和B的IoU小于iou_thres，则认为A和B是不同的对象。

(3-3)获取视频下一帧的目标检测结果，对每一个检测结果判断预测概率是否大于置信度阈值conf_thres。丢弃预测概率小于conf_thres的不可信检测，对于剩下的可信检测，进入(3-4)步骤。

(3-4)判断当前帧是否为视频的第一帧。

如果是第一帧，对每一个检测结果保留为新建对象，并标记为O(i)-C(j)-F(1)-N(1)，其中O(i)表示第i个(i＝1,2,3...)对象，C(j)表示第j类(j＝1,2,3...)权益广告，F(k)表示第k帧(k＝1,2,3...)出现，N(n)表示该对象出现了n次(n＝1,2,3...)。返回(3-3)步骤。

如果不是第一帧，设当前帧为第k帧，则将当前所有检测结果与F(k-1)的同一种权益广告类别的所有对象分别计算检测结果与对象间的IoU，进入(3-5)步骤。

(3-5)判断所有检测结果与对象间的IoU是否大于等于iou_thres，如果IoU大于等于iou_thres，则认为检测结果与前一帧的对象匹配，否则认为不匹配。将能匹配的对象F和N的计数都增加1，检测结果移除。对于不能匹配的情况，对象不进行任何操作，检测结果新建为对象O(i)-C(j)-F(k)-N(1)。

(3-6)判断当前帧是否是视频的最后一帧。如果不是最后一帧，则返回(3-3)步骤。如果是最后一帧，则输出N计数大于等于3的检测对象，进行(3-7)步骤。

(3-7)对每一个检测对象，应用(2-4)得到的权益广告完整度分类模型，输出完整度分类结果，结果是完整、不完整、无效三者之一。

4.权益广告的结果统计与可视化展示

获取(3-7)输出的经过后处理的权益广告检测结果和完整度分类结果，根据以下步骤获得统计结果，并进行可视化展示。

(4-1)对于比赛视频的一秒S帧图像，对于某一种权益广告，如果完整出现的帧数大于valid_thres，则这一秒的该权益广告标记为有效权益；如果完成出现的帧数小于等于valid_thres，而不完整出现的帧数大于valid_thres，则这一秒的该权益广告标记为无效权益；如果完整出现和不完整出现的帧数都小于等于valid_thres，则这一秒的该权益广告标记为无权益。

(4-2)对于比赛视频的每一秒，如果有某一种权益广告被标记为有效权益，则这一秒是有有效权益的；如果没有任何一种权益广告被标记为有效权益，但有某一种权益广告被标记为无效权益，则这一秒是有无效权益的；如果所有种类的权益广告都被标记为无效，则这一秒是无效的。

(4-3)按照(4-2)的方式统计一场比赛整体的权益广告有效/无效数字化播出率。计算视频总时长的秒数S_vid，有效权益的秒数S_valid，无效权益的秒数S_invalid,无权益的秒数S_none。

统计了播出率后，可以绘制如图3的播出率统计图。

(4-4)按照(4-1)和(4-3)的方式统计每一种权益广告有效/无效数字化播出率。统计了播出率后，可以绘制如图4的播出率统计图。

(4-5)可以统计其他相关的信息并进行可视化，对于相同或相似的统计信息和可视化展示可能在某些实施例中不再赘述。

实施例2

与上述实施例1相对应的，本实施例提出了一种体育赛事转播权益广告统计分析系统，所述系统包括：

数据集构建模块，用于获取比赛转播视频并抽帧，通过对得到的图片中出现的权益广告及其广告类别进行标注，得到权益广告目标检测数据集，并根据图片中权益广告有效信息出现的占比对广告完整度的分类进行标注，得到权益广告完整度分类数据集，并分别构建训练集和测试集；

模型训练模块，用于使用对应训练集分别对权益广告目标检测模型和广告完整度分类模型进行训练，并使用对应测试集对模型进行测试；

模型处理模块，用于使用得到的权益广告目标检测模型对比赛视频的抽帧图像逐帧进行检测输出权益广告目标检测结果，并将结果满足要求的图片输入到广告完整度分类模型中输出广告完整度分类结果；

统计分析模块，用于根据得到的权益广告目标检测结果和广告完整度分类结果进行权益广告的统计分析以及可视化展示。

本发明实施例提供的一种体育赛事转播权益广告统计分析系统中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。