一种足球比赛的自动解说装置及方法

摘要

本发明涉及一种足球比赛的自动解说装置及方法，属于机器学习技术领域。本方法首先构建包含球员和球队基本信息以及近期新闻的球员球队数据库；然后利用视频事件检测技术及视频追踪技术得到足球比赛中事件类别、事件对应球员、事件发生位置、事件发生时间等当前赛况信息；之后依据比赛态势，选择性地输出球员球队介绍、球员球队新闻摘要、比赛事件解说、结束词等不同类别的足球解说词，其中，比赛事件解说由文本生成技术根据赛况信息生成；最后使用语音合成技术将解说词文本转会为对应音频。本方法通过自然语言处理、计算机视觉、语音合成等技术，实现了足球比赛的自动解说，节省了对解说员所投入的人力成本，使球迷欣赏到更多伴有解说的比赛。

说明书

技术领域

本发明涉及体育赛事解说领域，特别涉及一种足球比赛的自动解说装置及方法，属于机器学习技术领域。

技术背景

足球作为世界第一运动吸引着万千球迷。球迷在观看球赛的同时，往往需要专业的解说来提高其观看体验。然而由于人力成本的开销以及优秀解说员的匮乏，因此在一些低级别联赛，往往只有视频源而没有解说员，这极大降低了球迷的观看乐趣。

但随着深度学习的兴起，视频分析、文本生成、语音合成技术实现了长足的进步，为足球比赛自动解说系统的实现创造了条件。足球比赛自动解说系统可对赛场实况及球员球队背景信息、近况新闻进行实时解说，与真实解说十分相似，从而很好地解决了解说员数量少，人力开销大的问题，使得观众在更多比赛中享受到专业的解说。

发明内容

本发明的目的是为了解决如何利用机器学习实现足球比赛自动解说的技术问题，创造性地提出一种足球比赛自动解说的装置及方法。首先构建包含球员和球队基本信息以及近期新闻的球员球队数据库。然后利用视频事件检测技术及视频追踪技术得到足球比赛中足球事件、事件对应球员、事件发生位置、事件发生时间等当前赛况信息。之后依据比赛态势，选择性地输出球员球队介绍、球员球队新闻摘要、比赛事件解说、结束词等不同类别的足球解说词，其中，比赛事件解说由文本生成技术根据赛况信息生成。最后使用语音合成技术将解说词文本转会为对应音频。

具体的，本发明采用的技术方案如下：

一种足球比赛的自动解说方法，包括步骤：

S10建立所述足球比赛的球员球队数据库，构建球员球队文本信息获取系统；

S20依据足球比赛的视频信息，完成比赛事件识别及球员匹配，构建视频信息获取系统；所述事件包括：传球、带球、射门、进球、角球、任意球、点球、界外球、球门球、抢断、解围、扑救、出边线、出底线、犯规、红牌、黄牌；

S30根据比赛事件及相关信息，生成解说文本，构建解说词生成系统；所述解说文本包括球员球队介绍、球员球队新闻摘要文本、比赛事件解说文本、结束词；

S40用语音合成模型将所述输出的解说文本生成解说音频，构建语音合成系统。

进一步，所述球员球队数据库包括：

球员和球队的结构化信息，包含球员基本信息、球员历史信息、球队基本信息和球队历史信息；其中，球员基本信息为：姓名、年龄、身高、体重、司职位置、球衣号码；球员历史信息为：效力球队、起止时间、转会费、历史每场比赛中进球数、助攻数、上场时间，所获荣誉；球队基本信息为：队名、球队所在城市、主场名称；球队历史信息为：历史每场比赛的对手球队及比分、历史每个赛季的联赛名称及排名、球队所获荣誉；

球员和/或球队新闻的文本类别：以一段时期D内球员和/或球队的新闻及对应浏览量为输入，依据已训练好的文本分类模型，如Bert模型，输出所述球员和/或球队的文本类别；其中，所述文本分类模型是根据搜集的M条足球新闻作为文本分类模型的数据集，将所述足球新闻分为赛后报道、赛事前瞻、球员伤病、转会新闻和其他新闻五类，并训练模型至模型收敛后得到的，保存收敛后的文本分类模型参数；

球员和/或球队新闻的文本摘要及其归类：以一段时期D内球员和/或球队的新闻及对应浏览量为输入，依据已训练好的文本摘要生成模型，如GPT2模型，输出球员和/或球队的文本摘要，并依据所述文本类别对球员和/或球队的文本摘要归类；其中，所述文本摘要生成模型是根据搜集的N条足球新闻作为文本摘要生成模型的数据集，将所述足球新闻对应的文本摘要作为模型的输出，训练模型至模型收敛后得到的，保存收敛后的文本摘要生成模型参数。

进一步，所述比赛事件识别及球员匹配包括：

S201收集若干足球比赛视频，将其切分为若干包含单个比赛事件的短视频并标注事件类别，组成足球比赛事件数据集；

S202构建事件检测模型，使用视频事场景识别算法，如NetVLAD算法，和背景消除算法在所述足球事件数据集上训练，模型收敛后保存模型参数；

S203构建足球比赛事件状态机，设定一定时长t为检测窗口时长，输入比赛视频，结合状态机的转移概率和所述事件检测模型的事件识别概率，得到当前检测窗口输出的比赛事件类别，同时记录检测窗口的时刻信息；所述状态机的转移概率如表1所示，表中每个数值表示所在列对应事件转移到所在行对应事件的概率；

S204使用视频检测模型，如YOLO4模型，和背景消除算法来检测足球的轨迹，得到足球位置和时刻信息；使用视频追踪算法，如deepsort算法，检测球员轨迹，得到的球员位置信息和时刻信息；

S205按照S203得到的比赛事件类别和时刻信息，以及S204得到的球员位置信息和时刻信息、足球位置和时刻信息，将当前时刻的比赛事件与事件发生的球员相匹配；得到事件类别、事件对应球员、事件发生位置、事件发生时间组成的当前赛况信息。

表1事件状态转移概率表

进一步，所述解说词生成系统根据所述比赛事件类别、所述事件发生位置及时刻信息判断比赛状态，所述比赛状态包括开场、完场、紧张、缓和。若比赛状态为开场，则输出球员球队文本信息获取系统中所述数据库中的球员球队介绍；若比赛状态为完场，则输出由两支球队名、比赛比分组成的结束词；若比赛状态判断为紧张，则依据预先训练好的足球解说文本生成模型，如LSTM模型，将所述事件类别、事件对应球员、事件发生位置组成的三元组输入所述文本生成模型，输出比赛事件的解说文本；若比赛状态判断为缓和，则输出球员球队文本信息获取系统中所述数据库中的球员球队新闻摘要文本。

再进一步，所述足球解说文本生成模型的产生方法为：依据收集并整理得到若干条足球比赛解说文本作为所述足球解说文本生成模型的数据集，训练所述足球解说文本生成模型，将输入的事件类别、事件对应球员、事件发生位置组成的三元组映射为解说文本，模型收敛后保存模型参数。

进一步，所述语音合成系统利用已训练好的语音合成模型，如Tacotron2模型，将所述比赛事件解说文本、或球员球队介绍、或球员球队新闻摘要文本、或结束词转换为对应音频并输出。

同时，本发明还公开了一种足球比赛的自动解说装置，包括：

球员球队文本信息获取系统，用于建立足球比赛的球员球队数据库；

视频信息获取系统，依据足球比赛的视频信息，完成比赛事件识别及球员匹配；所述事件包括：传球、带球、射门、进球、角球、任意球、点球、界外球、球门球、抢断、解围、扑救、出边线、出底线、犯规、红牌、黄牌；

解说词生成系统，用于根据比赛事件及相关信息，生成解说文本；所述解说文本包括球员球队介绍、球员球队新闻摘要文本、比赛事件解说文本、结束词；

语音合成系统，用语音合成模型将所述输出的解说文本生成解说音频。

进一步，所述自动解说装置执行前述方法中的步骤。特别的，所述视频信息获取系统包括比赛事件识别模块、球员轨迹追踪模块及足球轨迹追踪模块；所述比赛事件识别模块执行前述S202和S203的步骤，所述球员轨迹追踪模块及足球轨迹追踪模块执行前述S204步骤。

附图说明

图1为足球比赛自动解说方法流程示意图。

图2为足球比赛自动解说装置示意图。

图3为比赛状态判决图。

具体实施方式

下面结合附图和实施例，对本发明做进一步说明和详细描述。

如图1所示是本发明方法实施例的流程示意图，图2为足球比赛自动解说装置示意图，图3为比赛状态判决图。其中，足球比赛自动解说方法的具体步骤为：

步骤1：构建球员球队文本信息获取系统，建立球员球队数据库。包括以下步骤：

步骤1.1：运用爬虫技术，搜集球员和球队的结构化信息，经数据清洗，整理后存入数据库。包括球员基本信息：姓名、年龄、身高、体重、司职位置、球衣号码等；球员历史信息：效力球队、起止时间、转会费等，历史每场比赛中进球数、助攻数、上场时间等，球员所获荣誉；球队基本信息：队名、球队所在城市、主场名称等；球队历史信息：历史每场比赛的对手球队及比分、历史每个赛季的联赛名称及排名、球队所获荣誉。

步骤1.2：搜集大量足球新闻作为文本分类模型及文本摘要生成模型的数据集。对获取的新闻文本进行数据清洗，包括去除与新闻内容无关信息(如新闻作者、特殊字符等)。

步骤1.3：构建文本分类模型(如Bert)，将步骤1.2得到的球员和球队新闻分为赛后报道、赛事前瞻、球员伤病、转会新闻和其他新闻五类，并对模型进行训练。模型收敛后保存参数。在训练时引入了L2正则化以及dropout方法以减轻模型过拟合。此外，为减小冗余信息，仅将新闻前128个字符、新闻后382个字符输入模型。

步骤1.4：构建文本摘要生成模型(如GPT2)，将步骤1.2得到的足球新闻及对应文本摘要作为模型的输入和输出，对模型进行训练。模型收敛后保存参数。在训练时引入了L2正则化以及dropout方法以减轻模型过拟合。此外，为保证摘要不会过长，模型的输出限制在45个字符以内。

步骤1.5：根据球员名和球队名搜集对应球员和球队的近期(一周内)新闻及对应浏览量。

步骤1.6：将步骤1.5得到的球员或球队新闻做数据清洗后，输入步骤1.3训练好的文本分类模型，输出其文本类别。

步骤1.7：将步骤1.5得到的球员或球队新闻做数据清洗后，输入步骤1.4训练好的文本摘要生成模型，输出其文本摘要，并根据步骤1.6得到的文本类别对其归类。并根据新闻浏览量进行排序，对每个球员或球队在每个类别下选择排序靠前的5条文本摘要存入数据库。

步骤1.8：每天定时执行步骤1.5至步骤1.7，从而保证数据库中所存储的球员或球队文本摘要始终为一周内新闻。

步骤2：构建视频信息获取系统，完成比赛事件识别及球员匹配。包括以下步骤：

步骤2.1：定义足球比赛中的事件，收集若干足球比赛视频，将其切分为若干包含单个事件的短视频并标注事件类别，组成足球比赛事件数据集。事件包括：传球、带球、射门、进球、角球、任意球、点球、界外球、球门球、抢断、解围、扑救、出边线、出底线、犯规、红牌、黄牌。

步骤2.2：先利用注意力机制获得视频片段中的关键帧，使用视频事场景识别算法(如NetVLAD)在步骤2.1建立的足球事件数据集上训练，模型收敛后保存模型参数。在训练时引入了L2正则化以及dropout方法以减轻模型过拟合。

步骤2.3：构建足球比赛事件状态机，设定10s为检测窗口时长，结合状态机的转移概率和事件检测模型的事件识别概率，得到当前检测窗口输出的比赛事件，同时记录检测窗口的时刻信息。足球比赛事件状态机中各事件间的转移概率如表1所示，每个数值表示所在列对应事件转移到所在行对应事件的概率。

步骤2.4：使用视频检测模型(如YOLO4)和背景消除算法来追踪足球的轨迹，采用并联的追踪器追踪球的轨迹。使用多目标追踪算法(如deepsort)检测球员轨迹，具体实现时先使用视频检测算法将球员标定在一个矩形框内，再利用训练好的特征提取器(如CNN)提取矩形框内特征，为追踪算法提供进一步的特征匹配，提高追踪的鲁棒性。

步骤2.5：按照步骤2.3和2.4得到的比赛事件类别、球员位置信息和时刻信息、足球位置和时刻信息，将当前时刻的比赛事件与事件发生的球员相匹配。得到事件类别、时间对应球员、事件发生位置、事件发生时间四维度信息。事件发生位置定义为后场(以进攻方向为基准，球场后1/3)，中场(以进攻方向为基准，球场后1/3到2/3)，前场(以进攻方向为基准，球场前1/3且非禁区内)，禁区内四种区域。

步骤3：构建解说词生成系统，输出解说文本。包括以下步骤：

步骤3.1：根据步骤2.5所得到的事件发生位置及时刻信息对比赛状态进行判断。具体判决流程如图3所示，首先根据时刻将比赛划分为开场前5分钟，开场5分钟到完场，以及完场三个时间段。后再根据比赛中事件发生的位置输出“开场”、“完场”、“紧张”、“缓和”四类比赛状态。同时要注意，当比赛事件段为“开场5分钟到完场”，事件发生位置为“后场”或“中场”时，需依概率随机输出“缓和”或“紧张”两种状态。

步骤3.2：收集并整理得到19216条足球比赛解说文本，将其作为足球解说文本生成模型的数据集。

步骤3.3：训练足球解说文本生成模型(如LSTM)，将输入的事件类别、事件对应球员、事件发生位置组成的三元组映射为解说文本。为保证生成文本不会过长，模型的输出限制在30个字符以内。

步骤3.4：若步骤3.1输出的比赛状态为“紧张”，则将步骤2.5得到的事件类别、时间对应球员、事件发生位置组成的三元组输入步骤3.3训练好的文本生成模型，输出比赛事件的解说文本。

步骤3.5：若步骤3.1输出的比赛状态为“缓和”，则输出步骤1.7得到的球员球队新闻摘要文本；若为“开场”，则输出步骤1.1得到的球员球队介绍；若为“完场”，则输出由两支球队名，比赛比分组成的结束词(如：“比赛结束，广州恒大以1比1战平北京国安”)。

步骤4：构建语音合成系统，生成解说音频。利用已训练好的语音合成模型(如Tacotron2)，将步骤3.4中生成的比赛事件解说文本或步骤3.5中得到的球员(球队)介绍或新闻摘要文本转换为对应音频并输出。