一种直播进行中主播跟踪方法、装置及系统

摘要

本发明实施例提供一种直播进行中主播跟踪方法、装置及系统，该方法包括：获取相机拍摄的包含主播轮廓的当前帧及前N‑1帧的图像序列；其中，当前帧作为基准帧，前N‑1帧作为比较帧；提取基准帧和比较帧中的主播轮廓；令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量；根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播。本发明实施例提供的直播进行中主播跟踪方法、装置及系统，实现了直播过程中主播的自动跟踪，提高了直播拍摄的自动化水平。

说明书

技术领域

本发明涉及自动控制技术领域，具体涉及一种直播进行中主播跟踪方法、装置及系统。

背景技术

近年来，直播在各行各业中都有广泛的发展，直播的场景也在不断增多。比如，直播业务在房地产销售上发挥着越来越重要的作用。房地产销售中一种场景是，需要固定相机，经纪人实地进行房源内部信息的全方位介绍。由于相机存在一定的视角，经纪人在介绍不同区域的时候需要来回调整相机的位置以达到全方位拍摄的效果，这样对经纪人讲解与用户的观看体验都不太友好。

发明内容

为解决现有技术中的问题，本发明实施例提供一种直播进行中主播跟踪方法、装置及系统。

第一方面，本发明实施例提供一种直播进行中主播跟踪方法，该方法包括：获取相机拍摄的包含主播轮廓的图像序列，所述图像序列包括当前帧及前N-1帧；其中，所述当前帧作为基准帧，所述前N-1帧作为比较帧；提取所述基准帧和所述比较帧中的所述主播轮廓；令所述比较帧中的所述主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后所述比较帧和所述基准帧的所述主播轮廓对应像素点的灰度值的偏差值，获取对应于所述比较帧的预估移动向量；根据所述比较帧对应的所述预估移动向量获取所述主播的移动向量，并根据所述主播的所述移动向量控制所述相机跟踪主播。

进一步地，所述根据移动后所述比较帧和所述基准帧的所述主播轮廓对应像素点的灰度值的偏差值，获取对应于所述比较帧的预估移动向量，具体包括：在所述比较帧的像素点的移动过程中，每移动预设单位移动量之后记录所述比较帧和所述基准帧的所述主播轮廓对应像素点的灰度值的偏差值，并在所述偏差值大于预设阈值时停止移动；获取所述偏差值最小时对应的所述移动方向和所述移动速率，根据所述移动速率以及像素点移动的所述预设单位移动量的个数获取移动量，根据所述移动方向和所述移动量获取所述预估移动向量。

进一步地，所述偏差值为所述比较帧和所述基准帧的对应像素点之间灰度值的最小均方误差。

进一步地，在所述令所述比较帧中的所述主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动之前，所述方法还包括：随机生成所述k个不同移动方向以及预先设定所述m个不同移动速率。

进一步地，所述根据所述比较帧对应的所述预估移动向量获取所述主播的移动向量，表示为：

其中，

进一步地，所述比较帧离所述基准帧越远，所述比较帧的所述权重越小。

进一步地，所述提取所述基准帧和所述比较帧中的所述主播轮廓，具体包括：采用语义分割技术提取所述基准帧和所述比较帧中的所述主播轮廓。

进一步地，在所述获取相机拍摄的包含主播轮廓的图像序列之后，所述获取所述基准帧和所述比较帧中的所述主播轮廓之前，所述方法还包括：将所述基准帧和所述比较帧转换为灰度图像，对所述灰度图像进行去噪及直方图均衡化处理。

进一步地，所述根据所述主播的所述移动向量控制所述相机跟踪主播，具体包括：根据所述主播的所述移动向量通过PID对承载所述相机的舵机进行转向控制以控制所述相机跟踪主播。

第二方面，本发明实施例提供一种直播进行中主播跟踪装置，该装置包括：图像序列获取模块，用于：获取相机拍摄的包含主播轮廓的图像序列，所述图像序列包括当前帧及前N-1帧；其中，所述当前帧作为基准帧，所述前N-1帧作为比较帧；主播轮廓提取模块，用于：提取所述基准帧和所述比较帧中的所述主播轮廓；预估移动向量获取模块，用于：令所述比较帧中的所述主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后所述比较帧和所述基准帧的所述主播轮廓对应像素点的灰度值的偏差值，获取对应于所述比较帧的预估移动向量；跟踪模块，用于：根据所述比较帧对应的所述预估移动向量获取所述主播的移动向量，并根据所述主播的所述移动向量控制所述相机跟踪主播。

进一步地，所述预估移动向量获取模块在用于根据移动后所述比较帧和所述基准帧的所述主播轮廓对应像素点的灰度值的偏差值，获取对应于所述比较帧的预估移动向量时，具体用于：在所述比较帧的像素点的移动过程中，每移动预设单位移动量之后记录所述比较帧和所述基准帧的所述主播轮廓对应像素点的灰度值的偏差值，并在所述偏差值大于预设阈值时停止移动；获取所述偏差值最小时对应的所述移动方向和所述移动速率，根据所述移动速率以及像素点移动的所述预设单位移动量的个数获取移动量，根据所述移动方向和所述移动量获取所述预估移动向量。

进一步地，所述偏差值为所述比较帧和所述基准帧的对应像素点之间灰度值的最小均方误差。

进一步地，在所述预估移动向量获取模块用于令所述比较帧中的所述主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动之前，还用于：随机生成所述k个不同移动方向以及预先设定所述m个不同移动速率。

进一步地，所述跟踪模块在用于根据所述比较帧对应的所述预估移动向量获取所述主播的移动向量时，，通过以下公式实现：

其中，

进一步地，所述比较帧离所述基准帧越远，所述比较帧的所述权重越小。

进一步地，所述主播轮廓提取模块在用于提取所述基准帧和所述比较帧中的所述主播轮廓时，具体用于：采用语义分割技术提取所述基准帧和所述比较帧中的所述主播轮廓。

进一步地，在所述图像序列获取模块获取相机拍摄的包含主播轮廓的图像序列之后、所述主播轮廓提取模块获取基准帧和比较帧中的主播轮廓之前，所述图像序列获取模块还用于：将所述基准帧和所述比较帧转换为灰度图像，对所述灰度图像进行去噪及直方图均衡化处理。

进一步地，所述跟踪模块在用于根据主播的移动向量控制相机跟踪主播时，具体用于：根据所述主播的所述移动向量通过PID对承载所述相机的舵机进行转向控制以控制所述相机跟踪主播。

第三方面，本发明实施例提供一种直播进行中主播跟踪系统，该系统包括：执行装置、支撑装置、固定装置、相机及直播进行中主播跟踪装置；其中，所述直播进行中主播跟踪装置分别连接所述相机和所述执行装置；所述支撑装置用于支撑所述执行装置，所述固定装置用于固定所述相机至所述执行装置，所述执行装置用于自动控制所述相机的拍摄角度以跟踪主播。

第四方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所提供的方法的步骤。

第五方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的直播进行中主播跟踪方法、装置及系统，通过以当前帧作为基准帧，以前N-1帧作为比较帧，令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量，根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播，实现了直播过程中主播的自动跟踪，提高了直播拍摄的自动化水平。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的直播进行中主播跟踪方法流程图；

图2是本发明一实施例提供的直播进行中主播跟踪装置的结构示意图；

图3是本发明一实施例提供的直播进行中主播跟踪系统的结构示意图；

图4是本发明另一实施例提供的直播进行中主播跟踪系统的结构示意图；

图5示例了一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施例提供的直播进行中主播跟踪方法流程图。如图1所示，该方法包括：

步骤101、获取相机拍摄的包含主播轮廓的图像序列，图像序列包括当前帧及前N-1帧；其中，当前帧作为基准帧，前N-1帧作为比较帧。

直播进行中，相机用于拍摄直播视频。获取相机拍摄的直播视频中包含主播轮廓的图像序列，图像序列包括当前帧及前N-1帧，其中N为大于等于2的整数。可以理解的，当前帧可以是最新拍摄的包含主播轮廓的图像帧。前N-1帧可以是按时间顺序排列的前N-1个包含主播轮廓的图像帧。由于目标是实现对于主播当前位置的跟踪，而当前帧最能反映主播当前所在位置，因此，将当前帧作为基准帧。通过前N-1帧与基准帧进行比较实现跟踪，因此，前N-1帧称为比较帧。

步骤102、提取基准帧和比较帧中的主播轮廓。

提取基准帧和比较帧中的主播轮廓以用于后续计算。主播轮廓提取的方法可以应用如语义分割法、边缘计算法等技术。

步骤103、令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量。

基于粒子群的思想，令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动；也即比较帧的像素点有m×k个移动方式。在一次移动过程中，比较帧的主播轮廓的各个像素点的移动方向和移动速率相同。像素点的移动可以理解成相对于相机拍摄的图像帧进行移动，因为图像帧是按照时间顺序拍摄的、具有一定背景的图像，各个图像帧聚合在一起便能反映时间和空间关系。比较帧的像素点以一定方向及一定速率移动时，可以体现为和不同的图像帧进行叠合(比较帧的像素点在某一时刻全部贴合到某个图像帧上，或部分贴合到某个图像帧上)、分离(随着移动过程离开图像帧)或绕过(像素点移动过程中不通过某个图像帧)的过程。主播轮廓的像素点的灰度值受到周围环境的影响，而比较帧的像素点的灰度值在移动过程中会受到所经过的图像帧的影响。因此，如果比较帧主播轮廓的像素点和基准帧主播轮廓的像素点越接近，则二者的像素点的灰度值的相似度越高。而这种接近程度则受到移动速率和移动方向的影响。因此，比较帧移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值可以反映比较帧和基准帧的接近程度，根据和基准帧的像素点的灰度值最为接近的比较帧的移动方向和移动速率可以得到相应比较帧对应的预估移动向量，即这个比较帧所判断的主播的可能的移动向量。因此，本发明实施例中，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量。

步骤104、根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播。

比较帧可以得到自身判断获得的预估移动向量，综合比较帧的预估移动向量可以得到主播的移动向量，这样移动向量也是经过分析得到的主播的移动向量的估计值，也即估计出主播的移动方向和移动距离。从而可以根据主播的移动向量控制相机自动跟踪主播。

本发明实施例通过以当前帧作为基准帧，以前N-1帧作为比较帧，令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量，根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播，实现了直播过程中主播的自动跟踪，提高了直播拍摄的自动化水平。

进一步地，基于上述实施例，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量，具体包括：在比较帧的像素点的移动过程中，每移动预设单位移动量之后记录比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，并在偏差值大于预设阈值时停止移动；获取偏差值最小时对应的移动方向和移动速率，根据移动速率以及像素点移动的预设单位移动量的个数获取移动量，根据移动方向和移动量获取预估移动向量。

本发明实施例给出根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量的一种具体实施方式。

首先，预设一单位移动量，称为预设单位移动量。在比较帧的像素点的移动过程中，每移动预设单位移动量则记录比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值。比较帧的像素点不能无休止的移动，需要设定停止条件，停止条件即当比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值超过预设阈值时停止移动。比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值超过预设阈值表示移动后比较帧的主播轮廓的像素点此时的位置和基准帧相差较远，因此不需再进行进一步移动。

获取偏差值最小时对应的移动方向和移动速率，偏差值最小表示移动后比较帧的主播轮廓的像素点此时的位置和基准帧最接近。根据移动速率和像素点移动的预设单位移动量的个数可以获取移动距离，即比较帧的像素点从开始移动到对应于最小偏差值时的位置的距离，这个距离可以通过移动速率和预设单位移动量的个数的乘积获取。因此，便获取到对应于最小偏差值时的移动方向和移动量，根据得到的移动方向和移动量便可以得到相应比较帧对应的预估移动向量。

在上述实施例的基础上，本发明实施例通过在比较帧的像素点的移动过程中，每移动预设单位移动量之后记录比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取偏差值最小时对应的移动方向和移动速率，根据移动速率以及像素点移动的预设单位移动量的个数获取移动量，根据移动方向和移动量获取预估移动向量，提高了预估移动向量的精度和准确度，从而提高了跟踪精度和准确度。

进一步地，基于上述实施例，偏差值为比较帧和基准帧的对应像素点之间灰度值的最小均方误差。

偏差值可以取值为比较帧和基准帧的对应像素点之间灰度值的最小均方误差。可以理解的，偏差值还可以取值为其他可以反映像素点之间灰度变化的统计值。

在上述实施例的基础上，本发明实施例通过将偏差值取值为比较帧和基准帧的对应像素点之间灰度值的最小均方误差，进一步提高了跟踪精度和准确度。

进一步地，基于上述实施例，在令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动之前，该方法还包括：随机生成k个不同移动方向以及预先设定m个不同移动速率。

由于主播的移动方向具有不可知性，移动速率可以进行一定的区间估计，因此，本发明实施例中，比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动时，k个不同移动方向是预先随机生成的，m个不同移动速率是预先设定的。可以更加的契合应用需求。

在上述实施例的基础上，本发明实施例通过随机生成k个不同移动方向以及预先设定m个不同移动速率，使得移动方向和移动速率的设置方法更加契合主播跟踪的需求，有利于进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，根据比较帧对应的预估移动向量获取主播的移动向量，表示为：

其中，

在分别得到N-1个比较帧对应的预估移动向量后，可以通过加权向量叠加的方式确定主播的移动向量，具体公式如上式所示。

在上述实施例的基础上，本发明实施例通过在得到N-1个比较帧对应的预估移动向量后，通过加权向量叠加的方式确定主播的移动向量，有利于提高移动向量的精度和准确度，从而进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，比较帧离基准帧越远，比较帧的权重越小。

由于比较帧离基准帧越远，比较帧中主播轮廓的像素点移动到基准帧附近的几率越小，因此可以根据比较帧距离基准帧远近的不同设置不同的权重。其中，比较帧距离基准帧越远权重越小，比较帧距离基准帧越近权重越大。

在上述实施例的基础上，本发明实施例通过设置比较帧离基准帧越远，比较帧的权重越小，有利于提高主播移动向量的精度和准确度，从而进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，提取基准帧和比较帧中的主播轮廓，具体包括：采用语义分割技术提取基准帧和比较帧中的主播轮廓。

语义分割技术进行轮廓特征提取的精度和准确度较高，本发明实施例中通过采用语义分割技术提取基准帧和比较帧中的主播轮廓。

在上述实施例的基础上，本发明实施例通过采用语义分割技术提取基准帧和比较帧中的主播轮廓，有利于提高跟踪精度和准确度。

进一步地，基于上述实施例，在获取相机拍摄的包含主播轮廓的图像序列之后，获取基准帧和比较帧中的主播轮廓之前，该方法还包括：将基准帧和比较帧转换为灰度图像，对灰度图像进行去噪及直方图均衡化处理。

在获取相机拍摄的包含主播轮廓的图像序列之后，获取基准帧和比较帧中的主播轮廓之前，先对基准帧和比较帧进行预处理，预处理的过程包括：对三通道彩色图像进行降维，转换为一通道的灰度图像；通过高斯滤波处理等方法以消除图像的噪声；采用直方图均衡化对采集的图像进行增强处理，以防止光照强度的变化对图像造成的影响。

在上述实施例的基础上，本发明实施例通过预先进行灰度图转换、去噪及直方图均衡化处理，更加便利了后续图像处理，有利于进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，根据主播的移动向量控制相机跟踪主播，具体包括：根据主播的移动向量通过PID对承载相机的舵机进行转向控制以控制相机跟踪主播。

根据主播的移动向量控制相机跟踪主播可以通过控制执行部件来完成。一种实施方式是：根据主播的移动向量通过PID对承载相机的舵机进行转向控制以控制相机跟踪主播。可以理解的，可以采用其他任何可行的方式根据主播的移动向量控制相机跟踪主播，本发明实施例并不对此进行限制。

在上述实施例的基础上，本发明实施例通过根据主播的移动向量通过PID对承载相机的舵机进行转向控制以控制相机跟踪主播，提高了主播跟踪控制的简便性。

图2是本发明一实施例提供的直播进行中主播跟踪装置的结构示意图。如图2所示，直播进行中主播跟踪装置1包括图像序列获取模块10、主播轮廓提取模块20、预估移动向量获取模块30和跟踪模块40，其中：图像序列获取模块10用于：获取相机拍摄的包含主播轮廓的图像序列，图像序列包括当前帧及前N-1帧；其中，当前帧作为基准帧，前N-1帧作为比较帧；主播轮廓提取模块20用于：提取基准帧和比较帧中的主播轮廓；预估移动向量获取模块30用于：令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量；跟踪模块40用于：根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播。

本发明实施例通过以当前帧作为基准帧，以前N-1帧作为比较帧，令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量，根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播，实现了直播过程中主播的自动跟踪，提高了直播拍摄的自动化水平。

进一步地，基于上述实施例，预估移动向量获取模块30在用于根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量时，具体用于：在比较帧的像素点的移动过程中，每移动预设单位移动量之后记录比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，并在偏差值大于预设阈值时停止移动；获取偏差值最小时对应的移动方向和移动速率，根据移动速率以及像素点移动的预设单位移动量的个数获取移动量，根据移动方向和移动量获取预估移动向量。

在上述实施例的基础上，本发明实施例通过在比较帧的像素点的移动过程中，每移动预设单位移动量之后记录比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取偏差值最小时对应的移动方向和移动速率，根据移动速率以及像素点移动的预设单位移动量的个数获取移动量，根据移动方向和移动量获取预估移动向量，提高了预估移动向量的精度和准确度，从而提高了跟踪精度和准确度。

进一步地，基于上述实施例，偏差值为比较帧和基准帧的对应像素点之间灰度值的最小均方误差。

在上述实施例的基础上，本发明实施例通过将偏差值取值为比较帧和基准帧的对应像素点之间灰度值的最小均方误差，进一步提高了跟踪精度和准确度。

进一步地，基于上述实施例，预估移动向量获取模块30在令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动之前，还用于：随机生成k个不同移动方向以及预先设定m个不同移动速率。

在上述实施例的基础上，本发明实施例通过随机生成k个不同移动方向以及预先设定m个不同移动速率，使得移动方向和移动速率的设置方法更加契合主播跟踪的需求，有利于进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，跟踪模块40在用于根据N-1个比较帧对应的预估移动向量获取主播的移动向量时，通过以下公式实现：

其中，

在上述实施例的基础上，本发明实施例通过在得到N-1个比较帧对应的预估移动向量后，通过加权向量叠加的方式确定主播的移动向量，有利于提高移动向量的精度和准确度，从而进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，比较帧离基准帧越远，比较帧的权重越小。

在上述实施例的基础上，本发明实施例通过设置比较帧离基准帧越远，比较帧的权重越小，有利于提高主播移动向量的精度和准确度，从而进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，主播轮廓提取模块20在用于提取基准帧和比较帧中的主播轮廓时，具体用于：采用语义分割技术提取基准帧和比较帧中的主播轮廓。

在上述实施例的基础上，本发明实施例通过采用语义分割技术提取基准帧和比较帧中的主播轮廓，有利于提高跟踪精度和准确度。

进一步地，基于上述实施例，在图像序列获取模块10获取相机拍摄的包含主播轮廓的图像序列之后、主播轮廓提取模块20获取基准帧和比较帧中的主播轮廓之前，图像序列获取模块10还用于：将基准帧和比较帧转换为灰度图像，对灰度图像进行去噪及直方图均衡化处理。

在上述实施例的基础上，本发明实施例通过预先进行灰度图转换、去噪及直方图均衡化处理，更加便利了后续图像处理，有利于进一步提高跟踪精度和准确度。

进一步地，基于上述实施例，跟踪模块40在用于根据主播的移动向量控制相机跟踪主播时，具体用于：根据主播的移动向量通过PID对承载相机的舵机进行转向控制以控制相机跟踪主播。

在上述实施例的基础上，本发明实施例通过根据主播的移动向量通过PID对承载相机的舵机进行转向控制以控制相机跟踪主播，提高了主播跟踪控制的简便性。

图3是本发明一实施例提供的直播进行中主播跟踪系统的结构示意图。如图3所示，系统包括：执行装置2、支撑装置3、固定装置4、相机5及直播进行中主播跟踪装置1；其中，直播进行中主播跟踪装置1分别连接相机5和执行装置2；支撑装置3用于支撑执行装置2，固定装置4用于固定相机5至执行装置2，执行装置2用于自动控制相机5的拍摄角度以跟踪主播。

支撑装置3用于大致方位的固定，如可以采用三脚架。支撑装置3用于支撑执行装置2，相机5通过固定装置4固定于执行装置2。直播进行中主播跟踪装置1分别与执行装置2和相机5电连接，用于从相机5获取相机拍摄的包含主播轮廓的图像序列后，按照上述实施例的直播进行中主播跟踪方法进行处理得到主播的移动向量，并向执行装置2发送控制指令，对执行装置2进行转向控制从而使得执行装置2带动相机进行转动调整拍摄方向。

图4是本发明另一实施例提供的直播进行中主播跟踪系统的结构示意图。如图4所示，涉及到的硬件组件包括有：三脚架(支撑装置3)，舵机(执行装置2)，舵机托盘(固定装置4)，相机模块(相机5)以及用于执行直播进行中主播跟踪方法的控制模块(直播进行中主播跟踪装置1)。其中三脚架用于大致方位的固定，舵机用于自动控制相机的拍摄角度以跟踪主播，托盘用于固定相机与连接舵机主轴。其中，用于执行直播进行中主播跟踪方法的控制模块可以采用树莓派等微型电脑实现，在图4中未示出。

本发明实施例通过以当前帧作为基准帧，以前N-1帧作为比较帧，令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量，根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播，实现了直播过程中主播的自动跟踪，提高了直播拍摄的自动化水平。

下面结合图4，进一步说明本发明实施例提供的直播进行中主播跟踪方法的流程。直播进行中主播跟踪的方法主要分为以下三步：首先，搭建相机的硬件平台；其次，直播过程中进行序列图像的提取，接下来进行借助于粒子群算法在前后序列的图像中自动识别关键点的矢量移动方向；最后，基于PID的控制方法调整相机的姿态进行调整以适应当前主播的位置。具体地，直播进行中主播跟踪的方法步骤包括：

(1)硬件平台的搭建，涉及到的硬件组件包括有：三脚架，舵机，舵机托盘，相机模块以及用于执行直播进行中主播跟踪方法的控制模块。其中三脚架用于大致方位的固定，舵机用于自动控制相机的拍摄角度以跟踪主播，托盘用于固定相机与连接舵机主轴。其中，用于执行直播进行中主播跟踪方法的控制模块可以采用树莓派等微型电脑实现，在图4中未示出。

(2)主播找到一个与相机合适的角度位置，开始直播拍摄

(3)开始对相机拍摄的序列图像进行编号，记录当前帧与前N-1帧的序列图像作为后期比较进行主播相对位置变化的依据，记录拍摄的序列图像为(Img1，Img2，Img3…,ImgN)。

(4)对采集的的图像进行预处理，主要步骤：

·对三通道彩色图像进行降维，转换为一通道的灰度图像

·通过高斯滤波处理以消除图像的噪声。

·采用直方图均衡化对采集的图像进行增强处理，以防止光照强度的变化对图像造成的影响

·采用语义分割的技术进行主播的轮廓内图像的提取

(5)针对步骤(4)中提取到的主播轮廓的像素，以当前相机拍摄的帧作为比较的基准帧，前N-1个序列的图像作为比较帧，应用粒子群的思想进行主播移动方向的判断，对于每一个比较帧都进行如下步骤的操作：

·随机生成k个不同的假定移动方向

·比较帧中的像素点分别按这k个方向以不同速率移动

·每单位移动量结束之后与基准帧进行像素的最小均方偏差计算，并记录当前的方向移动单位量的偏差值

·多次速率计算后，从这k个方向的偏差值进行横向比较中找寻平均偏差最小的方向即为当前比较帧与基准帧的主播实际位移方向

·对于当前方向的内的m次移动进行纵向比较，找出偏差值最小时的该方向移动向量

(6)对于步骤(5)中基准帧与多张比较帧之间的主播移动方向结果进行加权向量叠加的方式确定主播的移动向量，其中k

(7)对于步骤(6)中确定的移动矢量，通过PID(比例-微分-积分)的控制方法对舵机进行转向控制以达到实时追踪主播的轨迹的效果。

本发明实施例的优点或者技术创新点：

1、本发明实施例借助了粒子群的思想进行算法的设计来实现高效目标物体的矢量追踪。

2、本发明实施例从实际的应用场景出发，可以解决在直播卖房过程中实际遇到的问题，并可以提供一套全自动化的相机追踪经纪人主播的方案。

3、本发明实施例是可全自动运维的，计算过程无需人为干预，提升了用户体验。

本发明实施例提供的设备是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行直播进行中主播跟踪方法，该方法包括：获取相机拍摄的包含主播轮廓的图像序列，图像序列包括当前帧及前N-1帧；其中，当前帧作为基准帧，前N-1帧作为比较帧；提取基准帧和比较帧中的主播轮廓；令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量；根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的直播进行中主播跟踪方法，该方法包括：获取相机拍摄的包含主播轮廓的图像序列，图像序列包括当前帧及前N-1帧；其中，当前帧作为基准帧，前N-1帧作为比较帧；提取基准帧和比较帧中的主播轮廓；令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量；根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播。

又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的直播进行中主播跟踪方法，该方法包括：获取相机拍摄的包含主播轮廓的图像序列，图像序列包括当前帧及前N-1帧；其中，当前帧作为基准帧，前N-1帧作为比较帧；提取基准帧和比较帧中的主播轮廓；令比较帧中的主播轮廓中的像素点分别在k个不同移动方向以及m个不同移动速率下移动，根据移动后比较帧和基准帧的主播轮廓对应像素点的灰度值的偏差值，获取对应于比较帧的预估移动向量；根据比较帧对应的预估移动向量获取主播的移动向量，并根据主播的移动向量控制相机跟踪主播。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。