视频广告植入方法及系统

摘要

本申请涉及一种视频广告植入方法及系统，通过自动在每一帧图像中提取广告植入区域，并通过画面特征估计相机运动，提取运动前景，实现在直播流中叠加广告并营造逼真的广告被运动前景遮挡的效果，同时相机移动时广告植入位置也会相应变化，适用于固定或者运动相机拍摄场景。本申请中的广告植入位置可灵活设置，无需对拍摄场地进行任何改造，降低广告植入的成本，提高了灵活性。

说明书

技术领域

本申请涉及视频处理技术领域，特别是涉及一种视频广告植入方法及系统。

背景技术

随着现代短视频生产、直播以及体育赛事的发展，视频商业化的程度越来越高，在视频中进行广告植入成为电商的迫切需求。

传统视频广告植入方法一般采用实地广告植入方法。如果直接在直播画面中附加静态广告，会影响观众的观看体验。例如，在直播画面的右下角区域设立广告区域播放广告，一会分散观众的注意力，二是遮挡一些画面中的动作或观测目标行进路线。

实地广告植入方法则是对场地进行物理改造，例如在足篮球场地上喷印、在足篮球场边树立广告牌等，这些广告不会分散观众过多的注意力，恰当的起到了广告作用。然而实地广告植入方法会对场地环境造成改变，也造成施工成本的急剧提升。

发明内容

基于此，有必要针对传统视频广告植入方法成本过高，且不够灵活的问题，提供一种视频广告植入方法及系统。

本申请提供一种视频广告植入方法，所述方法包括：

获取直播流或视频文件，并将直播流或视频文件解码转化为多张图像，选取第一帧图像作为目标图像；

基于预设颜色或分割网络模型对目标图像进行粗分割，生成候选广告区域；

基于腐蚀处理方法和膨胀处理方法对候选广告区域进行进行细分割，得到候选广告植入区域；

依据广告素材的尺寸，在候选广告植入区域内选取四个广告植入区域顶点，生成与广告素材适配的广告植入区域；

判断下一帧图像是否出现相机运动的情形，当下一帧图像出现相机运动的情形时，调整广告植入区域的四个顶点的坐标；

提取在广告植入区域内的运动前景遮罩，利用运动前景遮罩对所述广告植入区域进行遮挡；

返回所述判断下一帧图像是否出现相机运动的情形。

本申请还提供一种视频广告植入系统，包括：

视频广告植入设备，用于前述内容提及的视频广告植入方法；

客户端，与所述视频广告植入设备通信连接，用于向视频广告植入设备发送直播流或视频文件。

本申请涉及一种视频广告植入方法及系统，通过自动在每一帧图像中提取广告植入区域，并通过画面特征估计相机运动，提取运动前景，实现在直播流中叠加广告并营造逼真的广告被运动前景遮挡的效果，同时相机移动时广告植入位置也会相应变化，适用于固定或者运动相机拍摄场景。本申请中的广告植入位置可灵活设置，无需对拍摄场地进行任何改造，降低广告植入的成本，提高了灵活性。

附图说明

图1为本申请一实施例提供的视频广告植入方法的流程示意图。

图2为本申请一实施例提供的视频广告植入系统的结构示意图。

具体实施方式

为了使本申请的目的.技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供一种视频广告植入方法。需要说明的是，本申请提供的视频广告植入方法应用于任何种类的视频直播软件，或者视频视频播放软件。

此外，本申请提供的视频广告植入方法不限制其执行主体。可选地，本申请提供的视频广告植入方法的执行主体可以为一种视频广告植入设备。

如图1所示，在本申请的一实施例中，视频广告植入方法包括：

S100，获取直播流或视频文件，并将直播流或视频文件解码转化为多张图像，选取第一帧图像作为目标图像。

具体地，步骤S100中获取的可以是直播流，也可以是视频文件。解码转化时按照时间先后顺序解码直播流或视频文件中的所有图像帧。选取直播流或视频文件解码转化为的多张图像中的第一帧图像作为目标图像进行后续的处理。

S200，基于预设颜色或分割网络模型对目标图像进行粗分割，生成候选广告区域。

具体地，本步骤的目的是自动从目标图像中筛选出适合植入的候选广告区域供用户选择。本步骤的粗分割有两种方式，其中一种是基于预设颜色的粗分割方式，另一种是基于分割网络模型的粗分割方式。

S300，基于腐蚀处理方法和膨胀处理方法对候选广告区域进行进行细分割，得到候选广告植入区域。

具体地，本步骤是对候选广告区域的边缘进行进一步细化的过程，以精确在候选广告区域内定位候选广告植入区域的四个顶点，将四个顶点包围的区域作为候选广告植入区域。

S400，依据广告素材的尺寸，在候选广告植入区域内选取四个广告植入区域顶点，生成与广告素材适配的广告植入区域。

具体地，本步骤中广告素材可以是图像，也可以是视频，广告植入区域的尺寸与广告素材的尺寸适配。

S500，判断下一帧图像是否出现相机运动的情形。当下一帧图像出现相机运动的情形时，调整广告植入区域的四个顶点的坐标。

具体地，本步骤计算相机姿态，估计广告植入区域的四个的顶点运动情况以判断下一帧图像是否出现相机运动的情形。若下一帧图像出现相机运动的情形，则需要根据画面变化，调整广告植入区域的四个顶点的坐标。

S600，提取在广告植入区域内的运动前景遮罩，利用运动前景遮罩对所述广告植入区域进行遮挡。

具体地，例如在广告植入区域经过的球或者人，如果存在运动前景，则需要将广告置于运动前景的下方图层，因此本步骤可以制造广告被运动前景遮挡的真实效果。

S700，返回所述S500。

本实施例中，本申请涉及一种视频广告植入方法及系统，通过自动在每一帧图像中提取广告植入区域，并通过画面特征估计相机运动，提取运动前景，实现在直播流中叠加广告并营造逼真的广告被运动前景遮挡的效果，同时相机移动时广告植入位置也会相应变化，适用于固定或者运动相机拍摄场景。本申请中的广告植入位置可灵活设置，无需对球场进行任何改造，降低广告植入的成本，提高了灵活性。

在本申请的一实施例中，所述S200包括：

S211，将目标图像中的每个像素点投射入HSV颜色空间，以使每个像素点具有三个属性值，所述三个属性值分别为色调属性值，饱和度属性值，以及明度属性值。

S212，获取第一预设色调属性阈值，第二预设色调属性阈值，第一预设饱和度属性阈值，第二预设饱和度属性阈值，第一预设明度属性阈值，以及第二预设明度属性阈值。

S213，创建候选广告区域像素点集合。

S214，选取目标图像中的一个像素点。

S215，判断所述像素点是否同时满足色调属性值大于等于第一预设色调属性阈值且小于等于第二预设色调属性阈值，且饱和度属性值大于等于第一预设饱和度属性阈值且小于等于第二预设饱和度属性阈值，且明度属性值大于等于第一预设明度属性阈值且小于等于第二预设明度属性阈值。

S216，若所述像素点同时满足色调属性值大于等于第一预设色调属性阈值且小于等于第二预设色调属性阈值，且饱和度属性值大于等于第一预设饱和度属性阈值且小于等于第二预设饱和度属性阈值，且明度属性值大于等于第一预设明度属性阈值且小于等于第二预设明度属性阈值，则将所述像素点纳入所述候选广告区域像素点集合。

S217，返回S214，直至目标图像中所有像素点均被选取过。

S218，提取所述候选广告区域像素点集合中的所有像素点，组成候选广告区域。

具体地，HSV(Hue，Saturation，Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是色调(h)，饱和度(s)和明度(v)。一个颜色有三个通道，也就是由三个分量组成，分别为h、s、v通道。

本步骤是设置了第一预设色调属性阈值h1，第二预设色调属性阈值h2，第一预设饱和度属性阈值s1，第二预设饱和度属性阈值s2，第一预设明度属性阈值v1，以及第二预设明度属性阈值v2。

进一步地，本步骤筛选出所有满足筛选条件的像素点P(hp，sp，vp)，所述筛选条件为同时满足h1≤hp≤h2，s1≤sp≤s2，v1≤vp≤v2。最终将所有满足筛选条件的像素点P组成候选广告区域。

在本申请的一实施例中，所述S200包括：

S220，将目标图像输入至分割网络模型，运行分割网络模型，获取分割网络模型输出的候选广告区域。

具体地，训练完成后分割网络模型可以对图像进行预测。

在本申请的一实施例中，在所述S100之前，所述视频广告植入方法还包括：

S010，获取多个视频场地图像，多个视频场地图像在多个不同的相机位置拍摄。

S020，对每一个视频场地图像标注广告牌区域，生成多个标注后的视频场地图像。

S030，将多个标注后的视频场地图像作为训练数据对分割网络模型进行训练。

具体地，分割网络模型的分割网络可采用mask rcnn、SOLO等。分割网络模型的训练的过程是：分割网络模型的输入为原始图像，输出为预测的场地平面区域和广告牌区域。将预测结果和标注结果计算损失函数，并进行梯度反向传播，调整每一层的网络权重，直到损失函数下降到一定范围内，此时训练结束。

在本申请的一实施例中，所述S300包括：

S310，对候选广告区域采用大小为α的核进行腐蚀处理，得到腐蚀后区域。

具体地，α为卷积核。腐蚀就是求局部最小值的操作，将核与候选广告区域卷积，即计算核覆盖的区域的像素点的最小值，并把这个最小值赋值给参考点指定的像素。这样就会使图像中的灰暗区域逐渐增长。

S320，对候选广告区域采用大小为α的核进行膨胀处理，得到膨胀后区域。

具体地，膨胀和腐蚀同理，膨胀是求局部最大值的操作，将核与候选广告区域卷积，即计算核覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。

S330，计算腐蚀后区域和膨胀后区域的重叠区域。

具体地，通过先腐蚀后膨胀最后求重叠区域可以定位出边界区域的位置，后续通过边缘检测就可以更加精准地定位候选广告植入区域的四个顶点。

腐蚀后区域为DC，膨胀后区域为EC，腐蚀后区域和膨胀后区域的重叠区域DIFF＝EC-DC。

S340，对重叠区域使用canny算子进行边缘检测，得到重叠区域边缘。

S350，对重叠区域边缘进行hough变换，得到四条相互垂直的直线。

具体地，对重叠区域边缘进行hough变换，得到上下左右四条相互垂直的直线。

S360，将四条相互垂直的直线产生的四个交点作为候选广告植入区域的四个顶点。

S370，将候选广告植入区域的四个顶点包围的区域作为后续广告植入区域。

在本申请的一实施例中，所述S400包括：

S410，将候选广告植入区域进行裁剪，将裁剪得到的区域作为广告植入区域。

S420，分别记录广告植入区域的四个广告植入区域顶点的坐标。

在本申请的一实施例中，所述S500包括：

S510，在当前帧图像中提取广告植入区域内的至少四个特征点，获取在当前帧图像中所述四个特征点的位置。

S520，提取在下一张帧图像中所述四个特征点的位置。

S530，比较在当前帧图像中所述四个特征点的位置和在下一张帧图像中所述四个特征点的位置，计算帧间变换矩阵。

S540，判断所述帧间变换矩阵是否为单位矩阵。

S550，若所述帧间变换矩阵不为单位矩阵，则确定下一帧图像出现相机运动的情形，依据公式1调整广告植入区域的四个顶点的坐标。

其中，R为调整前的广告植入区域，R1为调整后的广告植入区域，plt,prt,prb,plb分别为调整前的广告植入区域的四个顶点的坐标，plt1,prt1,prb1,plb1分别为调整后的广告植入区域的四个顶点的坐标，M为帧间变换矩阵。

具体地，使用RANSAC算法计算帧之间的变换矩阵。RANSAC算法为Random SampleConsensus的缩写，它是根据一组包含异常数据的样本数据集，计算出有效样本数据和拟合参数的算法。

在本申请的一实施例中，所述S600包括：

S610，设当前时刻为t，当前帧图像为Ft。

S620，获当前帧图像的前一帧图像Ft-1，以及当前帧图像的后一帧图像Ft+1。

S630，计算当前时刻的光流OFt。

S640，将Ft-1，Ft，Ft+1，OFt输入至RGB编码器，得到RGB编码器输出的Ft-1特征图，Ft特征图，Ft+1特征图，以及OFt特征。

S650，将Ft-1特征图，Ft特征图和Ft+1特征图进行差分，得到差分特征。

S660，将OFt特征和差分特征融合，将融合后的特征输入解码器解码，得到运动前景遮罩。

S670，利用运动前景遮罩对所述广告植入区域进行遮挡。

具体地，光流就是这个运动着的世界里可以被感觉到的明显的视觉运动。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像一种光的“流”，故称之为光流(optical flow)。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。

光流算法有很多，包括金字塔Lucas-Kanade光流方法，Gunnar Farneback算法，块匹配的方法等等。本申请基于Farneback或flownet方法计算当前时刻的光流OFt。

通过差分特征与光流OFt特征融合，能够抑制背景，只突出运动前景，从而提取出准确的运动前景遮罩。

运动前景遮罩是指在原图像中，位于遮罩区域的运动物体。

S660计算出的运动前景遮罩只有2个值，0或1，当S660计算出的运动前景遮罩为0时代表未出现运动目标经过广告植入区域。当S660计算出的运动前景遮罩为1时代表出现运动目标经过广告植入区域。

在本申请的一实施例中，在执行所述S700返回所述判断下一帧图像是否出现相机运动的情形之前，所述视频广告植入方法还包括：

S681，对广告素材进行形变调整，以使广告素材的轮廓与广告植入区域的轮廓匹配，且广告素材的位置和广告植入区域的位置重合。

S682，对广告素材进行光照调整，以使广告素材的光照信息和目标图像的光照信息适配。

具体地，广告素材形变包括将广告素材拉伸、位移和插值中的一种或多种，使广告素材与广告植入区域位置相互适配。光照调整是指调整广告素材的亮度和对比度，使其与原图的光照情况匹配。

S681中对广告素材进行形变调整的具体步骤可以为：

S681a，设广告素材的宽为w，高为h，则广告素材四个顶点的坐标为DAP＝((0，0)，(w，0)，(w，h)，(0，h))，广告植入区域的四个顶点的坐标为R＝(plt，prt，prb，plb)，根据DAP与R计算广告素材和广告植入区域的变换矩阵MDR，计算公式如公式2所示。

MDR＝R*(DAP)

其中，MDR为广告素材和广告植入区域的变换矩阵。R为广告植入区域。DAP为广告素材。

S681b，对DAP中的每个像素，根据变换矩阵MDR映射到广告植入区域R，并进行双线性插值，得到和广告植入区域R面积相同的广告素材形变结果APW。

S682中对广告素材进行光照调整的具体步骤可以为：

S682a，令当前帧图像Ft中广告植入区域R内的像素均值为μ

其中，APW’为广告素材调整光照后的形变结果。APW为广告素材形变结果。σ

S682b，依据公式4计算t时刻包含植入广告的图像为：

F

其中，F

本申请还提供一种视频广告植入系统。

如图2所示，在本申请的一实施例中，视频广告植入系统包括视频广告植入设备100和客户端200。视频广告植入设备100用于执行如前述任意一个实施例所提及的视频广告植入方法。

客户端200与视频广告植入设备100通信连接。客户端200用于向视频广告植入设备100发送直播流或视频文件。

以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。