一种视频中贴片广告的检测方法和装置

摘要

本发明实施例提供了一种视频中贴片广告的检测方法和装置，涉及信号处理技术，以解决现有技术无法从视频中检测出贴片广告的问题。技术方案包括：根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴片广告的视频帧；根据预先设置的第二卷积神经网络模型对所述包含贴片广告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶点坐标；根据所述顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧中的位置。本发明实施例提供的技术方案可以应用在对视频内容进行编辑处理的过程中。

说明书

技术领域

本发明涉及信号处理技术领域，特别是涉及一种视频中贴片广告的检测 方法和装置。

背景技术

为了增加商业利益，在电影或者电视剧等视频中均会插入贴片广告。然 而，对于购买了视频版权的视频网站而言，贴片广告与其经范围的毫不相干， 严重地影响了视频网站的经济利益。

目前需要本领域技术人员迫切解决的一个技术问题就是：现有技术无法 对视频中插入的贴片广告进行检测，使得用户观看带有贴片广告的视频体验 差，并且由于贴片广告的存在严重影响了购买该视频版权的用户利益。

发明内容

本发明实施例所要解决的技术问题是提供一种视频中贴片广告的检测 方法，能够达到从视频中检测出贴片广告的目的。

相应的，本发明实施例还提供了一种视频中贴片广告的检测装置，用以 保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种视频中贴片广告的检测方法，包 括：根据预先设置的第一卷积神经网络模型对视频帧进行处理，获取包含贴 片广告的视频帧；根据预先设置的第二卷积神经网络模型对所述包含贴片广 告的视频帧进行回归处理，获取所述包含贴片广告的视频帧中贴片广告的顶 点坐标；根据所述顶点坐标确定所述贴片广告在所述包含贴片广告的视频帧 中的位置。

进一步地，所述根据预先设置的第一卷积神经网络模型对视频帧进行处 理包括：根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧；根 据预先设置的第一卷积神经网络模型对所述关键帧进行检测，获取所述关键 帧中包含贴片广告的关键帧；根据所述包含贴片广告的关键帧，获取包含贴 片广告的视频帧。

进一步地，所述根据预先设置的采样间隔对所述视频帧进行采样，获取 关键帧之前，还包括：从预测的贴片广告出现时间段内获取待检测的视频帧； 则所述根据预先设置的采样间隔对所述视频帧进行采样，获取关键帧替换 为：根据预先设置的采样间隔对所述待检测的视频帧进行采样，获取关键帧。

进一步地，本发明实施例提供的视频中贴片广告的检测方法，还包括： 根据预先设置的内容，对所述包含贴片广告的视频帧中的贴片广告进行替换 处理。

进一步地，所述第一卷积神经网络模型由第一子卷积神经网络模型和第 二子卷积神经网络模型构成；其中，所述第一子卷积神经网络模型根据预先 设置的包含贴片广告的视频帧训练生成，所述第二子卷积神经网络模型根据 预先设置的未包含贴片广告的视频帧训练生成。

进一步地，所述第二卷积神经网络模型根据预先设置的包含贴片广告的 视频帧训练生成；其中，所述包含贴片广告的视频帧中每个视频帧的贴片广 告位置不相同。

为了解决上述问题，本发明公开了一种视频中贴片广告的检测装置，包 括：

第一获取模块，用于根据预先设置的第一卷积神经网络模型对视频帧进 行处理，获取包含贴片广告的视频帧；

第二获取模块，用于根据预先设置的第二卷积神经网络模型对所述第一 获取模块获取的包含贴片广告的视频帧进行回归处理，获取所述包含贴片广 告的视频帧中贴片广告的顶点坐标；

确定模块，用于根据所述第二获取模块获取的顶点坐标确定所述贴片广 告在所述包含贴片广告的视频帧中的位置。

进一步地，所述第一获取模块包括：

第一获取子模块，用于根据预先设置的采样间隔对所述视频帧进行采 样，获取关键帧；

第二获取子模块，用于根据预先设置的第一卷积神经网络模型对所述第 一获取子模块获取的关键帧进行检测，获取所述关键帧中包含贴片广告的关 键帧；

第三获取子模块，用于根据所述第二获取子模块获取的包含贴片广告的 关键帧，获取包含贴片广告的视频帧。

进一步地，所述第一获取模块还包括：

第四获取子模块，用于从预测的贴片广告出现时间段内获取待检测的视 频帧；

则所述第一获取子模块，还用于根据预先设置的采样间隔对所述第四获 取子模块获取的待检测的视频帧进行采样，获取关键帧。

进一步地，本发明实施例提供的视频中贴片广告的检测装置，还包括：

处理模块，用于根据预先设置的内容，对所述包含贴片广告的视频帧中 的贴片广告进行替换处理。

与现有技术相比，本发明实施例提供的视频中贴片广告的检测方法和装 置，能够根据第一卷积神经网络模型获取包含贴片广告的视频帧，并根据 第二卷积神经网络模型获取视频帧中贴片广告的顶点坐标，从而确定贴片广 告在视频帧中的位置，达到了从视频中检测出贴片广告的目的，解决了现有 技术无法检测视频中存在的贴片广告的问题。

附图说明

图1是本发明的一种视频中贴片广告的检测方法流程图一；

图2是图1所示的视频中贴片广告的检测方法中步骤101的流程图一；

图3是图1所示的视频中贴片广告的检测方法中步骤101的流程图二；

图4是本发明的一种视频中贴片广告的检测方法流程图二；

图5是本发明实施例提供的一种视频中贴片广告的检测装置结构示意图 一；

图6是图5所示的视频中贴片广告的检测装置中第一获取模块501的结 构示意图一；

图7是图5所示的视频中贴片广告的检测装置中第一获取模块501的结 构示意图二；

图8是本发明实施例提供的一种视频中贴片广告的检测装置结构示意图 二。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。

为了解决现有技术无法从视频中检测出贴片广告的问题，本发明实施例 提供一种视频中贴片广告的检测方法和装置。

如图1所示，本发明实施例提供的视频中贴片广告的检测方法，包括：

步骤101，根据预先设置的第一卷积神经网络模型对视频帧进行处理， 获取包含贴片广告的视频帧。

为了减少计算量，加快处理速度，在本实施例中，如图2所示，步骤101 具体可以包括：

步骤1011，根据预先设置的采样间隔对视频帧进行采样，获取关键帧。

需要说明的是，本实施例不对采样间隔进行具体的限定，在实际的使用 过程中，用户可以根据实际需要设定采样间隔。

步骤1012，根据预先设置的第一卷积神经网络模型对关键帧进行检测， 获取关键帧中包含贴片广告的关键帧。

具体地，本实施例所述的第一卷积神经网络模型由第一子卷积神经网络 模型和第二子卷积神经网络模型构成，其中，第一子卷积神经网络模型根据 预先设置的包含贴片广告的视频帧训练生成，第二子卷积神经网络模型根据 预先设置的未包含贴片广告的视频帧训练生成。

步骤1012采用第一卷积神经网络模型对关键帧进行分类检测，从中获 取包含贴片广告的类对应的关键帧。

步骤1013，根据包含贴片广告的关键帧，获取包含贴片广告的视频帧。

具体地，步骤1013可以根据包含贴片广告的关键帧，按照预先设置的 跳帧策略和贴片广告的连续性，确定包含贴片广告的起始视频帧和结束视频 帧，获取起始视频帧和结束视频帧之间的视频帧为包含贴片广告的视频帧。

本发明实施例提供的视频中贴片广告的检测方法为了进一步减小计算 量，加快处理速度，如图3所示，在步骤1011之前，还可以包括：

步骤1010，从预测的贴片广告出现时间段内获取待检测的视频帧。

在本实施例中，可以根据贴片广告出现的一惯性确定贴片广告出现的时 间段，例如：一般在视频开头5分钟之内，或者结束10分钟之内会出现贴 片广告，所以步骤1010可以根据该预测时间段获取待检测的视频帧。

则此时，步骤1011可以替换为步骤1011’，根据预先设置的采样间隔 对待检测的视频帧进行采样，获取关键帧。

通过以上图2或图3所示的步骤可以将对视频帧的操作转化为对关键帧 的操作，从而可以达到减少计算量，加快处理速度的目的。

步骤102，根据预先设置的第二卷积神经网络模型对包含贴片广告的视 频帧进行回归处理，获取包含贴片广告的视频中贴片广告的顶点坐标。

在本实施例中，第二卷积神经网络模型根据预先设置的包含贴片广告的 视频帧训练生成，其中，包含贴片广告的视频帧中每个视频帧的贴片广告位 置不相同，视频内容相同。

步骤102采用第二卷积神经网络模型对包含贴片广告的视频帧进行处 理，，获取包含贴片广告的视频中贴片广告的顶点坐标的方式，处理问题更 直接、准确率更高。

步骤103，根据顶点坐标确定贴片广告在包含贴片广告的视频中的位置。

进一步地，如图4所示，由于步骤101-103可以检测出视频帧中的贴片 广告，使得本发明实施例提供的视频中贴片广告的检测方法，还可以包括：

步骤104，根据预先设置的内容，对包含贴片广告的视频帧中的贴片广 告进行替换处理。

具体地，步骤101-103可以确定出包含贴片广告的视频帧以及贴片广告 在该视频帧中的具体位置，可以根据检测出的贴片广告的位置信息设置对应 的替换内容，步骤104可以用该内容替换视频中原本存在的贴片广告。

本实施例并不对预先设置的内容进行限定，该内容可以是其他贴片广 告，也可以为空，当然还可以为其他形式，此处不再一一赘述。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系 列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述 的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或 者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例 均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与现有技术相比，本发明实施例提供的视频中贴片广告的检测方法，能 够根据第一卷积神经网络模型获取包含贴片广告的视频帧，并根据第二卷积 神经网络模型获取视频帧中贴片广告的顶点坐标，从而确定贴片广告在视频 帧中的位置，达到了从视频中检测出贴片广告的目的，解决了现有技术无法 检测视频中存在的贴片广告的问题。

如图5所示，本发明实施例还提供一种视频中贴片广告的检测装置，包 括：

第一获取模块501，用于根据预先设置的第一卷积神经网络模型对视频 帧进行处理，获取包含贴片广告的视频帧；

第二获取模块502，用于根据预先设置的第二卷积神经网络模型对第一 获取模块501获取的包含贴片广告的视频帧进行回归处理，获取包含贴片广 告的视频帧中贴片广告的顶点坐标；

确定模块503，用于根据第二获取模块502获取的顶点坐标确定贴片广 告在包含贴片广告的视频帧中的位置。

进一步地，如图6所示，第一获取模块501可以包括：

第一获取子模块5011，用于根据预先设置的采样间隔对视频帧进行采 样，获取关键帧；

第二获取子模块5012，用于根据预先设置的第一卷积神经网络模型对第 一获取子模块5011获取的关键帧进行检测，获取关键帧中包含贴片广告的 关键帧；

第三获取子模块5013，用于根据第二获取子模块5012获取的包含贴片 广告的关键帧，获取包含贴片广告的视频帧。

进一步地，如图7所示，第一获取模块501还可以包括：

第四获取子模块5010，用于从预测的贴片广告出现时间段内获取待检测 的视频帧；

则第一获取子模块5011，还用于根据预先设置的采样间隔对第四获取子 模块5010获取的待检测的视频帧进行采样，获取关键帧。

进一步地，如图8所示，本发明实施例提供的视频中贴片广告的检测装 置，还可以包括：

处理模块504，用于根据预先设置的内容，对包含贴片广告的视频帧中 的贴片广告进行替换处理。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。

与现有技术相比，本发明实施例提供的视频中贴片广告的检测装置，能 够根据第一卷积神经网络模型获取包含贴片广告的视频帧，并根据第二卷积 神经网络模型获取视频帧中贴片广告的顶点坐标，从而确定贴片广告在视频 帧中的位置，达到了从视频中检测出贴片广告的目的，解决了现有技术无法 检测视频中存在的贴片广告的问题。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明 的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见 即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装 置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介 质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计 算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令 实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框 图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生 一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的 指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读 存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设 备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计 算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用 于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦 得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以， 所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所 有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或 者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一 个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终 端设备中还存在另外的相同要素。

以上对本发明所提供的一种视频中贴片广告的检测方法和装置，进行了 详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述， 以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对 于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围 上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。