一种视频广告中插点位置的选择方法和装置

摘要

本发明提供了一种视频广告中插点位置的选择方法和装置。所述方法包括：通过比较视频中相邻的视频帧之间的相似度，查找所述视频中的视频镜头切换点；根据所述视频的音频信息查找所述视频中的静音点区域；根据静音点区域的长度，对所述静音点区域内时间最靠前的视频镜头切换点进行排序；选取排序后时间间隔符合预设条件的视频镜头切换点作为视频广告中插点。与手动选择相比，本发明提供的自动选择方法可以实现对大批量视频的高效处理，减少人工选择的工作，减少了人工成本。

说明书

技术领域

本发明涉及视频技术领域，特别是涉及一种视频广告中插点位置的选 择方法，以及一种视频广告中插点位置的选择装置。

背景技术

在电视和视频网站中，往往需要在视频播放过程中插入广告，广告在视 频中插入的时间点，称为中插点。

在目前的视频编辑工作中，中插点的位置主要是依靠人工选择。而随着 视频数目的增加，由于人工选择的效率较低，无法满足大批量处理视频的需 求，因此，需要提供一种自动选择广告插入位置的机制，实现对大批量视频 的高效处理。

发明内容

本发明提供了一种视频广告中插点位置的选择方法和装置，以实现对 大批量视频的高效处理。

本发明提供了一种视频广告中插点位置的选择方法，包括：

通过比较视频中相邻的视频帧之间的相似度，查找所述视频中的视频镜 头切换点；

根据所述视频的音频信息查找所述视频中的静音点区域；

根据静音点区域的长度，对所述静音点区域内时间最靠前的视频镜头切 换点进行排序；

选取排序后时间间隔符合预设条件的视频镜头切换点作为视频广告中 插点。

优选地，所述通过比较视频中相邻的视频帧之间的相似度，查找所述视 频中的视频镜头切换点包括：

计算所述视频中所有相邻的视频帧之间的相似度；

查找小于第一预设值的目标相似度，将所述目标相似度对应的两个视频 帧之间的位置作为视频镜头切换点。

优选地，在所述根据所述视频的音频信息查找所述视频中静音点区域之 前，所述方法还包括：

判断所述视频为专业生产内容视频还是用户生产内容视频。

优选地，所述根据所述视频的音频信息查找所述视频中静音点区域包 括：

当所述视频为专业生产内容视频时，从所述视频中提取多个视频片段， 针对各个视频片段分别提取多个采样点；

针对各个视频片段，当幅值大于预设阈值的采样点的个数小于第二预设 值，则确定所述视频片段为静音点区域；

当所述视频为用户生产内容视频时，从所述视频中提取多个视频片段；

将所述视频片段输入预先建立的静音点模型，根据所述静音点模型的输 出结果确定所述视频片段是否为静音点区域。

优选地，所述根据静音点区域的长度，对所述静音点区域内时间最靠前 的视频镜头切换点进行排序包括：

针对各个静音点区域，选取时间最靠前的视频镜头切换点作为候选切换 点；

针对从各个静音点区域中选出的候选切换点，按照对应的静音点区域的 长度从大到小进行排序。

优选地，所述选取排序后时间间隔符合预设条件的视频镜头切换点作为 视频广告中插点包括：

对排序后的候选切换点依次进行扫描；

若所述候选切换点不属于所述视频的预设区域，并且与已经选取的视频 广告中插点的间隔不小于预设时间段，则将所述候选切换点作为所述视频的 视频广告中插点。

本发明还提供了一种视频广告中插点位置的选择装置，包括：

切换点查找模块，用于通过比较视频中相邻的视频帧之间的相似度，查 找所述视频中的视频镜头切换点；

静音点查找模块，用于根据所述视频的音频信息查找所述视频中的静音 点区域；

排序模块，用于根据静音点区域的长度，对所述静音点区域内时间最靠 前的视频镜头切换点进行排序；

中插点选取模块，用于选取排序后时间间隔符合预设条件的视频镜头切 换点作为视频广告中插点。

优选地，所述切换点查找模块包括：

相似度计算子模块，用于计算所述视频中所有相邻的视频帧之间的相似 度；

相似度查找子模块，用于查找小于第一预设值的目标相似度，将所述目 标相似度对应的两个视频帧之间的位置作为视频镜头切换点。

优选地，所述装置还包括：

视频类型判断模块，用于判断所述视频为专业生产内容视频还是用户生 产内容视频。

优选地，所述静音点查找模块包括：

采样点提取子模块，用于当所述视频为专业生产内容视频时，从所述视 频中提取多个视频片段，针对各个视频片段分别提取多个采样点；

个数统计子模块，用于针对各个视频片段，当幅值大于预设阈值的采样 点的个数小于第二预设值，则确定所述视频片段为静音点区域；

片段提取子模块，用于当所述视频为用户生产内容视频时，从所述视频 中提取多个视频片段；

模型判断子模块，用于将所述视频片段输入预先建立的静音点模型，根 据所述静音点模型的输出结果确定所述视频片段是否为静音点区域。

与背景技术相比，本发明包括以下优点：

本发明实施例提供了一种广告插入点位置自动选择方法，通过比较视频 帧之间的相似度，计算得到视频镜头切换点的位置；进一步根据视频的音频 信息计算得到视频中静音点区域位置；最后选择与静音点区域位置重合的镜 头切换点作为广告插入点的候选点，并将候选点按照静音点区域长度进行排 序，并按照一定时间间隔和排序列表选择适合的候选点作为广告中插点；与 手动选择相比，本发明实施例提供的自动选择方法可以实现对大批量视频的 高效处理，减少人工选择的工作，减少了人工成本。

附图说明

图1是本发明实施例的一种视频广告中插点位置的选择方法的流程图；

图2是本发明实施例的一种视频广告中插点位置的选择装置的结构框 图；

图3是PGC视频和UGC视频的静音点信号比较示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附 图和具体实施方式对本发明作进一步详细的说明。

参照图1，其示出了本发明实施例所述一种视频广告中插点位置的选择 方法的流程图，所述方法具体可以包括：

步骤101、通过比较视频中相邻的视频帧之间的相似度，查找所述视频 中的视频镜头切换点。

视频中的镜头切换点可以通过比较视频帧之间的相似度获得，通过 计算视频中相邻两个视频帧之间的相似度，进一步比较相似度数值的变 化，当相似度较小时可以认为镜头发生了切换，换而言之，视频镜头切换 点是指一段视频中相似度突变的位置。

图像相似度可以通过提取图像的颜色、纹理等特征，再比较特征的 相似度来计算，若相邻帧的特征的相似度小于某个第一预设值(例如某 个时间段内所有相邻帧的相似度的中位数的预设比例，也可以是从所有 相邻帧的相似度选择的某个较小的相似度，也可以是根据实际应用和需 求设定的值，本发明对此并不做限制)，则可以认为该帧为视频镜头切换 点。

具体而言，对视频中的一段图像序列F₁…F_n，提取其特征为X₁..X_n， 其中，X_i，1<＝i<＝N为一个一维向量。计算相邻帧的特征的距离 Dist_i＝||X_i+1-X_i||₂，也即是相邻两帧之间的相似度。设定一个固定的时间范 围如T，在T内所有相邻帧间距离Dist的中位数为Dist_M，小于阈值 thShot*Dist_M的帧即为视频镜头切换点。其中，T、thShot为根据经验选取 的阈值，T一般小于10s且大于2s，thShot一般为0.1。

进一步，镜头切换点大体上可分为三种，即切变点、渐变点以及淡 入/淡出点。本发明实施例的方案中可以只选取切变点作为广告插入的候 选点，如此可以尽量避免打断对话、音乐、运动场景等较精彩的场景，从 而可以在尽量不影响用户体验的前提下，找到适合广告插入的位置。具体到 上面的例子，也就是，若第Dist_k小于thShot*Dist_M，而Dist_k-1和Dist_k+1均大于thShot*Dist_M则该镜头切换点为切变点。

步骤102、根据所述视频的音频信息查找所述视频中静音点区域。

静音点区域是指音频信号幅值较小、接近或为静音的区域，通过查找静 音点区域，进一步与步骤101查找的切换点结合，将属于静音点区域内的切 换点作为可选的视频广告中插点。

步骤103、根据静音点区域的长度，对所述静音点区域内时间最靠前的 视频镜头切换点进行排序。

结合上述步骤分别确定视频镜头切换点和静音点区域，可以进一步查找 出属于静音点区域内的视频镜头切换点。进一步针对各个静音点区域，通过 比较各个视频镜头切换点的位置，提取时间最靠前的视频镜头切换点作为候 选的视频广告中插点。

针对提取视频镜头切换点，根据对应的静音点区域的长度，对这些在静 音点区域内时间最靠前的视频镜头切换点进行排序。

步骤104、选取排序后时间间隔符合预设条件的视频镜头切换点作为视 频广告中插点。

在具体的实现中，根据静音点区域的长度对提取的视频镜头切换点进行 排序时，可以从大到小排序或是从小到大排序，并进一步提取时间间隔符合 要求的视频镜头切换点。由此可见，本发明实施例提供了一种广告插入点位 置自动选择方法，通过比较视频帧之间的相似度，计算得到视频镜头切换点 的位置；进一步根据视频的音频信息计算得到视频中静音点区域位置；最后 选择与静音点区域位置重合的镜头切换点，作为广告插入点的候选点，并将 候选点按照静音点区域长度排序，并按照一定时间间隔和排序列表，选择适 合的候选点作为广告中插点；与手动选择相比，本发明实施例提供的自动选 择方法可以实现对大批量视频的高效处理，减少人工选择的工作，减少了人 工成本。

本发明实施例中，进一步优选地，所述步骤101可以包括：

子步骤S1、计算所述视频中所有相邻的视频帧之间的相似度；

子步骤S2、查找小于第一预设值的目标相似度，将所述目标相似度对 应的两个视频帧之间的位置作为视频镜头切换点。

本发明实施例中，进一步优选地，在所述步骤102之前，所述方法还包 括：

判断所述视频为专业生产内容视频还是用户生产内容视频。

具体的实现中，可以在视频的频道信息中添加用于区分该视频为专业生 产内容视频或是用户生产内容视频的标识，在进行判断时，从提取视频对应 的频道信息并读取其中的标识，则可以确定视频为专业生产内容视频还是用 户生产内容视频。

本发明实施例中，可以针对PGC(Professionally-generated Content，专业 生产内容)和UGC(User-generated Content，用户生产内容)视频的不同特点， 使用不同的静音点检测方法，在具体应用时可以根据频道信息切换相应的方 法。

本发明实施例中，进一步优选地，所述步骤102可以包括：

子步骤S3、当所述视频为专业生产内容视频时，从所述视频中提取多 个视频片段，针对各个视频片段分别提取多个采样点；

子步骤S4、针对各个视频片段，当幅值大于预设阈值的采样点的个数 小于第二预设值，则确定所述视频片段为静音点区域。

针对PGC视频，如电影、电视剧、综艺节目等，由于摄制过程较为 专业，背景噪声较少，因此，在检测静音点时，不需要考虑相邻区域内 的幅值关系。

具体检测时，从视频中提取多个视频片段，并进一步从视频片段中提 取多个采样点。可以按照固定间隔采样，例如，按照固定的时间间隔采样， 或是按照固定的帧间隔采样，采样间隔的大小由视频压缩格式决定，预先针 对各种视频压缩格式设定对应的采样间隔，例如，针对qsv、avi、mov等格 式的视频可以选取10ms为采样间隔。

进一步，将各个采样点的幅值与预设阈值进行比较，提取幅值大于预 设阈值的采样点，统计提取的采样点的个数，当统计的个数小于值，例 如，统计的个数小于预设个数，或是统计的个数与总个数的比值小于预 设比例时，确定该视频片段为静音点区域。

例如，从视频中提取多个长度为τ(可以根据实际需求选择)的视频片 段，每个视频片段中包括N个采样点。若其中幅值大于阈值thAmp的采样 点数目小于k个，则该段音频被认为是静音点区域，此处参数值的选择与压 缩格式和采样频率相关。

从视频中提取多个长度为τ的视频片段，按照预设的采样间隔提取采样 点(例如以10ms为采样间隔)，每个视频片段中包括N个采样点(N＝τ/10ms)， 阈值thAmp和个数k均由实验经验获得。例如，一般阈值thAmp可取为0.02， 个数k为3。

本发明实施例中，进一步优选地，所述步骤102可以包括：

子步骤S5、当所述视频为用户生产内容视频时，从所述视频中提取多 个视频片段；

子步骤S6、将所述视频片段输入预先建立的静音点模型，根据所述静 音点模型的输出结果确定所述视频片段是否为静音点区域。

当视频为UGC视频时，由于录音场景较为复杂，往往会有噪音的干扰， 因此在静音点检测时，需要考虑当前片段相邻区域内的信息。

对UGC视频，需要考虑噪音影响，因此需要通过建模进行判断。建模 需要有一定数目的训练集数据，即为一定长度(可以根据实际需求设定，例 如，采用100个视频片段，视频长度总和共20小时)的音频信号，对音频 信号中的每个时间点，均标注了是否是静音点。

在本发明实施例中，优选地，所述静音点模型可以是GMM-HMM模型。 创建模型时，按固定间隔(如0.1s)对音频信号提取MFCC(Mel-frequency  cepstral coefficients，美尔频率倒谱系数)特征，结合训练集数据的静音点标 注，对得到的视频片段建立GMM-HMM模型(Gaussian Mixture Model，高 斯混合模型)。GMM模型的输入为视频片段，输出结果作为HMM(Hidden  Markov Model，隐马尔可夫模型)的输入，GMM模型的输出则为两个类， 即是否为静音点区域。根据训练好的GMM-HMM模型，输入待判断的视频 片段就可以判断是否为静音点区域。

本发明实施例所述的静音点模型，可以是任意适用于判断静音点的模 型，本发明对此并不做限制。

参考图3示出了PGC视频和UGC视频的静音点信号比较示意图。

图3中为PGC和UGC静音点音频信号比较，矩形框内的区域为静音点 位置。从图中可以看到不同视频中静音点的特点，左侧图为PGC视频的静 音点区域由于噪音较小，幅值较小，而右侧图为UGC视频由于噪音较大， 幅值较大。

本发明实施例中，优选地，所述步骤103包括：

子步骤S7、针对各个静音点区域，选取时间最靠前的视频镜头切换点 作为候选切换点；

子步骤S8、针对从各个静音点区域中选出的候选切换点，按照对应的 静音点区域的长度从大到小进行排序。

在每个连续的静音点区域中，选取时间上最靠前的镜头切换点作为候 选切换点后，进一步，针对获得的所有候选切换点，按照所在的静音点区 域长度从大到小排序，也就是说，静音点区域长度越长，排序越靠前。

本发明实施例中，优选地，所述步骤104包括：

子步骤S9、对按照从大到小排序后的候选切换点依次进行扫描；

子步骤S10、若所述候选切换点不属于所述视频的预设区域，并且与已 经选取的视频广告中插点的间隔不小于预设时间段，则将所述候选切换点作 为所述视频的视频广告中插点。

具体地，按照得到的排序列表，从前到后扫描，如果同时满足条件：a、 不在视频的最前或最后10分钟；以及b、与已经选取的中插点时间间隔不小 于10分钟，则该点可以做为最终的广告插入点。其中，本实施例仅以预设 时间段为10分钟为例，但并不以此为限。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表 述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所 描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或 者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施 例均属于优选实施例，所涉及的动作并不一定是本发明所必需的。

基于上述方法实施例的说明，本发明还提供了相应的视频广告中插点 位置的选择装置实施例，来实现上述方法实施例所述的内容。

参照图2，其示出了本发明实施例所述一种视频广告中插点位置的选择 装置的结构框图，包括：

切换点查找模块201，用于通过比较视频中相邻的视频帧之间的相似度， 查找所述视频中的视频镜头切换点；

静音点查找模块202，用于根据所述视频的音频信息查找所述视频中的 静音点区域；

排序模块203，用于根据静音点区域的长度，对所述静音点区域内时间 最靠前的视频镜头切换点进行排序；

中插点选取模块204，用于选取排序后时间间隔符合预设条件的视频镜 头切换点作为视频广告中插点。

本发明实施例中，优选地，所述切换点查找模块包括：

相似度计算子模块，用于计算所述视频中所有相邻的视频帧之间的相似 度；

相似度查找子模块，用于查找小于第一预设值的目标相似度，将所述目 标相似度对应的两个视频帧之间的位置作为视频镜头切换点。

本发明实施例中，优选地，所述装置还包括：

视频类型判断模块，用于判断所述视频为专业生产内容视频还是用户生 产内容视频。

本发明实施例中，优选地，所述静音点查找模块包括：

采样点提取子模块，用于当所述视频为专业生产内容视频时，从所述视 频中提取多个视频片段，针对各个视频片段，分别从中提取多个采样点；

个数统计子模块，用于针对各个视频片段，当幅值大于预设阈值的采样 点的个数小于第二预设值时，则确定所述视频片段为静音点区域；

片段提取子模块，用于当所述视频为用户生产内容视频时，从所述视频 中提取多个视频片段；

模型判断子模块，用于将所述视频片段输入预先建立的静音点模型，根 据所述静音点模型的输出结果确定所述视频片段是否为静音点区域。

本发明实施例中，优选地，所述排序模块包括：

候选切换点选取子模块，用于针对各个静音点区域，选取时间最靠前的 视频镜头切换点作为候选切换点；

大小排序子模块，用于针对从各个静音点区域中选出的候选切换点，按 照对应所在的静音点区域的长度从大到小进行排序。用于根据静音点区域的 长度从大到小，将其中选出的候选切换点进行排序。

本发明实施例中，优选地，所述中插点选取模块包括：

切换点扫描子模块，用于对排序后的候选切换点依次进行扫描；

切换点判断子模块，用于若所述候选切换点不属于所述视频的预设区 域，并且与已经选取的视频广告中插点的间隔不小于预设时间段，则将所述 候选切换点作为所述视频的视频广告中插点。

对于上述视频广告中插点位置的选择装置实施例而言，由于其与方法 实施例基本相似，所以描述的比较简单，相关之处参见图1所示方法实施例 的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说 明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相 参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都 是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案， 但是由于篇幅限制，本说明书在此就不一一详述了。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人 计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器 系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、 小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等 等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描 述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象 数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计 算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连 接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于 包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“组件”、“装置”、“系统”等等指应用于计算机的相关实 体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例 如，组件可以、但不限于是运行于处理器的过程、处理器、对象、可执行 组件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或 脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线 程中，并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机 之间，并可以由各种计算机可读介质运行。组件还可以根据具有一个或多 个数据包的信号，例如，来自一个与本地系统、分布式系统中另一组件交 互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本 地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术 语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定 要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而 且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的 其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要 素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

而且，上文中的“和/或”表示本文既包含了“和”的关系，也包含了“或” 的关系，其中：如果方案A与方案B是“和”的关系，则表示某实施例中可以 同时包括方案A和方案B；如果方案A与方案B是“或”的关系，则表示某 实施例中可以单独包括方案A，或者单独包括方案B。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、 或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施 例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个 或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限 于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形 式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序 产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流 程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中 的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专 用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个 机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产 生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存 储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机 实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的 功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知 了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所 附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和 修改。

以上对本发明所提供的一种视频广告中插点位置的选择方法和视频广 告中插点位置的选择装置，进行了详细介绍，本文中应用了具体个例对本 发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解 本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本 发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述， 本说明书内容不应理解为对本发明的限制。