视觉广告效果评估系统及方法

摘要

本发明公开了一种视觉广告效果评估系统及方法，图像处理及计算机视觉技术领域。该系统包括：采集模块，用于按照设定的采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像、以及设定范围内的背景图像；数据处理模块，用于根据计算机视觉方法及图像处理方法，对采集模块采集到的视频图像进行处理，获取经过待评估的广告牌的行人流量、行人观看比例以及行人观看时间数据，并将数据发送至评估模块；评估模块，用于根据所述行人流量、行人观看比例以及行人观看的时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。可以有效地实现对视觉广告效果进行评估，并能进行广告优劣的评价，且评估精度高。

说明书

技术领域

本发明涉及图像处理及计算机视觉技术领域，尤其涉及一种视觉 广告效果评估系统及方法。

背景技术

在商业高度发达和商业竞争日益激烈的现代社会中，厂家迫切需 要了解广告投放的效果。现有的广告投放形式多样，主要分为媒体广 告和非媒体广告。媒体广告指通过媒体来传播信息的广告，如电视广 告、报纸杂志广告、网络广告等；而非媒体广告则指直接面对受众的 广告媒介形式，如广告牌、平面招贴广告、商场中的购买点海报广告 等。媒体广告的投放效果主要可通过媒体的影响力来评估，例如电视 广告投放时间段的收视率、报纸杂志广告的发行量、网络广告的网页 点击量等。相比于媒体广告而言，非媒体广告直接面向受众，因而难 以进行投放效果的评估，更难以实现对于广告设计质量的评估并进行 后续的费用支付。因此，发明设计非媒体广告效果评测方法是非常有 必要的。

视觉广告作为非媒体广告的重要组成部分，在经济高速发展的社 会不可或缺。目前的视觉广告效果评估主要通过估计投放路段的人流 量实现，其主要问题有两方面。一是目前人流量的获取主要通过目测 估计，精度差且不能把握不同时段人流量的变化；二是缺乏对广告设 计质量的评价。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：提供一种可以有效地实现对视觉广 告效果进行评估，并能进行广告优劣的评价，且评估精度高的视觉广 告效果评估系统及方法。

(二)技术方案

为解决上述问题，本发明提供了一种视觉广告效果评估系统，该 系统包括：采集模块，用于按照设定的采集频率，实时采集设定范围 内经过待评估的广告牌的行人的视频图像、以及所述设定范围内的背 景图像；数据处理模块，与所述采集模块相连，用于根据计算机视觉 方法及图像处理方法，对所述采集模块采集到的视频图像进行处理， 获取经过所述待评估的广告牌的行人流量、行人观看比例以及行人观 看时间数据，并将所述数据发送至评估模块；评估模块，与所述数据 处理模块相连，用于根据所述行人流量、行人观看比例以及行人观看 时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。

优选地，所述数据处理模块进一步包括：行人检测单元，用于根 据灰度和边缘特征及区分式分类器，并结合所述背景图像，检测所述 视频图像中的行人；行人跟踪单元，用于根据跟踪算法框架及输出为 似然概率的行人检测器获取视频图像中的行人轨迹；流量统计单元， 用于根据所述行人检测单元检测到的行人数量以及所述行人跟踪单 元获取的行人轨迹，统计所述待评估广告牌所在区域的行人流量；人 脸检测及姿态估计单元，用于根据基于灰度及边缘特征的树状结构多 分类器，并结合背景图像，检测不同姿态的人脸，并根据检测结果以 及回归算法，统计人脸朝向；统计单元，用于根据所述人脸检测及姿 态估计单元的统计结果，以及所述采集频率，统计行人观看比例以及 行人观看时间数据，并发送至所述评估模块。

本发明还提供了一种基于上述视觉广告效果评估系统的视觉广 告效果评估方法，该方法包括步骤：

S1.采集模块按照设定采集频率，实时采集设定范围内经过待评 估的广告牌的行人的视频图像；

S2.数据处理模块根据计算机视觉方法及图像处理方法，对所述 采集模块采集到的视频图像进行处理，获取经过所述待评估的广告牌 的行人流量、行人观看比例以及行人观看的时间数据，并将所述数据 发送至评估模块；

S3.评估模块根据所述行人流量、行人观看比例以及行人观看时 间数据评估所述待评估广告的设置方位和适度以及内容吸引度。

优选地，步骤S2进一步包括：

S2.1根据结合灰度和边缘特征及区分式分类器，检测所述视频 图像中的行人；

S2.2结合跟踪算法框架以及输出为似然概率的行人检测器，获 取视频图像中的行人轨迹；

S2.3根据结合灰度和边缘特征的树状结构的多分类器检测不同 姿态的人脸，并根据检测结果以及所述回归算法，统计人脸朝向；

S2.4根据步骤S2.3的统计结果以及采集频率，统计行人观看比 例以及行人观看的时间数据。

优选地，步骤S2.1进一步包括：

S2.11将行人按姿态分为正面/背面、及侧面两类，并利用行人样 本图像训练基于灰度和边缘特征的区分行人/非行人的分类器；

S2.12在视频图像中搜索子窗口并利用所述区分行人/非行人的 分类器判别所述子窗口是否为行人区域，并根据背景图像以及运动目 标检测算法，检测所述视频图像中的行人。

优选地，步骤S2.2进一步包括：

S2.21根据行人的姿态估计行人可能的运动方向来设置跟踪算 法框架的运动模型；

S2.22利用所述运动模型的预测姿态的行人检测器的输出似然 概率设计跟踪算法框架的观测模型；

S2.23根据度量模型获取行人轨迹，所述度量模型由所述运动模 型及观测模型得到的所有结果融合得到。

优选地，步骤S2.3进一步包括：

S2.31利用人脸样本图像训练结合灰度和边缘特征的树状结构 的多分类器，以及以人脸朝向为输出的随机回归森林；

S2.32根据所述树状结构的多分类器检测不同姿态下的人脸；

S2.33根据步骤S2.32的检测结果，从图像中切割出人脸区域子 图像，并将其提取特征作为训练好的随机回归森林中所有回归树的输 入；

S2.34平均所有回归树的估计姿态角，得到人脸朝向的统计结 果。

优选地，使用穷举搜索法进行步骤S2.12中的行人的检测，以及 步骤S2.32中的人脸姿态的检测。

(三)有益效果

本发明的系统及方法可以有效地实现对视觉广告的投放效果进 行评估，并提供评价广告优劣的评价标准和广告收费参考，解决了非 媒体视觉广告效果评估难的问题。

附图说明

图1为依照本发明一种实施方式的视觉广告效果评估系统的结构 框图；

图2为依照本发明一种实施方式的视觉广告效果评估方法的流程 图；

图3为级联分类器结构示意图；

图4为树结构人脸检测分类器结构示意图；

图5为依照本发明一种实施方式的视觉广告效果评估方法原理框 图。

具体实施方式

本发明提出的视觉广告效果评估系统及方法，结合附图及实施例 详细说明如下。

本发明针对视觉广告提出了一种基于图像处理和计算机视觉方 法的视觉广告效果评估系统。使用摄像头对广告牌前的路段进行监 控，并根据采集到的视频图像对该路段的人流量以及广告对行人的吸 引程度进行统计，最终获取广告效果的评估参数。本发明方法使用行 人流量、驻足观看行人比例以及行人观看广告时间三个参数对视觉广 告效果提供评估检测参考。

本发明系统可实现如下四个方面的用途：检测出经过广告牌的人 数；获取观看广告牌的人的个数；提取出单个人对于广告的注意时间； 定时将上述数据通过网络发送回统计中心，并进一步评价出广告牌的 效果。本发明的主要思路为：首先在广告牌的上方设置摄像头实时采 集视频图像。通过行人检测和跟踪算法检测摄像头视角内的行人并进 一步统计行人流量，以此作为广告牌安放位置是否合适的标准；对于 摄像头视角内的行人，通过人脸检测定位其人脸区域并利用人脸姿态 估计算法获取人脸朝向，判断行人是否被广告吸引并观看广告牌。结 合图像的采集频率统计驻足行人的停留时间和观看时间，根据停留时 间评价广告投放路段是否合理，根据观看时间评价广告内容是否吸引 人。综合考虑以上各参数来实现对于视觉广告效果的评估。其评估结 果可作为广告优劣的评价标准和广告收费的参考。

如图1所示，依照本发明一种实施方式的视觉广告效果评估系统， 包括：

采集模块，用于按照设定的采集频率，实时采集设定范围内经过 待评估的广告牌的行人的视频图像、以及设定范围内的背景图像，该 模块优选为设置在广告牌上方的摄像头，该设定范围为摄像头的视 角。

数据处理模块，与采集模块相连，用于根据计算机视觉方法及图 像处理方法，对采集模块采集到的视频图像进行处理，获取经过待评 估的广告牌的行人流量、行人观看比例以及行人观看的时间数据，并 将上述数据发送至评估模块。

评估模块，优选通过网络与数据处理模块相连，用于根据行人流 量、行人观看比例以及行人观看时间数据评估待评估广告的设置方位 和适度以及内容吸引度。

其中，数据处理模块进一步包括：

行人检测单元，用于根据结合灰度和边缘特征及区分式分类器， 并结合背景图像，检测视频图像中的行人。

行人跟踪单元，由于单个行人可能在连续帧中多次出现，需要对 单个行人的轨迹进行分析，因此，该模块用于根据跟踪算法框架及输 出为似然概率的行人检测器获取视频图像中的行人轨迹。

流量统计单元，用于在图像中设置感兴趣区域(Region Of  Interest，ROI)，对于单幅图像，根据行人检测单元检测到的行人数 量以及行人跟踪单元获取的行人轨迹，统计待评估广告牌所在区域的 行人流量。

人脸检测及姿态估计单元，用于根据基于灰度和边缘特征的树状 结构的多分类器，并结合背景图像，检测不同姿态的人脸，并根据检 测结果以及回归算法(随机回归森林，random forest regression)，统 计人脸朝向。由于广告牌所在区域背景比较复杂，因此需要适合复杂 背景下的人脸检测算法，由于人脸姿态变化造成人脸样本的类内方差 大，但分类器很难解决多姿态的人脸检测，因此，本发明的系统中的 多姿态人脸分类器为树状结构、且结合灰度和边缘特征。对于视频图 像的每一帧，根据多姿态人脸检测的结果从图像中切割出人脸区域并 将其作为训练好的随机回归森林的输入，最终得到人脸朝向的统计结 果。

统计单元，用于根据人脸检测及姿态估计单元的统计结果，以及 采集频率，统计行人观看比例以及行人观看时间数据，并发送至评估 模块。

如图2所示，基于上述视觉广告效果评估系统的视觉广告效果评 估方法包括步骤：

S1.采集模块按照设定采集频率，实时采集设定范围内经过待评 估的广告牌的行人的视频图像；

S2.数据处理模块根据计算机视觉方法及图像处理方法，对采集 模块采集到的视频图像进行处理，获取经过待评估的广告牌的行人流 量、行人观看比例以及行人观看的时间数据，并将上述数据发送至评 估模块；

S3.评估模块根据行人流量、行人观看比例以及行人观看时间数 据评估待评估广告的设置方位和适度以及内容吸引度。

在本发明中，要需要采集和标定以下三方面的样本，以用于行人 检测、行人跟踪、以及多姿态人脸检测以及姿态估计：

1、行人样本图像，包括正面/背面、侧面两类行人样本图像；

2、人脸样本图像，包括各个姿态的人脸样本图像以及相对应的 姿态值；

3、背景图像，其中不包含行人，用于在离线训练阶段随机提取 负样本图像。

步骤S2进一步包括：

S2.1根据结合灰度和边缘特征及区分式分类器，检测视频图像 中的行人；

S2.2结合跟踪算法框架以及输出为似然概率的行人检测器，获 取视频图像中的行人轨迹；

S2.3根据结合灰度和边缘特征的树状结构的多分类器检测不同 姿态的人脸，并根据检测结果以及回归算法(随机回归森林)，统计 人脸朝向；

S2.4根据步骤S2.3的统计结果以及采集频率，统计行人观看比例 以及行人观看的时间数据。

其中，步骤S2.1进一步包括：

S2.11考虑到行人姿的变化对检测效果的影响，将行人按姿态分 为正面/背面、及侧面两类，并利用行人样本图像离线训练基于灰度 和边缘特征的分类器。分类器采用如图3所示的级联结构，对于级联 结构中的每一层，在保证检测率的条件下尽可能的降低虚警率。仅通 过前N-1层的行人/非行人样本可作为第N层分类器训练的正负样本。 对于每一层，可训练基于灰度或边缘特征的分类器，并调整分类器阈 值以保证检测率要求。

S2.12在视频图像中搜索子窗口并利用两个分类器判别子窗口 是否为行人区域，并根据背景图像以及运动目标检测算法，检测视频 图像中的行人。

通过所有的级联分类器的即可视作行人。考虑到行人的运动变化 有助于目标检测，因此在该步骤中，利用背景建模和前景检测等运动 目标检测算法去除背景区域以更加有效地对运动行人进行检测。

优选的行人检测方法为穷举搜索法：首先按一定比例(如1.25) 对图像进行缩放，并在缩放后的图像中对样本尺寸(行人样本图像的 归一化尺寸)的窗口进行穷举搜索；对于每个窗口，利用上述分类器 进行判别是否是行人区域，若是，则保存窗口参数。最终对所有尺寸 下的检测结果进行聚类融合得到行人检测的结果。

由于单个行人可能在连续帧中多次出现，因此需要对单个行人的 轨迹进行分析。步骤S2.2进一步包括：

S2.21根据行人的姿态估计行人可能的运动方向来设置跟踪算 法框架的运动模型，该模型用于估计人的姿态变化并设置下一时刻的 可能姿态；

S2.22利用运动模型的预测姿态的行人检测器的输出似然概率 设计跟踪算法框架的观测模型；

S2.23根据度量模型获取行人轨迹，度量模型由运动模型及观测 模型得到的所有结果融合得到。

在图像中设置ROI，对于单幅图像，根据检测到的行人数量来统 计人流量。考虑到在不同视频帧中行人检测的结果可能重合，为更精 确地估计人流量，结合行人轨迹判断统计处广告牌所在区域来往的人 流量。

步骤S2.3进一步包括：

S2.31利用人脸样本图像训练结合灰度和边缘特征训练树状结 构的多分类器，以及以人脸朝向为输出的随机回归森林。

姿态变化造成人脸正样本类内方差大，因而难以用单个分类器高 效地完成区分人脸/非人脸的任务。综合考虑各个姿态人脸之间的相 似点和人脸对称性，如图4所示，各级分类器对应的人脸样本如下：

Level 0：左右半边脸；

Level 1：右半脸及左半脸的水平镜像；

Level 2：各个角度的人脸样本，分别为正面人脸、左半侧人脸、 左全侧人脸。

与分类器1类似，分类器2也有三个子节点，分别为正面人脸、右 半侧人脸和右全侧人脸。考虑到人脸的对称性，分类器2及其子节点 分类器不需要特别训练，仅需将分类器1及其子节点分类器做水平翻 转即可。对于每个节点，训练如图3所示的级联结构分类器，单个节 点的分类器由多个级联的分类器串联而成。

考虑到各姿态人脸所占的区域大小和形状并不一致，识别单个姿 态的有效特征在识别其他姿态时可能无效，因此选择回归树算法；由 于单棵回归树的精度不高并且不够稳定，因此使用Bagging策略组合 多棵回归树，即使用回归森林估计头部姿态。在每棵回归树的非叶子 节点存储一个依赖于特征的二值判定，而在叶子节点则存储姿态估计 值。

S2.32根据所述树状结构的多分类器检测不同姿态下的人脸。

类似于行人检测，也使用穷举方法结合多姿态人脸分类器实现人 脸检测。为减少搜索范围，仅在行人区域的上半部分进行多姿态人脸 检测。注意的是在树状多姿态的每个节点的样本尺寸并不相同，因此 在通过1级分类器后，需要将人脸窗口进行拓展，即根据通过半脸检 测器的图像子窗口的大小和位置估计整个人脸窗口位置及大小并将 其送入子节点分类器进行进一步的检测。

S2.33根据步骤S2.32的检测结果，从图像中切割出人脸区域子图 像，并将其提取特征作为训练好的随机回归森林中所有回归树的输 入；

S2.34平均所有回归树的估计姿态角，得到人脸朝向的统计结 果。

在步骤S3中，主要任务是根据前两个步骤获得的统计量对广告效 果进行评估。可以给出如下两个方面的视觉广告评估参数：

1、广告牌设置方位的合适程度，主要通过视频中感兴趣区域的 人流量统计实现；

2、广告内容的吸引程度，这主要通过观看行人占所有行人的比 例、行人观看时间等统计量进行评估。

整个评估方法的原理框图如图5所示。

本系统及方法具备以下三个方面的特点：

1、首次将图像处理和计算机视觉技术引入视觉广告的评价体系 中。广告投放的效果对于厂家而言非常重要，而对于广告牌等非媒体 广告形式而言，一直缺乏一个有效的效果评价系统。本发明方法针对 平面视觉广告，通过在广告牌上方设置安装摄像头并获取分析视频图 像来评估广告投放效果。

2、在根据视频图像获取行人流量、行人观看时间等参数时采用 了多种计算机视觉的关键技术。并结合该分类器的输出构建跟踪算法 模型以实现在视频中的实时行人检测，最后综合利用行人检测和跟踪 算法实现在视频图像中检测行人。

3、在检测广告效果时，并不局限于人流量的检测，还针对广告 牌的吸引程度进一步提取更高层次的广告效果评测参数。当行人在感 兴趣区域中时，该系统检测人脸并进行姿态和朝向估计，从而判断广 告牌是否引起该行人的注意。该参数的获取可让厂家进一步对于广告 设计的质量进行评估。

以上实施方式仅用于说明本发明，而并非对本发明的限制。尽管 参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理 解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱 离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范 围当中。