一种极度条件下的视听联合人群计数方法

摘要

本发明公开了一种极度条件下的视听联合人群计数方法，包括步骤：S100，提取视觉特征，在给定的RGB图像上提取得到所述视觉特征vfeat；S200，提取音频特性，在给定的原始音频信号进行采样，然后进行短时傅立叶变换(STFT)，以生成视频图，再应用Mel滤波器提取音频特征αfeat；S300，融合视听特征，基于提取的所述音频特征和所述视觉特性两个特征方向参数γ和β以分别在乘法和加法方面对这种交叉模态产生建模，公式如下所示：其中表示l个特征融合块，定义了第l个空洞卷积层，Fl和⊙分别是激活函数和逐元素相乘。与仅采用视觉信息的传统方法相比，在低质量图像的情况下，通过听觉感知场景的网络也能够估计人数，从而使计算得到的人数更加准确。