基于底层特征建模的行为识别算法优化

摘要

近年来基于时空兴趣点的视觉词袋(bag of video words,BOVW)模型被广泛用于行为识别算法研究;但是该模型忽略了每一种视觉单词的权重,另外没有考虑兴趣点时空分布信息,因而制约了其识别精度.提出了两种算法解决上述问题;其一,采用词频-逆向文件频率(term frequency-inverse document frequency,TF-IDF)方法对传统BOVW直方图进行优化处理,根据视觉单词在词袋与BOVW直方图的比例权衡其重要程度;其二,提出了基于三维共生矩阵的时空兴趣点互信息(spatial-temporal interest points mutual information,STIPsMI)算法,刻画不同视觉单词的时空兴趣点之间的时空关系.然后将STIPsMI描述符与优化后的BOVW直方图级联,作为视频序列最终的描述符.最后在两个主流的数据集KTH与UCF sports对该算法进行评估.实验结果表明,提出的时空特征描述符在行为识别准确率上优于BOVW模型与其他主流方法.