基于查询的无监督深度学习的多视频摘要方法

摘要

本发明涉及视频摘要处理，为提出一种能够结合视频的视觉信息和与主题相关的先验信息，利用受限玻尔兹曼机思想的多视频摘要方法，本发明基于查询的无监督深度学习的多视频摘要方法，首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧；然后将融合的视频特征作为可见层H0输入到深层架构以构造具有隐藏层H1的多层受限玻尔兹曼机RBM，在第一层RBM进行两个不同的过程，包括：基于查询的初始权重设置和查询导向惩罚过程；随后通过低层参数自下而上连接到RBM网络的第二、三层；在基于深层体系结构的概念提取之后，通过更高层的隐藏层H3输出简洁且有意义的多视频摘要。本发明主要应用于视频摘要处理。