一种基于层级表征网络的视频理解文本生成方法

摘要

本发明涉及视频理解技术领域，其公开了一种基于层级表征网络的视频理解文本生成方法，解决了由于视频信息的复杂性，不能很好地表示多层次概念的视频特征的问题，该方法包括：S1、视频帧特征提取；S2、对提取的视频帧特征进行多层编码，获得事件级、动作级和目标级视觉特征；S3、获取文本嵌套特征，并结合分层的视觉特征通过分层注意力机制获取分层的上下文信息；S4、根据分层的上下文信息利用语言模型生成单词，应用于视频问答任务或视频描述任务。