一种基于多模态信息融合理解的全媒体新闻智能编目方法

摘要

本发明公开了一种基于多模态信息融合的全媒体新闻智能编目方法，对全媒体新闻中的视频信息、语音信息、字幕条信息、人物信息进行统一表征与融合理解来获得多模态融合特征，使用多模态融合特征实现新闻的自动切片、自动编目描述、自动场景分类。本发明的有益效果在于：实现了面向全媒体新闻的自动化综合编目的完整流程，通过在视频、音频、文本多种模态融合的基础上生成拆条标记、新闻编目描述、新闻分类标签、新闻关键词、新闻人物，提高了编目方法的准确率与泛化性，并大幅减少人工编目时间。