一种图像和字幕融合的视频报幕板提取及视频切分方法

摘要

本发明公开了一种图像和字幕融合的视频报幕板提取及视频切分方法及系统首先利用Focus结构和CSP结构作为Backbone提取图像特征，再利用FPN和PAN结构作为检测的Neck对特征进行融合，最后利用GIOU_Loss函数进行视频中的报幕板检测工作，根据检测结果，利用Craft对报幕板检测框中文字进行检测，利用Crnn进行识别，利用Ner方式文本识别内容进行实体抽取，根据实体抽取内容和检测到的报幕板信息进行聚类，根据聚类结果，对视频中的各个节目完成切分工作。可以利用报幕板中包含的文本字幕信息配合报幕板检测框进行聚类，在时序的维度上对节目切分点进行确定，保证视频节目切分的准确性。