首页> 中国专利> 文献详情

一种基于多模态数据和美学原理的神经网络生成视频摘要的方法

摘要

一种基于多模态数据和美学原理的神经网络生成视频摘要的方法,包括:S100:将原始视频输入到多模态数据提取模块后得到文本模态的字幕数据,音频模态的背景音乐数据和图像模态的视频帧数据,再通过用户输入场景文本数据;S200:将多模态数据再分别输入到多模态特征编码模块中编码,输出各模态数据的特征向量表示序列;S300:将特征向量表示序列输入到重要镜头选择模块,分别提取出原始视频中的亮点镜头、代表性镜头、用户期望镜头和叙事镜头。S400:把亮点镜头、代表性镜头、用户期望镜头和叙事镜头输入到美学镜头组装模块中筛选出遵循美学原理的高质量镜头并拼接成视频摘要。相较于现有方法,提高了生成的视频摘要的可看性和叙述性。

著录项

  • 公开/公告号CN113626641A

    专利类型发明专利

  • 公开/公告日2021-11-09

    原文格式PDF

  • 申请/专利权人 南开大学;

    申请/专利号CN202110916764.5

  • 发明设计人 卢少平;谢杰航;杨愚鲁;

    申请日2021-11-09

  • 分类号G06F16/74(20190101);G06F16/75(20190101);G06F16/78(20190101);G06F16/33(20190101);G06F16/35(20190101);G06K9/00(20060101);G06K9/32(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构12223 天津耀达律师事务所;

  • 代理人张耀

  • 地址 300071 天津市南开区卫津路94号

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

联系方式:18141920177 (微信同号)

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号