基于视频内容生成情感曲线的多源情感计算系统及方法

摘要

本发明公开一种基于视频内容生成情感曲线的多源情感计算系统及方法，涉及深度学习、计算机视觉、情感计算、音频处理和图像处理等技术。本系统包括视频内容特征提取模块、音频内容特征提取模块、特征融合回归模块和长视频分割与处理模块。本方法对从短视频片段中获取的视频和音频数据利用相应的特征提取卷积神经网络转换为视觉特征和听觉特征；对获取的视觉特征和听觉特征进行融合回归得到视频片段的情感值；最后组合输出长视频的情感序列，利用插值算法生成平滑的情感曲线。本发明实现了在计算机上计算视频情感变化曲线的自动化方法和系统，保留了观看者手工情感标注的特征，输出结果平滑自然，视觉效果更高，后续分析利用价值更大。