一种基于多重注意力视听融合的音频立体化方法

摘要

本发明公开了一种基于多重注意力视听融合的音频立体化方法，属于多媒体信号处理领域，该方法设计了能实现对视觉特征与音频特征进行有效跨模态融合的视听注意力融合模块，并在此基础上设计了多重注意力融合模型，能将原始视觉特征张量中与声源空间信息高度相关的特征提取出来并注入到多个不同等级的音频特征中，从而赋予了单声道音频以空间信息，将其转化为立体声信号。