声音-图像的跨模态处理方法综述

摘要

cqvip:声音和图像分别是听觉和视觉两种模态接收的输入信息,在数字信号处理领域有着各自不同的处理方法。随着对视听交互的心理感知及其神经机理研究的逐渐兴起,信号处理方法的跨模态应用也开始受到关注,声音(图像)的处理方法被创造性地运用到图像(声音)对象上去。这种声音-图像的跨模态处理方法能够为视听交互和融合的相关研究提供有价值的分析思路,同时也可以激发新的数字信号处理方法。对目前已有的声音-图像跨模态处理方法的研究成果进行了概述,进行了简要分析并指出其特点,同时提出了一种将语谱图图像处理用于语音增强的新方法。