一种深度偏最小二乘相关分析的多模态融合方法

摘要

典型相关分析是一种经典的线性多模态融合方法,但是难以有效解决高维非线性数据的多模态融合问题.结合典型相关分析、线性回归分析与深度神经网络,提出一种新颖的多模态融合方法,即深度偏最小二乘相关分析.该方法能够在最大化不同模态之间相关性的前提下学习具有强鉴别力的跨模态融合数据,并且能够有效解决典型相关分析面临的高维非线性困境.在真实图像数据集上的实验结果表明,提出的方法具有良好的融合鉴别力和相关收敛性,是一种有效的多模态融合方法.