基于深度神经网络的多模态特征自适应聚类方法

摘要

深度神经网络学习单模态特征的能力较强,而学习多模态特征的难度较大.针对这种情况,提出基于深度神经网络的多模态特征自适应分类算法.在训练阶段以预定的概率从每个模态选择部分代表信息进行融合,并且建模模式间的相关性.设计基于聚类的特征剪枝策略,减小网络的计算复杂度,通过正则化防止学习程序过拟合.利用动态编码搜索对超参数进行自适应地优化处理.采用自编码器和卷积神经网络分别对该算法进行验证,实现了较好的多模态特征分类效果,并且对数据缺失具有鲁棒性.