基于多模态学习的深度玻尔兹曼机分析微博用户的心理压力

摘要

提出了利用基于多模态学习的深度玻尔兹曼机模型(DBM)对微博图片和文本数据进行处理和分析,在模型中可以实现文本和图片的低层次特征向稀疏高层次抽象特征的转变,最后用一个联合层表示来自2种不同模态数据的融合特征.此外,该模型发现2种不同模态数据的输入特征处在低层次时是高度非线性的.实验结果证明了本文所提出方法的有效性.