基于层次化动态路由机制的多模态抑郁症检测

摘要

作为一个交叉领域的研究任务,多模态抑郁症检测在自然语言处理、计算机视觉、心理健康分析等研究领域吸引了越来越多研究人员的关注。目前存在的研究工作主要致力于利用用户产生的社交网络数据进行抑郁症检测。然而,由于社交网络数据量通常较大,已有的研究方法存在捕捉长距离依存信息(即全局信息)不足的缺陷。因此,如何获取用户的全局信息来帮助检测抑郁症成为一个亟需解决的问题。另外,考虑到社交媒体数据不仅包含文本信息,还包含图片等信息,如何同时融合多个模态的全局信息来帮助检测抑郁症成为另一个亟需解决的问题。为了解决上述困境,该文提出了一种基于层次化动态路由机制的多模态抑郁症检测方法。通过层次化的结构来获取用户的全局信息,并且通过基于动态路由机制的融合方法,来动态地根据任务调整多模态融合特征来帮助检测抑郁症。实验结果表明,该文方法能有效地捕捉用户全局信息,并能进一步融合多模态信息,从而显著提高抑郁症检测任务的性能。