一种多模态融合谎言检测方法

摘要

本发明公开了一种多模态融合谎言检测方法，基于长短期记忆循环神经网络、前馈全连接神经网络和卷积神经网络，获取文本、视频和音频特征矩阵；接着基于每个问题的文本、视频和音频融合特征矩阵以及每个个体的问题之间的关联，获取问题间关联图神经网络；然后基于问题间关联图神经网络，获得图神经网络上每个问题结点的关联表达矩阵；最后基于每个问题结点的关联表达矩阵获取判断个体在该问题上是否说谎的分类向量。本发明适用于用于真实庭审或审讯情形下，处理比当前视频级别谎言检测更细粒度的问题级别的谎言检测问题。