一种基于类脑模型的多模态情感识别方法

摘要

本发明提供了一种基于类脑模型的多模态情感识别方法。该方法包括：定义区分度指标衡量各模态特征的组间差异程度，提取初选数据特征；利用主成分分析方法进行特征降维，得到各模态下数据特征向量设计一种具有子模块结构的类脑模块化神经网络，实现对多模态特征的融合，连接结构设计包含模块中各子模块内部神经元之间的连接模块中各子模块之间的连接以及各模块之间的连接采用“赢者全拿”策略判断样本所属类别；基于Hebbian规则设计权值更新规则，包括初步更新及次级更新两步，分别对连接权值进行更新；所得连接权值用于测试数据，对分类效果进行评价。本发明提高了多模态情感识别的准确率。