基于判别式多模态深度置信网多模态数据融合方法和系统

摘要

本发明公开了一种基于判别式多模态深度置信网的多模态数据融合方法，该方法包括以下步骤：建立判别式多模态深度置信网；对于多个模态数据对应的深度置信网，利用限制波尔兹曼机，获得深度置信网优化后的网络权重；采用交替优化的策略来最小化判别式多模态玻尔兹曼机的目标函数，获得优化后的玻尔兹曼机权重，得到最终的判别式多模态深度置信网模型；向深度置信网模型输入待融合的多模态数据，得到融合结果。本发明还公开了一种基于判别式多模态深度置信网的多模态数据融合系统。本发明通过在传统多模态深度置信网络中引入有监督的标签信息，判别式的挖掘不同模态数据之间的关联性，从而在大规模多模态数据分类和检索任务中可以保证较高的准确率。