一种面向多模态数据的小样本机器学习方法、系统和介质

摘要

本发明公开了一种面向多模态数据的小样本机器学习方法、系统和介质，本发明学习方法包括利用多模态数据表征，层级池化以及关系网络3个功能模块进行训练和测试，首先通过编码器将多模态数据特征向量化，然后采用先最大池化再平均池化的层级池化将时间/空间连续的向量序列降维归纳为类别特征向量，最后基于关系网络开展小样本条件下的学习分类。本发明针对多模态数据在小样本条件下的识别分类典型应用，采用多模态数据编码、层级池化以及关系网络学习的方式，在少量标签样本支持条件下，能够对新类别数据进行快速识别分类，取得了优于当前几种典型算法的识别准确率，具备较好的表征能力和泛化能力。