融合视听感知的多任务协同识别方法及系统

摘要

本发明提供了一种融合视听感知的多任务协同识别方法和系统，属于多源异构数据处理识别技术领域，该系统包括通用特征提取模块、协同特征学习模块、适境反馈评估识别模块；基于多源异构数据的时间同步匹配机制，提取多源异构数据的通用特征；建立长时依赖记忆模型，结合基于外部依赖的协同注意机制，对所述通用特征作为先验知识进行持续学习；提取多源异构数据中的环境感知参数，建立渐进式网络深度协同增强识别机制，结合所述记忆模型的学习特征和任务需求，实现多任务识别。本发明结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别结果同时输出的效果。