基于时间集成与自适应谐振的深度学习方法研究

摘要

ART2网络是基于自适应谐振机制的无监督运行的神经网络，由于其快速响应、实时学习等特点，被广泛的应用在各类实时聚类问题中。ART2网络是基于人类的认知规律而构建起来的，具有非常强的学习能力，尤其对新类的学习，因此具有很大的研究价值。
　　本文首先在对ART2网络的运行机理做了详细的研究基础上，针对其存在的模式漂移、幅值信息丢失和警戒参数设置难等问题分别提出了改进方法，通过模拟实验证明了各改进方法的有效性，使 ART2网络的综合性能得到很大提升。本文第二部分工作是对认知理论中的记忆遗忘和转化机理进行了深入的研究，并将其应用到ART2网络中。本文定义了综合记忆强度(CMS)概念，用于记录ART2网络各模式当前的记忆量，并在网络不断地学习中调整此CMS值。通过设置合理的CMS阈值则可以使ART2网络具有对新类别进行检出的能力。同时，结合人类辨别事物的规律-越熟悉的事物回忆速度越快，本文提出了基于 CMS值的获胜模式选取方法。通过将当前CMS值最高的模式作为获胜模式，降低了网络整体的运行复杂度。基于上述两部分研究，ART2网络的性能得到提升且功能得到完善。
　　为了处理大量与时间相关的分类问题，本文对时间集成神经网络(TANN)进行了深入的研究，并在前文研究的基础上，构建了一种基于TANN和ART2的深度学习系统(TANN-ART2)。它不仅保留了原始时序数据中的时序信息，解决了传统神经网难以处理时序数据的问题，还能在学习过程中，从大量连续的时序数据中发现新出现的类别，使网络表现出强大的学习能力和自修正能力,具有很大的应用和研究价值。
　　最后，本文将TANN-ART2深度学习系统应用在关键词检索工作上进行测试，得到了71.5％的检出率和56.1%的误识率，并从集合中检测出若干个新出现的且出现频率较高的词语，证明了TANN-ART2 深度学习系统具有较强的时序数据分类和新类检出的功能。

目录

封面

中文摘要

英文摘要

目录

第1章 绪 论

1.1 课题来源

1.2 课题研究背景及意义

1.3 国内外研究现状

1.4 本文的主要研究内容及组织结构

第2章 ART2网络结构及工作原理

2.1 ART2网络结构

2.2 ART2网络工作原理

2.3 本章小结

第3章 影响ART2网络性能的几个问题及改进研究

3.1基于广义相似度阈值测试机制研究

3.2 基于半监督学习的ART2训练方法研究

3.3 基于抗漂移的ART2权值修正方法研究

3.4 本章小结

第4章 基于认知机理的ART2网络深度学习研究

4.1 记忆遗忘与转化模型

4.2 基于认知机理的ART2新类检测技术研究

4.3 基于认知机理的ART2获胜机制研究

4.4 本章小结

第5章 基于TANN和ART2的深度学习系统

5.1 TANN原理介绍

5.2 深度学习系统TANN-ART2的构建

5.3 TANN-ART2深度网络学习与测试

5.4 本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其它成果

声明

致谢