仿人脑皮层的听觉视觉发育学习研究

摘要

模拟人类大脑工作机制的算法模型已经能够对语音和图像进行很好地学习记忆和辨别。目前语音识别和图像识别的研究绝大多数还是分开进行的。但是，现实世界里的语音或者图像是有多种属性的，人类往往通过两者的结合，同时进行听觉和视觉的感知来了解所处环境。通过计算机分析目标物体的多个属性，根据物体的异源感知信息来认知物体，这是当前计算神经学和机器学习研究的方向。本文以模拟人类大脑皮层听觉和视觉工作机制的发育网络为基础，构建语音图像双模态共发育网络模型，实现语音信息和图像信息的共同感知以及多属性融合。 首先，本文介绍了发育网络（DN）的基本结构及具体算法。然后利用发育网络构建语音识别模型，介绍语音数据库制作和声音信号处理过程，包括人声语音序列提取（空白声滤除）。在对语音信息序列进行处理时，使用梅尔频率倒谱系数（MFCC）提取语音信息特征。 其次，在发育网络的基础上构建图像识别模型，讲解了突触维护和神经元再生机制，并制作实验图库进行实验，证明突触维护机制对无用知识内容的抑制作用以及神经元再生机制对发育网络神经元资源的动态调节作用。 最后，本文构建了基于发育网络的语音图像双模态共发育学习模型，详细讲解了网络模型各个发育通路的信息处理方式、不同属性信息的融合机理及其计算过程。在实验仿真中，通过实时测试方法实现语音识别、图像识别以及共发育识别。结果显示，构建的语音图像双模态共发育学习网络模型的平均正确识别率能够达到 92.8%，说明双模态共发育学习模型有着合理的信息融合方式且能达到良好的共发育效果。

目录

第一个书签之前

OLE_LINK35

OLE_LINK73

OLE_LINK1

OLE_LINK2