神经网络协同学习理论及应用研究

摘要

在神经科学中，研究者相信记忆主要存储于突触强度而学习是改变突触强度的过程。突触强度的改变由神经系统的突触可塑性机制控制。神经科学领域已经积累了关于突触可塑性的大量生理实验和生物建模研究。神经机制中的突触可塑性对应了人工神经网络的权重学习规则。在机器学习领域，连接权重学习方法使人工神经网络具备强大的学习能力来解决各类实际工程应用问题。独立于突触强度变化，最近的神经生理实验结果表明单个神经元同样具有改变自身激活性来匹配突触输入分布的调整能力。文献中这种单个神经元的调整能力被称为神经元内在可塑性。在数学建模中，内在可塑性和神经单元激活函数的调整相关。研究者已经基于一定的理论假设来建立内在可塑性学习规则，该假设认为该机制的调整目标是维持平稳平均输出响应的同时最大化神经元输入输出之间的互信息。受到这种新的可塑性机制的启发，作者在本文中也提出了一种新颖的基于神经元放电尖峰的内在可塑性规则。在单独研究内在可塑性的基础上，作者将内在可塑性机制和传统研究中的突触可塑性机制进行了结合。在生物或人工学习系统中这两种可塑性机制的结合被称为协同学习。在本文中作者首先分别阐述了突触可塑性和内在可塑性机制，进而展示协同学习方法在计算神经建模以及机器学习中的发挥作用。在计算神经科学中，作者研究了内在可塑性机制和突触可塑性相结合的计算神经模型，该模型被用来建模视觉生物实验现象，研究结果表明了协同学习在神经建模中发挥的作用。在机器学习中，参照突触可塑性机制启发了人工神经网络的权重学习算法，作者通过引入激活函数调整规则的方式将内在可塑性引入了人工神经网络。在该研究工作中，作者对权重调整（突触可塑性）和激活函数调整（内在可塑性）都采用了基于信息论的学习方法。该研究结果表明了协同学习对于提升人工神经网络性能具有良好的作用。本文从神经科学中的生物建模出发，以信息科学中的工程应用技术为落脚点，在一定程度上搭建了大脑生物神经机制与仿脑信息处理技术之间的桥梁。

目录

声明

致谢

摘要

1 绪论

1．1 生物神经系统基础

1．1．1 生物神经系统基本单元与网络构成

1．1．2 生物神经编码方式：基于放电率和基于放电尖峰

1．1．3 神经系统的信息表示与自稳

1．2 神经系统协同学习的概念

1．2．1 神经连接的突触可塑性

1．2．2 神经元内在可塑性

1．2．3 突触可塑性与内在可塑性的协同

1．3 本文研究线路与结构安排

1．4 本文主要贡献

2 神经网络中的突触可塑性

2．1 引言：生物神经突触可塑性与人工神经网络权重学习

2．2 神经科学中的突触可塑性规则

2．2．1 基于放电率的规则：Hebb，Oja和BCM规则

2．2．2 基于动作电位的规则：spike-timing-dependent plasticity

2．2．3 统一的突触可塑性规则：Calcium-dependent plasticity

2．2．4 反Hebb规则

2．2．5 突触归一化

2．2．6 结构可塑性与稀疏神经网络连接

2．2．7 突触可塑性与自稳

2．3 人工神经网络机器学习方法中的权重调整算法

2．4 小世界神经振子网络SWON：自稳和信惠表示

2．4．1 SWON神经元模型

2．4．2 SWON网络结构

2．4．3 SWON实验结果

2．5 本章小结

3 神经元内在可塑性

3．1 引言：信息最大化与维持茸稳的局部机制

3．2 内在可塑性神经生理学实验现象

3．3 神经元内在可塑性规则

3．3．1 基于放电率神经元模型的内在可塑性规则

3．3．2 基于放电尖峰神经元模型的内在可塑性规则

3．4 IF神经元模型基于放电尖峰的内在可塑性学习规则

3．4．1 Li内在可塑性规则的分析

3．4．2 IF神经元模型

3．4．3 IF神经元模型激活函数

3．4．4 基于尖峰的内在可塑性规则

3．4．5 可塑性规则理论分析

3．4．6 仿真结果

3．5 本章小结

4 计算神经建模中的协同学习方法

4．1 引言：突触可塑性和内在可塑性协同

4．2 神经建模中的协同学习

4．2．1 神经输入有效编码l稀疏编码，独立成分分析，自组织映射

4．2．2 神经系统中的自激神经活动

4．2．3 神经系统中的信号传输

4．3 建模复杂生物实验现象

4．3．1 视觉系统神经生理学实验

4．3．2 建模实验结果的协同学习模型

4．4 本章小结

5 机器学习中的协同学习方法

5．1 引言：从神经建模到机器学习

5．2 基于信患论的协同学习

5．2．1 信息最大化算法作为内在可塑性规则

5．2．2 误差熵最小化算法作为突触可塑性规则

5．2．3 信息论协同学习算法

5．2．4 信息论协同学习的稳定性分析

5．2．5 前馈神经网络结构

5．2．6 前馈神经网络协同学习算法

5．2．7 递归神经网络结构

5．2．8 递归神经网络协同学习算法

5．3 信息论协同学习仿真结果

5．3．1 前馈神经网络仿真结果

5．3．2 递归神经网络仿真结果

5．4 深度神经网络中的激活函数

5．5 本章小节

6 总结与展望

参考文献

作者简历与科研成果