多层感知器的模糊线性分析及应用

摘要

对神经网络内部行为的研究一直是神经网络研究领域的一大课题，特别是对应用广泛的多层感知器的研究价值尤为突出。研究结果对深入了解神经网络的内部行为、优化网络、提高网络性能以及知识提取等都有着积极的作用。 线性判别函数理论是线性分类器的分析基础，不适于非线性分类器。对于简单的完成线性分类功能的感知器，已经有系统的理论指导，但是对于复杂得多的多层感知器，目前尚无系统的理论指导，仍处在发展阶段。在模式识别经典判别函数理论的基础上，结合模糊集合理论，对用于模式识别和分类的多层感知器的行为进行的分析，借用经典判别函数理论的概念，把非线性激励函数视作隶属度函数，提出了模糊线性判别函数、模糊判别面和模糊线性分类器的概念，得到了如下结论F-LDF：1)模糊线性判别函数net(X)=WTX+b通过超平面(判别边界)net(X)=0将特征空间分割(带有模糊区域)；2)该神经元的权重向量W是模糊判别面的法线向量，确定了模糊判别面的朝向；3)原点到判别面的距离为r=-b/‖W‖，偏移量b决定着模糊判别面的位置，改变偏移量b值即移动模糊判别面相对于原点的距离。 利用该概念，对用于模式识别和分类的多层感知器的分类行为进行了解释，使得对多层感知器分类行为的认识更加明晰。 在此基础上，利用该概念对多层感知器的权重进行分析，得到了如下结论： 1)H个隐层神经元产生H个模糊超平面将特征空间分割(带有模糊区)。 2)由于隐层神经元权重初始向量W0垂直于各初始判别面，所以，H个权重初始向量均匀分布在权重空间中一个超球面上，意味着在特征空间设定了离原点距离r=-b/‖W‖的H个判别面，它们是某超球面的切面(超平面)，均匀分布(尽可能多朝向)在特征空间中。当对某问题求解时，所需要的任何方向的局部判别面，都有与之较接近的初始判别面存在，这意味着学习过程比较容易实现。与此不同，权重随机初始化使这H个超平面的朝向随机分布，有可能以大概率分布在与最终需要的超平面相差甚远的方向上，学习过程对超平面的调整将较困难，甚至不能调整到需要的位置(学习过程不收敛)。 3)偏移量b与权重参数在学习过程中改变，即调整模糊判别面的位置，从而最终在输出层产生该问题所需要的判别边界。 根据上述结论，得出了将网络的初始权重初始化在超球上的方法。通过若干典型模式分类问题的实验验证，表明该方法能够显著提高多层感知器的收敛性能和分类能力。 医学领域的临床诊断属于模式识别的范畴，将多层感知器应用于医学临床诊断中需要解决原始数据处理、输入数据降维、保证正确率的前提下提高泛化能力等问题。统计学方法在该领域已经得到了成熟的应用，因此将统计学方法应用于此用来实现输入数据的降维。同样，降权重初始化在超球上的方法应用到该问题中也取得了很好的结果，提高了网络的收敛性能，随着病例数据的增加，使用该方法将大大减少网络的学习时间，提高网络的收敛性能。

目录

文摘

英文文摘

0前言

1神经网络

1.1神经网络的发展与应用

1.2神经网络的基本原理

1.3多层感知器

1.4对神经网络(MLPs)内部行为的研究

2经典判别函数理论和模糊集理论

2.1线性判别函数和判别面

2.2广义线性判别函数

2.3模糊集合和模糊理论的发展与现状

3模糊线性判别函数与模糊线性分类器

3.1模糊线性判别函数

3.2模糊线性分类器

4权重初始化超球面

4.1权重初始化超球面

4.2实验验证

4.2.1双圆、双螺旋与交替标签问题

4.2.2三维异或问题

4.2.3人工二维数据实验

4.3结论

5在医疗诊断中的应用研究

5.1概述

5.2数据处理及网络结构

5.2.1原始数据

5.2.2数据预处理

5.2.3使用统计学方法对输入模式降维

5.2.4网络结构

5.3诊断的统计模型

5.4数据的分组分析

5.5结果及分析

6构造最优超平面

6.1最优超平面

6.2构造最优超平面

6.2.1方法

6.2.2实验验证

7结论

参考文献

作者攻读硕士期间完成的论文

致谢