LMBP神经网络算法改进及其应用

摘要

随着人类社会的日益发展，知识和信息的大规模积累已经开始使得人们应接不暇。特别是21世纪以后互联网时代浪潮的来临，人们所接触到的信息正迎来爆炸式地增长。对大量数据的智能化分析、处理和预测乃至跨学科多领域的研究越来越受到人们的关注和重视，神经网络便是其中一个方兴未艾的研究课题。它可以通过建立智能模型来有效地解决工程上和科学上的实际问题，适用于广泛的应用领域，是一个极具研究价值和应用前景的方向。近几十年来，神经网络在医学诊断上的应用越来越多，对医学发展的贡献也越来越大。人们将神经网络应用于心脏病分型诊断、胃癌细胞分析、器官移植次数优化、呼吸道感染率分析、心电图和脑波分析等医疗病例。
　　神经网络中比较常用和流行的网络模型是反向传播BP(Back Propagation)网络。它是在Widrow-Hoff学习算法和ADALINE(ADAptive LInear NEuron)网络的基础上针对其单层网络结构只能够解决线性可分问题的局限性而提出的。BP网络可以用来训练多层网络结构，通过自我学习来调节网络参数从而能够解决复杂的非线性关系的数据分析预测和性能优化问题。由于其强大的非线性建模能力，甫一问世便得以流行开来。但BP网络算法有2个主要的不足之处:(1)由于BP网络采用的是目标函数的一阶导数信息导致其只具有线性收敛速度，网络的收敛速度较慢使得其需要较长的训练时间，当实际的问题规模较大时可能需要数小时甚至数天才能得出结果;(2)由于BP网络使用的是局部优化算法，而且多层网络结构的目标函数曲面一般相对而言比较复杂，这就导致网络产生局部收敛从而得不到问题最优解。人们对此根据不同的实际需求进行了各种方式地优化改进，许多改进算法卓有成效，但这个问题仍是目前研究的难点。
　　针对以上问题的不足之处，本文选用了BP神经网络的一个衍生算法LMBP(Levenberg-Marquardt Back Propagation)算法，并在此基础上进一步提高了算法的收敛速度和网络参数计算的准确性。基于对LMBP算法中Hessian矩阵的理论分析以及分治法的思想，本文提出了一种基于矩阵分块的Cholesky递归分解算法。该算法在2个方面加速了网络的收敛过程:一是通过分析Hessian矩阵的正定性质，使用Cholesky矩阵分解算法来避免矩阵的求逆操作，将Hessian矩阵分解成上三角和下三角矩阵并转换成线性方程组求解问题;二是在计算Cholesky矩阵分解时并不直接计算，而是分而治之，即先进行矩阵分块，对分块进行递归分解，然后通过分块矩阵间的计算来得到最终所要求的三角矩阵。本文还从理论上进行了算法改进程度的量化计算，通过对算法的时间复杂度进行理论上分析和计算，得出改进算法比传统标准算法和目前已有改进算法的计算速度都要快一些。通过Matlab实验仿真，实验数据结果与理论计算值基本符合。最后，利用LMBP算法对影响人体亚健康的经络数据进行建模并训练，最终模型对人体亚健康状态的预测准确率达到83％。限于医学上尚未制定相关的理论标准、人生理经络的复杂性、受测人群的地域和年龄覆盖范围以及经络测量数据的误差等因素，预测结果具有一定的参考性。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．3 研究的主要内容

1．4 论文的结构安排

第二章 人工神经网络与BP算法

2．1 人工神经网络简介

2．1．1 人工神经网络概念和历史

2．1．2 人工神经网络原理

2．1．3 人工神经网络结构

2．1．4 神经网络学习规则

2．2 BP网络算法

2．2．1 性能指数

2．2．2 敏感度

2．2．3 反向传播

2．3 BP网络的收敛性

2．4 本章小结

第三章 LMBP算法及其改进

3．1 LMBP算法

3．1．1 高斯-牛顿法

3．1．2 Jacobian矩阵

3．1．3 LMBP算法分析

3．2 LMBP算法改进

3．2．1 Cholesky矩阵递归分解

3．2．2 时间复杂度计算

3．2．3 实验验证说明

3．3 本章小结

第四章 LMBP算法对人体亚健康的预测

4．1 人体亚健康与经络

4．2 人体经络值分析

4．3 LMBP网络模型结构设计

4．4 人体亚健康预测

4．5 本章小结

第五章 总结与展望

参考文献

致谢

攻读学位期间发表的学术论文与取得的其它研究成果