基于连续型数据的朴素贝叶斯分类器的改进研究

摘要

样本分类是数据挖掘一项非常重要的任务，在众多分类方法和理论中，贝叶斯分类方法具有坚实的统计理论基础，其简单形式是朴素贝叶斯方法(NBC模型)，由于具有简单快速的计算过程及泛化能力强等优点，NBC模型得到了广泛应用。本文着重研究基于连续型数据的朴素贝叶斯分类器，探讨基于属性加权及增量学习的改进方法。
　　 在属性加权改进方法上，本文引进Fisher判别分析理论定义各属性的分类权重，提出了Fisher加权朴素贝叶斯分类器(FWNBC模型)，通过实验分析表明FWNBC模型在一定程度上提高了朴素贝叶斯分类器的准确率。
　　 在增量学习方法上，由于朴素贝叶斯对数据作高斯分布假设，本文首先应用有限混合模型思想分析分类器的参数求解过程实质上是高斯混合模型的参数估计过程。接着讨论EM算法在高斯混合模型参数估计问题上的应用，提出增加未标注训练样本的结合EM算法的朴素贝叶斯分类器(EMNBC模型)。实验表明当数据对朴素贝叶斯有较好的类可分性时，EMNBC模型可以明显地提高参数估计精确性和分类准确率。
　　 当数据的类可分性较差时，本文将传统NBC模型与EMNBC模型通过线性组合设计组合EMNBC模型与加权组合EMNBC模型，并用实验表明组合模型有相对稳定的表现，准确率较传统NBC模型有一定提升，加权后的组合EMNBC模型能使准确率有进一步提升。

目录

文摘

英文文摘

声明

第一章绪论

1.1论文的研究背景和意义

1.2朴素贝叶斯方法的研究现状

1.3本文的主要工作

1.4本文的主要内容和结构

第二章朴素贝叶斯分类器及FWNBC模型的设计

2.1贝叶斯理论概述

2.2贝叶斯分类器

2.3有限混合模型及其在朴素贝叶斯模型中的应用

2.4本文提出的Fisher加权朴素贝叶斯分类模型(FWNBC模型)

2.5 FWNBC模型的实验分析

2.6小结

第三章EM算法在混合模型参数估计的应用

3.1极大似然方法在有限混合模型参数估计的应用

3.2 EM算法的原理

3.3 EM算法在高斯混合模型参数估计的应用

3.4 EM算法估计高斯混合模型参数的实验分析

3.5小结

第四章基于增量学习的EM朴素贝叶斯分类器(EMNBC模型)

4.1 EMNBC模型的增量学习算法原理

4.2 EMNBC模型的设计过程

4.3组合EMNBC模型和加权组合EMNBC模型

4.4小结

第五章实证分析与实验结果

5.1数据集来源及数据集简介

5.2实验设计流程

5.3实验结果与实验分析

5.4实验小结

总结语

参考文献

附录

致谢