数据挖掘在精准帮扶数据分析中的应用研究

摘要

精准扶贫是指针对不同贫困区域环境、不同贫困农户状况，运用科学有效程序对扶贫对象实施精确识别、精确帮扶、精确管理的治贫方式。目前的精准扶贫工作中，贫困户识别和帮扶措施匹配主要是通过驻村干部遍访和建档立卡，但是全中国有6亿多农村人口，传统方法费时费力且不易管理，迫切需要引入新技术、新手段完成区域内贫困户和帮扶措施的智能识别，降低人力成本和人为因素干扰，使扶贫工作智能化、透明化。本文将数据挖掘技术引入到精准扶贫工作中，通过一系列数据处理分析方案，辅助扶贫工作完成贫困户贫困特征的智能识别，为精准匹配帮扶措施打下基础。 首先，数据准备阶段，包括数据指标体系的建立和数据的前期处理。通过对扶贫问题、政策、方案的深入研究，初步分析建档立卡、遍访数据等内部数据以及卫计、民政、教育、财政等部门数据和互联网数据，综合考虑专家意见，建立精准帮扶数据指标体系，便于对数据进行科学有效的存储、管理，服务于进一步的数据分析工作。然后，本文设计了数据标准化方案、指标清洗方案，完成扶贫数据的预处理工作，为后期的数据分析完成数据准备。 然后，数据挖掘阶段，本文通过DBSCAN聚类算法来挖掘贫困户的贫困特征，完成贫困户贫困特征的智能识别。针对扶贫数据高维、数据量大的数据现状，本文提出多种DBSCAN算法的改进策略来提高算法的聚类精度和聚类效率：针对算法采用欧氏距离作为相似性度量策略从而在高维空间失效的问题，引入局部敏感哈希算法，将数据映射到低维空间，同时通过哈希算法的索引构建、查询结构，快速查询数据对象的最近邻；然后，提出了一种基于k近邻的二进制数据表示方法，应用近邻结构信息来表示数据本身，将数据集映射到汉明空间，进行下一步的聚类操作，提高算法的运行效率；针对DBSCAN算法应用全局密度参数导致算法对分布不均匀数据集聚类精度不高的问题，提出了一种基于二进制的影响空间的核心点确定策略，利用影响空间的局部密度变化敏感特性，提高算法对多样密度的鲁棒性；另外，本文还提出了一种基于影响空间和k邻域相似度的种子点选取策略，减少不必要的邻域查询次数，提高算法运行效率；最终通过多组数据集的仿真实验，验证本文提出的改进算法在高维、大规模数据集中的优越性。 最后，应用本文设计的数据挖掘方案对某地级市四区三县一市的扶贫数据进行挖掘分析，通过数据前期处理和DBSCAN算法聚类挖掘，智能识别出不同贫困户的贫困特征，并从微观和宏观的角度给出展示结果，为区域扶贫工作中帮扶措施的精准匹配、帮扶干部的智能结对提供决策辅助。

目录

第一个书签之前

摘 要

Abstract

第1章引 言

1.1研究背景和意义

1.2研究现状

1.2.1精准帮扶研究现状

1.2.2数据挖掘研究现状

1.3论文主要内容与组织结构

1.3.3主要研究内容

1.3.4本文的组织结构

第2章数据挖掘

2.1数据挖掘的定义

2.2数据挖掘的过程

2.2.1数据准备

2.2.2数据挖掘

2.2.3结果解释和评价

2.3数据挖掘算法

2.3.1聚类算法

2.3.2分类算法

2.3.3关联性分析算法

2.3.4遗传算法

2.4本章小结

第3章精准帮扶数据前期处理

3.1精准帮扶数据指标体系

3.2数据分类技术

3.3数据标准化方案

3.4数据指标清洗方案

3.5本章小结

第4章DBSCAN算法及其改进策略

4.1DBSCAN算法

4.1.1算法原理

4.1.2DBSCAN在高维数据集中的局限

4.1.3DBSCAN在大规模数据集中的局限

4.2基于局部敏感哈希的DBSCAN算法改进策略

4.2.1局部敏感哈希算法

4.2.2基于K近邻的二进制数据表示

4.3基于二进制影响空间和种子点的DBSCAN算法改进策略

4.3.1基于二进制数据集的影响空间

4.3.2种子点选取策略

4.4算法步骤

4.5实验评估与分析

4.5.1查询时间对比

4.5.2聚类质量对比

4.5.3实际数据集中算法性能验证

4.6本章小结

第5章改进DBSCAN算法在贫困特征智能识别中的应用

5.1扶贫数据前期处理

5.2聚类挖掘与分析

5.3区域结果分析与展示

第6章总结与展望

6.1全文总结

6.2未来展望

参考文献

致谢

附 录

图 版

封 底