基于3E大数据的京津冀能源环境决策分析的研究

摘要

能源-经济-环境(3E)可持续协调发展，一直是全世界范围内所致力达到的共同目标，也一直是世界范围内科学研究的热点问题。然而，传统的数学模型和方法对能源-经济-环境的分析是仅仅基于传统的数据采集手段及宏观统计数据的基础上建立的，随着信息系统在各行各业的逐步建设完善，越来越多的实时的、异构的、详尽的数据可以得到有效的收集，传统的数学模型或方法不再适用于应对和处理这些数据，因而迫切需要在这些海量数据的基础上构建新的大数据分析模型。此外，由于大数据对处理海量数据的要求是高效的，故传统的技术框架也同样无法满足大数据的要求，因而有必要引入大数据技术框架如Hadoop等，然而现有的能源-经济-环境问题在大数据分析和技术路线应用方面的研究较为匮乏。
　　本文首先对国内外能源-经济-环境现状进行了介绍，并在3EDSS平台上引入了Hadoop框架，使用了改进的基于MapReduce的关联规则挖掘模型对能源、经济、环境数据进行关联规则挖掘，使用了改进的基于MapReduce框架的Logistic Regression算法对京津冀地区发生空气污染的概率进行预测。初步发现了能源、经济与环境之间的部分潜在的相关关系，以及各因素对大气环境污染的重要程度。最后整合现有的能源-经济-环境决策支持系统(3EDSS)，构建了3E大数据分析平台。

目录

声明

摘要

第1章 绪论

1．1 课题的背景及研究的目的和意义

1．2 国内外研究现状

1．2．1 能源-经济-环境(3E)模型的研究动态

1．2．2 基于数据挖掘的能源经济环境方面的研究

1．3 论文研究的内容和主要工作

1．4 论文框架

第2章 能源-经济-环境(3E)可持续发展决策支持大数据平台框架

2．1 决策支持大数据平台框架

2．2 指标系统采集与数据库设计

2．3 基于MapReduce的算法模型库设计

2．3．1 MapReduee算法框架介绍

2．3．2 基于MapReduee的算法模型库

2．4 本章小结

第3章 基于3EDSS能源经济环境关联分析

3．1 关联规则基本理论描述

3．2 经典频繁项集挖掘的Apriori算法

3．3 基于MapReduce的Apriori算法设计

3．4 基于3EDSS平台的3E关联规则分析

3．4．1 研究方法

3．4．2 数据采集

3．4．3 数据处理

3．4．4 关联规则结果与分析

3．5 本章小结

第4章 基于3EDSS的空气污染预测分析

4．1 Logistic回归介绍

4．2 Logistic回归模型参数估计

4．2．1 极大似然估计与梯度下降法

4．2．2 在梯度下降法中应用MapReduce

4．3 应用Logistic回归对空气污染进行分类预测

4．3．1 数据选取

4．3．2 实验结果及解释

4．4 本章小结

第5章 3E决策分析大数据平台的系统实现

5．1 能源经济环境决策决策分析大数据平台系统

5．2 3E决策分析大数据平台的设计

5．2．1 功能扩展设计

5．2．2 数据定义

5．3 系统功能页面展示

5．3．1 系统管理模块

5．3．2 资源共享管理模块

5．3．3 3E关联分析模块

5．3．4 大气污染预测模块

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读硕士学位期间参加的科研工作和成果

致谢