网上专家经济观点自动挖掘研究

摘要

前互联网时代，数据的获取受制于时间、空间等因素的影响，由于当时网络不发达，数据获取的难度大、速度慢、来源少，导致人们对于数据的获取感到非常困难。并且在数据处理上，所能处理的数据类型大多是结构化数据，对于非结构化数据还未能从容应对。现在，随着互联网的快速发展，信息获取的广度增加、速度加快，其也不再受制于时间和空间，再加上非结构化数据占比越来越多，传统的结构化数据等早已不能满足人们的分析需要。这时，数据的获取开始受限于信息的整合。因为面对现如今海量的数据，尤其是诸如文本、声音、图像等非结构化数据，如何将其中有用的信息进行整合，已经成为了一个重要的问题。目前，信息整合大多依赖于人力，那么如何实现自动化信息整合就成为了一项挑战。
　　本文研究的目的是以经济形势数据为例，通过python urllib爬虫技术实现数据的获取；利用专家观点筛选公式实现数据的筛选；使用描述统计相关方法实现数据的整体把握；运用自然语言处理技术实现文本数据的处理；结合空间向量模型实现文本的聚类；自建文章自动撰写系统实现数据的整合。通过本研究，使得我们可以自动处理文本数据，从而实现一套自动化处理文本的流程。为人们的决策起到辅助作用，极大提高人们的效率，方便人们的生活。

目录

第1章 引言

1.1 研究背景

1.2 研究目的和意义

1.3 文献综述

1.4 本文所做的工作及价值

第2章 研究内容和技术路线

2.1 研究的主要内容

2.2 研究的技术路线

2.3 研究采用的技术与方法

第3章 数据获取

3.1 数据来源

3.2 宏观经济指标的选取

3.3 专家观点的选择

3.4 宏观经济数据

3.5 本章小结

第4章 数据初步分析

4.1 数据预处理

4.2 描述性统计

4.3 本章小结

第5章 专家观点的聚类分析

5.1 CPI观点聚类分析

5.2 PPI观点聚类分析

5.3 PMI观点聚类分析

5.4 M2观点聚类分析

5.5 国房景气指数观点聚类分析

5.6 本章小结

第6章 经济形势文章自动撰写

6.1 文章构成

6.2 实现流程

6.3 成果展示

结论及展望

参考文献

附录E 相似度矩阵

攻读硕士学位期间取得的研究成果

致谢