基于MapReduce的股票代码标签抽取与金融资讯关联推荐

摘要

随着金融理财逐步走进人们生活和证券市场的进一步开放,股票作为一种操作交易门槛低的有价证券,成为了广大民众证券交易的首选,但是琳琅满目的股票让人们要耗费大量时间才能找到自己需要的信息。
　　为了提高广大股民浏览股票代码时的效率,本文提出了对各个股票代码进行标签抽取,通过抽取得到的标签信息满足广大股民快速了解股票相关情况的迫切需求。本文的标签抽取方法基于这样一个假设:一个股票代码真正重要的标签出现在已有的、任意与此股票代码相关联的金融资讯中,从而把标签抽取的过程分成两个步骤:首先是抽取,即单文档的关键词抽取;其次是计算,即对抽取的关键词进行条件概率计算从而得出标签。为了同时考虑资讯内部词与词之间的联系以及同一股票代码不同资讯之间词与词之间的联系问题,本文提出并实现了TextRank-WBayesian算法,并且实验结果表明了该方法的有效性和可行性。在信息时代中,每天信息的产生速度在不断加快,同时股票市场也是变化莫测和日新月异,需要每天都进行标签抽取的工作,为了提高程序的可扩展性和处理效率,本文的标签抽取程序将基于Hadoop开源平台的MapReduce计算框架。
　　为了使广大股民获得更好的投资导向,本文提出了对股票代码进行金融资讯的关联推荐算法,从而使广大股民能够及时获取自己所持有股票的相关行业、竞争公司以及合作公司的资讯信息,从而能够更好地把握投资时机,获得更多收益。通过对实验结果的抽样分析,证明了关联推荐后的资讯信息能够更好地反应股票市场的走势。
　　为了能够更客观地评价股票代码的标签抽取结果和金融资讯的关键推荐效果,在日后需要建立通用标签评价集和通用评价算法。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景和意义

1.2 国内外研究现状

1.3 本文主要研究内容

1.4 本文的创新点

1.5 本文组织结构

第二章 关键词抽取技术

2.1 无监督的关键词抽取方法

2.2 有监督的关键词抽取方法

2.3 金融资讯的特点

2.4 本章小结

第三章 Hadoop计算平台

3.1 Hadoop平台综述

3.2 HDFS

3.3 MapReduce

3.4 Hadoop 1.0与2.0的区别

3.5 SequenceFile

3.6 本章小结

第四章 基于MapReduce的股票代码标签抽取

4.1 标签抽取模型

4.2 基于MapReduce的TFIDF标签抽取算法

4.3 基于MapReduce的TFIDF-WBayesian标签抽取算法

4.4 基于MapReduce的TextRank-WBayesian标签抽取算法

4.5 实验结果

4.6 本章小结

第五章 金融资讯的关联推荐

5.1 股票代码的关联资讯

5.2 基于向量空间模型的关联推荐

5.3 实验结果

5.4 本章小结

第六章 总结与展望

6.1 本文工作总结

6.2 未来工作展望

参考文献

致谢

攻读硕士学位期间完成的学术论文