融入概念相似度的计算动词决策树分类算法研究及其在期货市场的应用

摘要

随着零售业的联机事务处理、金融市场及传感器网络等发展，存在着大量的快速变化的、潜在无限的数据流。而在这些数据流中往往存在着大量有用的知识，因而如何从数据流中挖掘出这些未知但又有价值的信息，从而指导人们做出决策，是当前数据挖掘领域所面临的热点和难点之一。特别是针对隐含有概念漂移的数据流，如何研究出一种能够适应概念漂移数据流的分类方法，并对周期性出现的概念能够更有效地处理，是本文的研究重点。
　　 与此同时，期货市场是一个非常复杂的非线性的动态时间序列系统，它传递的价格信息是对未来供求状况的预期。因此，对期货市场进行价格趋势的预测，对于国民经济的发展，政府进行市场监管，投资者投资净效用最大化等方面都有极其重要的意义。正是基于此，本文提出了融入概念相似度的计算动词决策树分类算法，该算法不仅引入计算动词概念，使得生成的决策树具有动态预测效果，还能够针对数据流中出现的概念进行存储，再一次出现时通过相似度计算进行历史概念匹配和查找，用相似度较高的一个或几个历史概念对应的分类器对其进行分类，大大加快了分类速度，更能够适应期货市场实时预测。
　　 本文首先阐述了数据挖掘背景以及期货市场量化投资的相关研究基础，指明在期货市场量化投资的策略上，应用数据挖掘相关知识能够达到较好的效果。然后简单的介绍了数据挖掘中隐含概念漂移的数据流分类算法，及期货市场量化投资现有的相关研究方法。
　　 其次，本文研究了融入概念相似度的隐含概念漂移的决策树分类算法。该算法通过概念的定义计算概念之间相似度，对相似度高的新概念免去学习过程直接用历史概念的分类器对其进行分类。同时介绍了计算动词决策树算法，通过引入计算动词概念，使得新的决策树能够体现动态变化过程。
　　 最后，本文结合上述两种算法研究一种新的融入概念相似度的计算动词决策树分类算法，首先对数据库进行动词化，然后当检测到数据流发生概念漂移时，算法并非直接对当前数据流进行训练得到新的分类模型，而是先对当前数据（概念外延）进行相似度检验，查找相似度高的概念内涵或者较高的概念内涵，使用高相似度概念内涵对应的分类器或者较高概念内涵对应的分类器组合对当前数据进行分类预测，使得算法在分类效率及准确率上大大提高。因此该算法包含上述两种算法的优点，最后本文通过期货市场的实证分析，在期货市场的投资收益率来体现算法的有效性。

目录

摘要

第一章 绪论

1．1 研究背景

1．1．1 数据挖掘概述

1．1．2 数据挖掘在期货市场的应用背景

1．2 研究目的和意义

1．3 本文主要研究内容及组织结构

第二章 研究基础综述

2．1 数据流挖掘常用模型

2．2 数据流分类算法研究

2．3 数据挖掘在量化投资中的应用

2．3．1 基于SOM网络的股票聚类分析方法

2．3．2 基于关联规则的板块轮动

2．3．3 基于SVM的复杂金融时间序列预测

2．4 本章小结

第三章 融入概念相似度的隐含概念漂移的决策树分类算法

3．1 问题描述

3．2 融入概念相似度的隐含概念漂移的决策树分类算法

3．2．1 集成分类器

3．2．2 概念的抽取与存储

3．2．3 概念漂移的检测

3．2．4 概念相似度的计算

3．3 算法描述

3．4 本章小结

第四章 计算动词决策树算法

4．1 计算动词

4．2 计算动词决策树的构建

4．2．1 数据库动词化

4．2．2 数据库数字化

4．2．3 2采样点计算动词之间的计算动词相似度

4．2．4 数据记录分类

4．2．5 影响因子的计算及根节点的选择

4．2．6 叶节点的选择

4．3 本章小结

第五章 融入概念相似度的计算动词决策树分类算法

5．1 问题描述

5．1．1 数据库动词化

5．1．2 相关定义的描述

5．2 概念相似度的计算

5．3 模型构建

5．3．1 概念树的构造

5．3．2 概念内涵的抽取与存储

5．3．3 决策树分裂准则的确定

5．3．4 分类器准确率的评估

5．3．5 决策树剪枝

5．3．6 构建组合分类器

5．4 算法描述

5．5 本章小结

第六章 实证分析——算法在期货市场的应用

6．1 实验数据及目的

6．2 数据预处理

6．2．1 数据清理

6．2．2 Kendall系数计算

6．2．3 Kendall系数聚类分析

6．3 模型应用

6．3．1 数据库动词化

6．3．2 建立概念子树

6．3．3 存储概念信息

6．3．4 结果

6．4 结果分析

6．4．1 走势与开仓的关系

6．4．2 算法应用于模拟交易效果

6．5 实验对比

6．6 本章小结

第七章 总结与展望

7．1 总结

7．2 展望

参考文献

附录1

附录2

致谢