云计算环境下的中医病症数据挖掘系统研究与设计

摘要

近年来数据的急剧增长对于传统的单机数据挖掘来说是一项重大的挑战，如何有效的利用数据挖掘技术，通过强大的数据处理能力，从这些海量的数据中挖掘出有价值的信息成为了数据挖掘中的关键问题，而云计算的出现刚好有效解决了数据挖掘中所面临的上述问题。 为突破对中医药大数据量存储与计算的瓶颈问题，本文首先对具有高效处理数据能力的Hadoop与Spark体系原理进行了深入分析，并以此为背景，针对传统关联规则FP-Growth算法在构造其FP-Tree时需要频繁进行递归挖掘，从而导致的大计算量问题，设计出了并行化改进的优化方案：利用HDFS分布式存储的特点将数据集切分存储到多个节点中，采用“分而治之”的思想对每个节点中的数据计数并分组，最后通过局部FP-Growth处理提高算法的整体效率；接着为实现改进的FP-Growth算法在中医哮喘病数据中的有效挖掘，分别在搭建好的Hadoop集群与Spark集群中运行该算法验证其性能与可行性。实验结果证明，该算法可以很好的运行在两种平台当中，且两者均具有较高的计算效率和数据处理能力。但对于需要进行多次迭代的算法，Spark这种基于内存的RDD抽象模型具有更高的效率，且随着数据量的增大，Spark的优势更明显。 最后基于以上工作，设计出了一个集中医药数据管理和数据挖掘功能于一体的基于云计算环境的中医病案数据挖掘系统，并对系统所提供的功能进行了比较详细的分析与设计，实现了并行化FP-Growth算法在中医哮喘病症中的具体应用。最终对挖掘结果进行分析，发现了哮喘病症中病症与证型、病症与方药、方药配伍之间的规律。结果证明算法的并行化改进大大提升了计算效率，且对挖掘结果分析发现符合实际中医诊断经验，对于中医临床诊断具有一定的参考价值与辅助作用。

目录

第一个书签之前

744

攻读学位期间发表的学术论文目录