基于Hadoop的互联网医药大数据的获取及应用

摘要

在大数据和医药背景下,搭建Hadoop框架,使用MapReduce编程模型,优化互联网数据挖掘框架。实现以"百度学术"搜索引擎网页数据为数据源,使用文本挖掘技术从数据量巨大且价值密度极低的网页信息中采集医药数据;在进行必要的数据清洗后,通过改进的模糊语意概率兴趣度模型进行医药数据挖掘,更高效地获取有价值的关联规则。并从药品-疾病、药品-药品以及疾病-疾病3个维度组合对挖掘的关联规则的药学意义进行解读。