基于MMTD的大数据质量评价方法研究

摘要

近年来，随着互联网、物联网、云计算技术的迅猛发展，数据规模呈现出了爆炸性增长的趋势，大数据成为了国内外研究热点之一。由于大数据中蕴含着巨大的价值，引起了政府和企业的高度关注。然而，只有在高质量数据的基础上，大数据才能发挥效能，只有在高质量的数据中才能获得有效、准确的信息。可是，在大数据环境下，数据类型繁多，且增长速度惊人以及数据量巨大无法满足数据使用的需求，因此，在建立用于数据分析和决策的高质量数据环境下，对大数据的数据质量进行有效的分析和评价十分重要。
　　本文首先对中介数学以及中介真值程度度量方法(measuring of medium truth degree,MMTD)进行了介绍，在此基础上采用中介逻辑对大数据数据质量评价维度进行了定性分析和定量分析。主要工作如下：
　　（1）研究了大数据环境下结构化数据、非结构化数据和半结构数据的规范性表示。根据大数据的3V特性，分析了大数据环境下数据有效性的评价维度，并给出大数据环境下，影响数据有效性的主要维度：数据完整性、数据正确性和数据相容性的定义，采用中介逻辑的方法对数据有效性的各个维度进行了定性分析，并建立了基于MMTD的大数据的数据有效性的测度模型。
　　（2）研究了大数据中不同的数据类型的信息量度量，并分别给出几种典型的结构化、半结构化以及非结构化数据的信息量度量方法。
　　（3）在Hadoop分布式系统上，设计并实现了一个基于SSM框架的大数据质量评价系统。系统采用接口编程，可以接入其他的功能模块，增强了系统的可扩展性，将整个系统的所有功能都分成单独的模块，修改时只需要修改相应的模块，增强了系统的维护性，并提供评价规则集，可以使用系统中定义的规则集或自定义规则，增强了系统的可用性。在该系统上验证了本文提出的评价模型的合理性和科学性。

目录

声明

第一章 绪论

1.2国内外研究现状

1.3论文研究内容与结构安排

1.4本章小结

第二章 中介数学以及MMTD

2.2 MMTD简介

2.3 MMTD在评价领域的应用

2.4本章小结

第三章 大数据环境下数据有效性的研究

3.2数据规范化

3.3数据有效性维度分析

3.4基于MMTD的大数据数据有效性测度模型

3.5本章小结

第四章 大数据环境下数据信息量度量方法研究

4.2大数据的数据信息量

4.3大数据环境下数据信息量的度量

4.4本章小结

第五章 大数据质量评价系统的设计与实现

5.2相关技术介绍

5.3概要设计

5.4详细设计

5.5基于MMTD数据质量评价模块的实现

5.6数据库设计

5.7系统的开发环境

5.8环境配置

5.9功能实现

5.10本章小结

第六章 总结与展望

6.2展望

参考文献

附录1 攻读硕士学位期间申请的专利

附录2 攻读硕士学位期间参加的科研项目

致谢