不确定数据质量评估系统的设计与实现

摘要

不确定数据广泛应用于RFID网络、市场分析等应用。目前存在着数据丰富、信息贫乏等问题。一方面是因为缺少行之有效的数据分析技术，另一方面则是因为数据质量差，例如数据重复、数据缺失、数据不一致、数据不完整等，这导致数据不能被有效地利用。而数据质量评估是解决数据质量问题的基础条件。目前，虽然数据质量评估已经得到了学者的广泛重视与研究，但是如何客观有效地进行不确定数据质量评估仍需进一步的研究与探索。
　　本文介绍了不确定数据分析的实际应用——不确定数据质量评估系统。系统使用JAVA语言进行开发，并使用MyEclipse作为开发工具;数据库的开发使用标准的SQL语言，并将MySQL作为数据库管理系统。系统集合了用户管理、数据文档管理、日志管理、数据质量评估以及界面显示五大模块。系统实现了对用户、数据文档及日志的有效管理，实现了不确定数据的不确定密度、结果果断性、重复性及完整性维度的评估，并且生成详细的数据质量评估报告日志文件。系统中涉及的数据信息的存储利用了MyEclipse中的Hibernate框架。采用hql语句对数据库进行操作。系统在实现重复性检测的过程中，采用了分块的技术对数据进行预先处理，提高了重复性评估效率。
　　本文首先介绍了不确定数据质量评估的国内外研究现状以及相关研究内容。然后从需求、可行性以及数据源三个方面对系统进行分析，明确了系统需要实现的功能以及系统的可行性。接着对系统进行了总体设计与功能模块设计。由于系统中的一些模块设计比较复杂，设计操作比较多，因此，在总体设计的基础上，对系统进行了详细设计与实现。然后通过对系统的测试，对系统功能和性能进行评估。最后总结了系统的特点与不足，并指出未来的工作方向。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 课题研究现状与存在的问题

1．2．1 研究现状

1．2．2 存在的问题

1．3 本文研究内容

1．4 本文组织结构

第2章 相关研究工作

2．1 不确定性数据

2．2 数据质量评估

2．2．1 数据质量评估维度

2．2．2 数据质量评估模型

2．3 本章小节

第3章 系统分析

3．1 需求分析

3．1．1 系统任务

3．1．2 功能性需求

3．1．3 非功能性需求

3．2 数据源分析

3．3 可行性分析

3．3．1 技术可行性

3．3．2 经济可行性

3．3．3 操作可行性

3．4 系统运行环境

3．5 本章小结

第4章 系统设计

4．1 总体设计

4．1．1 功能模块的划分

4．1．2 系统数据库设计

4．2 模块设计

4．2．1 用户管理模块

4．2．2 数据文档管理模块

4．2．3 日志管理模块

4．2．4 质量评估模块

4．2．5 界面显示模块

4．3 本章总结

第5章 系统详细设计与实现

5．1 用户管理模块

5．2 数据文档管理模块

5．3 日志管理模块

5．4 数据质量评估模块

5．4．1 不确定密度评估

5．4．2 结果果断性评估

5．4．3 重复性评估

5．4．4 完整性评估

5．5 界面模块

5．6 本章总结

第6章 系统测试

6．1 测试方法

6．2 测试内容

6．2．1 单元测试

6．2．2 集成测试

6．2．3 功能测试

6．2．4 易用性测试

6．2．5 安全性测试

6．3 测试结论

6．4 本章小结

第7章 结论与展望

7．1 工作总结

7．2 未来展望

参考文献

致谢

攻读硕士学位期间发表的论文和参加的项目