基于评价模型的基金数据质量管理平台的设计和实现

摘要

在信息时代，数据在信息化建设中扮演着越来越重要的作用。然而随着应用系统产生的数据量的不断增多，各种数据问题也随之产生，数据缺失、错误、不一致等数据问题给企业带来了巨大的损失。
　　本文在分析现有质量评估模型的基础上，从当前基金数据存在的主要问题出发，选择完整性、有效性、唯一性三个指标建立了基金数据质量评估模型。从定量的角度对基金数据质量进行评估，可以帮助使用这些数据的用户或系统了解当前基金数据质量的情况，对是否采用这些数据或进行进一步处理提供决策依据。在此基础上，本文提出了针对各种业务场景的数据质量提高方法。基于评估模型和当前存在的基金数据质量问题，本文从提高数据质量的需求出发，利用重复数据检测、异常数据处理、缺失数据处理等相关数据质量提高技术以及Spring、Hibernate等相关技术，设计并实现了基金数据质量管理平台。
　　本文最后通过具体的实例数据，首先使用基金数据质量评估模型对其进行了质量评估，然后使用基金数据质量管理平台解决了原始数据中数据重复、异常、缺失等问题。通过对比前后数据质量得分和基金数据可视化系统展示效果可以看出，基金数据质量确实得到了提高，并为用户做出正确的判断提供了依据，证明了评价模型的可用性和基金数据质量管理平台的实用性。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 课题背景与研究意义

1．1．1 课题背景

1．1．2 研究意义

1．2 研究现状及存在的问题

1．2．1 数据质量评估国内外研究现状

1．2．2 数据质量管理国内外研究现状

1．2．3 存在的问题

1．3 论文目标与组织结构

1．3．1 论文主要内容

1．3．2 论文结构安排

1．4 本章小结

第2章 相关技术研究与分析

2．1 数据质量提高相关技术

2．1．1 重复对象检测

2．1．2 缺失数据处理

2．1．3 异常数据检测

2．1．4 不一致数据处理

2．2 系统构建相关技术分析

2．2．1 MVC模式

2．2．2 SSH框架介绍

2．3 本章小结

第3章 基金数据质量评价模型的建立

3．1 被评价对象的确定

3．1．1 基金数据

3．1．2 数据质量

3．1．3 基金数据质量

3．2 评价指标的选取与定义

3．2．1 评价指标的选取

3．2．2 评价指标的定义

3．3 评价指标计算

3．3．1 符号定义

3．3．2 完整性指标计算

3．3．3 有效性指标计算

3．3．4 唯一性指标计算

3．4 权重的确定

3．5 基金数据质量评价模型

3．6 本章小结

第4章 基于评价模型的基金数据质量管理方法

4．1 基于评价模型的基金数据质量管理方法简介

4．2 重复数据检测

4．2．1 数据重合

4．2．2 数据相似

4．3 异常数据检测

4．3．1 范围异常

4．3．2 类型异常

4．3．3 语义异常

4．4 缺失数据处理

4．4．1 缺失数据的定义和判定

4．4．2 缺失数据的处理方法

4．5 不一致数据处理

4．5．1 不一致数据的定义和判定

4．5．2 不一致数据处理方法

4．6 本章小结

第5章 基金数据质量管理平台的设计和实现

5．1 需求分析

5．1．1 概述

5．1．2 功能需求

5．1．3 非功能需求

5．2 系统设计

5．2．1 概要设计

5．2．2 数据库设计

5．2．3 详细设计

5．3 系统实现

5．3．1 开发环境

5．3．2 系统登录

5．3．3 数据采集

5．3．4 重复数据检测

5．3．5 异常数据检测

5．3．6 逻辑错误检测

5．3．7 不一致数据处理

5．3．8 缺失数据处理

第6章 质量评估模型和基金数据质量管理平台应用

6．1 数据准备

6．1．1 数据源选取

6．2 数据质量评估模型的应用

6．2．1 完整性得分计算

6．2．2 有效性得分计算

6．2．3 唯一性得分计算

6．2．4 权重的确定

6．2．5 数据质量最终得分计算

6．3 基金数据管理平台的应用

6．4 系统应用前后数据评估结果对比与分析

6．5 基金数据可视化系统应用

6．6 本章小结

第7章 总结与展望

7．1 本文总结

7．2 研究展望

参考文献

攻读硕士学位期间主要的研究成果

致谢