海量数据查询优化算法的研究

摘要

随着计算机应用系统和网络技术不断的发展和完善，当前，越来越多的商业和政府部门都需要操作海量数据，如物流行业、水利部门、科研部门等这些部门处理的数据量通常都非常大。并且当前的数据包括报表、文字、声音、图像、等各种不同种类和层次的信息，这些数据有着巨大的价值。当数据库的数据量过大时，会出现系统效率低、消耗大等问题;另一方面数据里也有很多无用的冗余，设计人员需要在存储、管理、处理、优化等各个环节中加以处理，提取出所需要的信息。所以海量数据存储管理在各行业的信息化过程中越来越重要，受到了业内人士的广泛关注，因此对海量数据存储查询算法的研究就很必要。
　　本文综述了海量数据管理技术的研究及应用现状，在介绍了数据库的存储优化数据管理的基础上，基于索引应用、top-k查询算法、SQL语句、页面分割等方面的一些优化算法和技术，提出了一整套综合性的优化方案，并给出了具体操作和实验数据，最后设计与实现了大型房产收费系统，收费系统在各个环节细致设计、全面优化。经实验测试后，可以明显看出房产收费系统的运行和查询速度有了明显的提高。由此可见，文中采用的优化文法对海量数据的查询优化是正确有效的。

目录

摘要

第一章 引言

1．1 研究背景

1．2 课题研究的目的和意义

1．3 课题研究的现状

1．4 课题研究的主要内容

1．5 论文组织结构

第二章 海量数据的存储的研究

2．1 海量数据存储相关技术和算法

2．1．1 海量数据的一般存储策略研究

2．1．2 海量数据的存储模式

2．2 房产收费系统存储方案设计

2．2．1 海量数据存储介质的优化

2．2．2 存储分区和碎片整理机制的优化

2．2．3 系统存储模式的设计

2．3 实验对比

2．4 本章小结

第三章 海量数据查询优化算法的研究

3．1 基于精确查询的优化处理技术

3．1．1 并行分离技术

3．1．2 数据聚集

3．1．3 哈希表查询

3．1．4 分布式查询优化

3．2 基于近似查询技术优化处理技术

3．2．1 抽样技术

3．2．2 直方图技术

3．3 Top-k查询算法

3．3．1 经典的Top-k查询算法——TA算法

3．3．2 NRA算法

3．3．3 Basic Traveler算法

3．3．4 TRAVELER算法

3．3．5 近似查询的TABE算法

3．4 基于改进的Top-k查询优化处理算法

3．5 实验对比

3．4 本章小结

第四章 基于改进的优化查询算法在房产收费系统中的应用

4．1 开发环境及技术介绍

4．2 系统功能和模块设计

4．3 查询综合优化

4．3．1 查询索引的优化设计

4．3．2 SQL查询及改进Top-k查询算法的应用

4．3．3 数据分表的优化

4．3．4 查询优化综合测试

4．4 本章小结

第五章 总结与展望

5．1 总结

5．2 进一步展望

致谢

参考文献

作者简介

攻读硕士学位期间研究成果

声明