海量数据查询的优化处理及其在用电稽查系统中的应用

摘要

随着互联网技术的迅猛发展，Web应用中的数据量越来越大，海量数据的访问和处理已成为信息技术研究的热点。移动公司的基站普遍存在着用电管理难、盗电严重、无法及时检测基站设备故障和老化等问题，对移动公司的通信保障和用电开支有着严重的影响。移动公司的动力环境集中监控平台虽然能提供详实的用电数据，但这些数据非常杂乱和庞大，不适合进行数据统计和分析，从而无法在实际工作中为用电管理提供数据支持和决策指导。
　　 本文提出了基于权重因子的缓存替换算法LFU-W，通过改进的替换算法提高缓存命中率，结合索引优化技术，达到提升海量数据查询效率的目的。针对移动公司在用电管理过程中存在的问题，详细阐述了基于海量数据查询的用电稽查系统的设计方法、实现和优化。主要内容为:
　　 (1)研究Ebbinghaus遗忘曲线的特点，并将其应用到基于时间序列的权重因子计算公式中，提出改进的基于权重因子的缓存替换算法LFU-W。根据用电数据查询的特点，综合运用索引和缓存技术，达到提升海量数据查询效率的目的，最大限度的提升系统的响应速度;
　　 (2)根据空调和开关电源的用电量，建立单项用电对比模型，通过对比分析找出设备是否有用电故障或线路老化的问题;
　　 (3)根据采集用电、理论用电、远程抄表用电和实际用电，建立总用电对比模型，通过对比分析找出基站是否有人为盗电或人工抄表不准确的问题。
　　 本文采用的基于索引和缓存技术的优化方法能大幅度提升海量数据的查询效率;提出的对比模型能准确而有效的分析出用电异常、盗电和设备故障等问题。通过实践应用证明，用电稽查系统可以规范用电管理，并产生良好的经济效益。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 研究目的和意义

1．3 研究现状

1．3．1 海量数据存取技术

1．3．2 缓存技术

1．4 研究的主要内容

1．5 论文组织结构

第二章 缓存的理论基础与相关算法

2．1 缓存技术概述

2．1．1 缓存的基本概念

2．1．2 缓存对象的生命周期

2．1．3 缓存对象的一致性策略

2．1．4 缓存的替换算法

2．2 改进的缓存替换算法

2．2．1 Ebbinghaus遗忘曲线的概念

2．2．2 基于权重因子的LFU-W改进算法

2．3 本章小结

第三章 海量数据查询的优化处理

3．1 基于索引技术的优化处理

3．1．1 索引技术概述

3．1．2 索引的选择和使用

3．1．3 优化效果分析

3．2 基于缓存技术的优化处理

3．2．1 对象生命周期的设计与实现

3．2．2 对象一致性的设计与实现

3．2．3 改进的LFU-W算法的设计与实现

3．2．4 优化效果分析

3．3 本章小结

第四章 用电稽查系统的设计与实现

4．1 开发方式选择

4．2 架构设计与功能模块

4．3 数据库设计

4．4 数据采集与解析

4．4．1 C接口概述

4．4．2 C接口初始化

4．4．3 实时数据采集与解析

4．5 用电数据查询与统计

4．5．1 用电管理

4．5．2 用电基础资料管理

4．6 构建对比分析模型

4．6．1 单项用电对比模型

4．6．2 总用电对比模型

4．7 优化实验效果分析

4．7．1 索引的查询效率分析

4．7．2 缓存的查询效率分析

4．8 本章小结

第五章 总结与展望

5．1 总结

5．2 实践应用与推广价值

5．3 展望

参考文献

致谢

攻读学位时期的主要研究成果