省食药监局门户系统数据同步的研究与实现

摘要

随着政府机构改革的深化和网络信息化的普及程度不断提高，政府机关加大了对信息系统的建设。省食品药品监督管理局门户系统是食药监局重点建设的信息系统之一。门户系统主要分为了网站页面部分和后台服务部分。前端页面部分提供用户浏览功能，后台服务部分对内提供系统管理服务。
　　本文主要研究门户系统的数据同步部分。该部分的工作是对系统核心信息的备份。针对系统后台对页面的创建、修改和删除操作，同步部分在备份端完成同样的操作。其中，数据修改的同步涉及到同步算法的设计，这是本文的研究重点。
　　基于对经典同步算法Rsync的理解与分析，结合省食药监局的数据特征，本文提出了基于Rsync改进的两轮同步方式。首先进行固定块数据校验，产生匹配的固定块数据对，对不匹配的固定块进行相似度检测，得到与其最接近的固定块，然后将匹配对和相似对都发送给备份端。再开始第二轮滑动块匹配，在相似对之间进行滑动校验，得到最终的差异数据。最后备份端根据匹配对和差异数据重构备份文件。
　　根据改进的同步算法，系统实现了主备服务器之间的数据同步。系统同步分为了三个部分，针对文件创建的同步、针对数据修改的同步、针对文件删除的同步。其中，文件创建和删除针对的是整体文件，仅需主备两端进行消息沟通与文件传输。数据修改的同步依据改进算法实现，需要主备两端配合实现数据块校验和计算、数据块匹配以及文件重构，并通过消息的交互完成修改同步。
　　在数据传输之前，算法需要将对象数据转化成可以发送的字节数据。因此，为了尽可能的降低网络流量，本文还描述了同步协议中校验和与差异数据的表示，在此基础上，也讨论了文件重构。
　　根据改进同步算法，系统完成了同步系统的设计与实现。并对同步进行了功能测试，测试达到了我们预期的目标。本文还对算法进行了性能测试，分别针对不同分块大小、不同数据、不同相似度检测、不同方式进行了对比测试，结果表明改进算法在保证精准性的同时，有效降低了数据传输量，更适合于本门户系统的情况。测试也得出了算法最佳性能的配置。

目录

声明

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1项目背景

1.2研究目的

1.3研究现状

1.4论文主要工作

1.5论文组织结构

第二章 相关技术与理论

2.1数据块校验和

2.2相似数据匹配

2.3数据压缩

2.4本章小结

第三章 基于Rsync的改进同步算法

3.1 Rsync算法原理与分析

3.2改进算法的基本原理

3.3改进算法的匹配过程

3.4改进算法的数据与压缩

3.5本章小结

第四章 基于改进算法的系统同步设计与实现

4.1门户系统整体设计

4.2系统同步整体设计与实现

4.3同步业务流程的设计与实现

4.4本章小结

第五章 系统测试

5.1实验目的

5.2实验环境

5.3功能测试

5.4性能测试

5.5本章小结

第六章 总结与展望

6.1论文主要工作总结

6.2进一步研究方向

参考文献

致谢

作者简介