一种提高智能网荷互动终端数据存储效率及安全性的方法

摘要

本发明涉及一种提高智能网荷互动终端数据存储效率及安全性的方法，属于网络通信技术领域。该方法包括存储步骤、提取步骤、常规读取、数据恢复、网络求救各步骤，不仅由于将逻辑文件以化零为整的方式存储于物理文件，因此显著增加了存储容量，并且引入了一级索引和二级索引文件，因此有效保证了数据的查找效率。此外，还采用了CRC32校验、压缩备份、网络求救多重保障机制，具备极强的数据恢复能力，确保了数据存储的安全性和终端运行的可靠性。

说明书

技术领域

本发明涉及一种提高数据存储效率及安全性的方法，尤其是一种提高智能网荷互动终端数据存储效率及安全性的方法，属于网络通信技术领域。

背景技术

智能网荷互动系统是一种基于高速网络通信以快速响应为目的、用于多条供配电线路电气量的采集、控制实时测控系统（参见申请号201310124359.5、名称《一种基于智能电网的网荷互动多维运行系统》的中国专利文献），其中含有位数不少的嵌入式智能自动化装置。为了降低成本，这些装置所用数据存储器Block大小一般为4K， 所用fat、yaffs等主流文件系统的最小处理单元与存储器Block一致，也为4K。因此，当文件大小仅为1K时，存储时实际占用的空间也会达到4K。结果，当存储的文件数量多且基本都是1K、2K的小文件时，存储空间的浪费十分严重，整体存储效率往往不足50%，结果无法满足数据存储量的需要。为此，不得不采用加大装置成本的大容量数据存储器。

此外，上述现有装置由于缺少文件备份及恢复机制，因此数据安全性欠佳。当文件中个别字节发生异常时（比如因环境影响发生字节突变——0变成1、1变成0），很可能导致文件整体破坏，一旦被破坏的文件属于系统类或特别重要的参数类文件，有可能导致包括自动化装置进入错误运行模式在内的严重后果。

发明内容

本发明的目的在于：针对上述现有技术存在的问题，提出一种可以有效降低存储浪费空间、显著提高智能网荷互动终端数据存储效率及安全性的方法，从而以尽可能经济的成本满足数据存储需求。

本申请将文件系统支持的文件称为物理文件，将数据存储器的单个物理Block称之为文件块（4K大小），将自动化装置使用的业务文件称为逻辑文件，逻辑文件面对用户程序，以参数属性分类。单个物理文件最大配置为256K（可根据产品需求调整），最多由64个文件块组成。逻辑文件大小不限，分别存储在物理文件上。

为了达到以上目的，本发明提高智能网荷互动终端数据存储效率及安全性的方法包括以下步骤：

第1步、存储步骤

1.1步、将存储空间划分为常规区和备份区；

1.2步、建立保存每个逻辑文件在物理文件中包括名称、地址、长度、校验码在内存储信息的二级索引文件；

1.3步、针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应的一级索引文件，存储于内存中；

1.4步、将小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在常规区的物理文件上；同时将压缩后小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在备份区的物理文件上；

第2步、提取步骤

2.1步、在一级索引文件中查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置；

2.2步、根据在一级索引文件查找确定的下标位置，在二级索引文件中定位到指定逻辑文件，提取出该逻辑文件在常规区和备份区中对应的物理文件存储信息；

第3步、常规读取

3.1步、按照提取到的常规区存储信息中的物理文件名称，调用文件系统open函数尝试在常规区打开对应名称的物理文件；若打开失败，则提示打开不成功，进入数据恢复步骤；若打开成功，则提示可以进行物理文件的常规读写操作，进行下步；

3.2步、按照提取到的常规区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在常规区物理文件中读取对应逻辑文件的内容；若读取失败，则提示读取不成功，进入数据恢复步骤；若读取成功，则提示读取成功，返回实际读取文件；

3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确；

第4步、数据恢复

4.1步、按照提取到的备份区存储信息中的物理文件名称，调用文件系统open函数尝试在备份区打开对应名称的备份物理文件；若打开失败，则提示打开不成功，进入网络求救步骤；若打开成功，则提示可以进行备份物理文件的常规读写操作，进行下步；

4.2步、按照提取到的备份区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在备份区物理文件中读取对应逻辑文件的内容；若提示读取不成功，进入网络求救步骤；若读取成功，提示读取成功，返回实际读取文件，进行下步；

4.3步、尝试解压实际取得文件；若解压缩失败，则返回解压不成功，进入网络求救步骤；若解压成功，则提示解压成功，返回实际解压文件，进行下步；

4.4步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，并修复对应常规区的逻辑文件；

第5步、网络求救

5.1步、以广播方式发送带终端自身地址addr以及身份标志 identity的“网络求救”报文，等待回复；

5.2步、接收到同伴终端回复的“愿意施救”报文后，与同伴终端建立密码为自身地址的FTP链接；

5.3步、FTP链接建立成功后，下载自身异常的参数文件，下载成功后替换自身常规区、备份区内的异常文件。

本发明进一步的完善是，所述1.3步为针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应下标位置的一级索引文件，存储于内存中。因为二级索引内的逻辑文件名称通常是乱序的（例如第1个逻辑文件名是A，在二级索引中，下标位置是0；第2个逻辑文件名是B，在二级索引中，下标位置是1；第3个逻辑文件名是AY，在二级索引中，下标位置是2；第4个逻辑文件名是AZ，在二级索引中，下标位置是3；文件名A、B、AY、AZ，不是按照字母先后顺序排的），查找时需要逐一查找，效率低。而按照字母先后进行排序，重新生成了一份索引文件，即一级索引（例如第1个逻辑文件名是A，在二级索引中，下标位置是0；第2个逻辑文件名是AY，在二级索引中，下标位置是2；第3个逻辑文件名是AZ，在二级索引中，下标位置是3；第4个逻辑文件名是B，在二级索引中，下标位置是1），按字母排序查找，立即知其在二级文件中的下标后，即一步到位直接到二级文件对应下标，从而高效提取到所需逻辑文件。

本发明又进一步的完善是：所述2.1步、在一级索引文件中采用二分查找法查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置。这样可以避免逐一查找，实现快速定位。

本发明还进一步的完善是：所述3.2步之后紧接3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确。

本发明更进一步的完善是：所述4.2步和4.3步之间还具有4.2-3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，进行下步。

本发明不仅由于将逻辑文件以化零为整的方式存储于物理文件，因此显著增加了存储容量，并且引入了一级索引和二级索引文件，因此有效保证了数据的查找效率。此外，还采用了CRC32校验、压缩备份、网络求救多重保障机制，具备极强的数据恢复能力，确保了数据存储的安全性和终端运行的可靠性。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明一个实施例的一级索引文件结构示意图。

图2是本发明一个实施例的二级索引文件结构示意图。

图3是本发明一个实施例的常规区存储结构示意图。

图4是本发明一个实施例的备份区存储结构示意图。

图5是本发明一个实施例的常规操作流程图。

图6是本发明一个实施例的数据恢复流程图。

图7是本发明一个实施例的网络求救流程图。

具体实施方式

实施例一

本实施例提高智能网荷互动终端数据存储效率及安全性的方法包括如下步骤：

第1步、存储步骤

1.1步、将存储空间划分为常规区和备份区；

1.2步、建立保存每个逻辑文件在物理文件中包括名称、地址、长度、校验码在内存储信息的二级索引文件（参见图2）；

1.3步、针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应下标位置的一级索引文件（参见图1），存储于内存中；

1.4步、将小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在常规区的物理文件上；同时将压缩后小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在备份区的物理文件上；

第2步、提取步骤

2.1步、在一级索引文件中采用二分查找法查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置；

2.2步、根据在一级索引文件查找确定的下标位置，在二级索引文件中定位到指定逻辑文件，提取出该逻辑文件在常规区（参见图3）和备份区（参见图4）中对应的物理文件存储信息；

第3步、常规读取（参见图5）

3.1步、按照提取到的常规区存储信息中的物理文件名称，调用文件系统open函数尝试在常规区打开对应名称的物理文件；若打开失败，则提示打开不成功，进入数据恢复步骤；若打开成功，则提示可以进行物理文件的常规读写操作，进行下步；

3.2步、按照提取到的常规区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在常规区物理文件中读取对应逻辑文件的内容；若读取失败，则提示读取不成功，进入数据恢复步骤；若读取成功，则提示读取成功，返回实际读取文件；

3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确；

第4步、数据恢复（参见图6）

4.1步、按照提取到的备份区存储信息中的物理文件名称，调用文件系统open函数尝试在备份区打开对应名称的备份物理文件；若打开失败，则提示打开不成功，进入网络求救步骤；若打开成功，则提示可以进行备份物理文件的常规读写操作，进行下步；

4.2步、按照提取到的备份区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在备份区物理文件中读取对应逻辑文件的内容；若提示读取不成功，进入网络求救步骤；若读取成功，提示读取成功，返回实际读取文件，进行下步；

4.2-3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，进行下步；

4.3步、尝试解压实际取得文件；若解压缩失败，则返回解压不成功，进入网络求救步骤；若解压成功，则提示解压成功，返回实际解压文件，进行下步；

4.4步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，并修复对应常规区的逻辑文件；

第5步、网络求救（参见图7）

5.1步、以广播方式发送带终端自身地址addr以及身份标志 identity的“网络求救”报文，等待回复；

5.2步、接收到同伴终端回复的“愿意施救”报文后，与同伴终端建立密码为自身地址的FTP链接；

5.3步、FTP链接建立成功后，下载自身异常的参数文件，下载成功后替换自身常规区、备份区内的异常文件。

本实施例为有效降低物理文件的浪费空间，将多个逻辑文件存储在一个物理文件上，数据形成紧密型存储，不浪费额外的空间。另外，为了能够明确逻辑文件和物理文件的对应关系，增加了用于保存每个逻辑文件在物理文件中的名称、地址、长度、校验码等必要信息的索引文件。每次在对逻辑文件操作之前，先从索引文件中得到逻辑文件的信息。对逻辑文件进行操作后，将该逻辑文件的最新状态更新至索引文件中。

另外，除了以上常规区外，为了提升数据存储的安全性，针对各个逻辑文件，增设了备份区，对应的逻辑文件也存储在物理文件上。平时使用以常规区为主，只有常规区异常后，才使用备份区。因备份区的逻辑文件使用的概率极小，因此采用压缩方式存储，使用时临时解压缩，从而节省有限的存储空间，降低装置的硬件成本。