基于喷泉码的智能电能表误差大数据安全存储装置及方法

摘要

一种基于喷泉码的智能电能表误差大数据安全存储装置及方法，所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储，本发明的技术效果：提升了存储效率；提升了存储空间利用率；解决了传统由于DataNode失效而导致的存储数据丢失问题；确保了用户数据的私密性保护。

说明书

技术领域

本发明涉及电能计量及营销大数据的存储技术领域，属于分布式计算、信息安全 的信息技术类应用领域，具体是一种基于喷泉码的智能电能表误差大数据安全存储装置及 方法。

背景技术

近年来，随着智能电能表大规模安装应用，电力用户侧数据呈指数级增长，海量数 据的存储变得越来越重要。传统意义的基于Oracle等大型关系数据库的电力数据存储系 统，具有分析速度慢、可伸缩性与可靠性差等缺点，难以适应智能电网时代电力大数据对数 据存储与分析的需求，已成为智能电网建设的瓶颈所在。

HDFS(HadoopDistributedFileSystem)是云计算Hadoop框架平台数据存储管 理的基础，是基于流数据模式访问和处理超大文件等的需求而开发的，并可以运行于廉价 的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为 海量数据提供了可靠的存储，为超大数据集(LargeDataSet)的应用处理带来了很多便 利。

Hadoop平台中电力数据的存储和数据收集方式直接影响着电力数据的可用性。数 据持久性通常是衡量感知数据在网络中可用性的主要指标。传统HDFS系统中提高数据持久 性的基本思想是部署一定数量的冗余节点，设法把感知数据以一定的方式拷贝“备份”存储 在其它节点上，使得任意节点发生故障时，其数据皆有机会在其它节点数据中继续存活。但 这样的方案通常具有较低的数据恢复性，且复杂度高，此外，HDFS的典型配置是每个文件块 需要存3份拷贝，空间利用率仅为33％；另一方面，将海量电力数据交由第三方的资源平台 提供的云服务器来管理，用户最终失去了对数据的控制权，电力数据信息的安全和用户隐 私保障依赖于云服务商。虽然云服务商能提供更高可靠性的数据备份和数据恢复能力，但 不能排除云服务商们出于自身利益考虑和外界因素的干扰，出现泄漏、隐藏、丢失用户存放 在云端的数据或者被恶意篡改等情况。为提升存储空间的利用率，保障数据拥有者的利益 以及数据用户查询数据的真实性和完整性，需要一个高效的电力大数据安全存储机制。

发明内容

基于以上问题，本发明在充分利用Hadoop分布式计算平台的开源、高效、稳定、容 错性高等优势的基础上，结合智能电表误差数据的波动具有稀疏特性的信源特点，首先对 采集到的智能电表误差数据进行稀疏表示，再将一种新的信道编码技术—喷泉码应用到 Hadoop云存储系统中，以满足智能电能表误差大数据存储空间高利用率与安全机密性的处 理要求。

本发明的技术方案：一种基于喷泉码的智能电能表误差大数据安全存储装置，其 特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大 数据存储平台；

所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；

所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数 据编译码；

所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。

HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。

所述HDFS客户端还包括喷泉码应用服务器。

所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现 智能电能表误差大数据进行分布式存储。

一种基于喷泉码的智能电能表误差大数据安全存储方法，其特征在于，所述方法 包括智能电能表误差数据写入和读取方法，所述的智能电能表误差数据写入方法包括如下 步骤：

(1)客户端通过身份验证，建立TCP/IP连接，通过一个可配置端口，连接到 NameNode并发起RPC远程请求；

(2)NameNode检查待创建的文件是否已经存在，创建者是否有权限进行操作；成功 则为文件创建一个记录，否则向客户端抛出异常；

(3)客户端写入智能电能表误差数据，HDFS客户端代理服务器首先对写入的误差 数据进行稀疏表示预处理，然后将数据文件等分成多个packets，利用喷泉码将packets编 码生成稍多于源报文的编码包，并在内部以数据队列的形式管理这些packets，同时将编码 矩阵信息存储在代理服务器中；

(4)根据名字节点NameNode提供的数据地址开始写入数据。写入流程开始后，数据 包以流的方式存入第一个DataNode，这个包完成写入后，数据包开始写入第二个DataNode， 直到成功写入最后一个DataNode，数据包写入完成后，反馈一个成功信息，完成一次智能电 能表误差数据写入。

所述步骤(3)的喷泉码编码技术为LT(LubyTransform)码。

所述的智能电能表误差数据读取方法包括如下步骤：

a.客户端代理服务器首先向NameNode发出读取数据操作申请，NameNode提供数据 包在集群中的存储地址；

b.根据提供的存储地址信息，客户端从相应的DataNode中读取所需数据块，客户 端利用喷泉码译码算法，结合接收到的编码包以及存储在HDFS客户端的编码矩阵信息，解 码信息包；

c.代理服务器解码成功后，通知请求客户端读操作完毕，客户端断开与DataNode 的连接。

所述步骤b的喷泉码译码技术为改进的高斯消元法OFG(On-the-FlyGaussian Elimination)。

所述改进的高斯消元法具体步骤如下，

1)假设原始编码符号序列为S＝[s₁,s₂,…,s_K]，初始化分配一个K×K的系数矩阵G 和一个K×1的编码符号向量

2)寻找编码符号$t_n(t_n=s_{i_1}\oplus s_{i_2}\oplus \mathrm{...}\oplus s_{i_{d_n}}=\overrightarrow{g_n}·\overrightarrow{s})$的系数向量中最左1的 坐标i；

(a)如果G_ii＝0，令G的第i行为的第i行为t_n，接收插入t_n+1到G中，重复步骤 2)；

(b)如果中1的个数小于G的第i行中1的个数，将与G的第i行交换，t_n与的 第i行交换，重复步骤2)；

(c)否则，令的第i行，的第i行，如果重复步骤(2)； 否则丢弃和t_n，接收t_n+1，重复步骤2)；

3)当G为上三角矩阵时，回代求解输入符号。

所述方法用于安全高效管理智能电能表误差数据。

本发明的技术效果：通过对智能电表误差数据进行稀疏预处理，去除了冗余信息， 提升了存储效率；通过喷泉码编码技术对误差数据进行编码，而不是传统的将误差数据备 份存储，提升了存储空间利用率；利用喷泉码编译码复杂度低，译码成功率高，解决了传统 由于DataNode失效而导致的存储数据丢失问题；并进一步地通过将编码矩阵信息存储在 HDFS客户端，未授权用户在访问得到DataNode所存储的编码包信息时，仍不能解码得到智 能电表误差数据，确保了用户数据的私密性保护。

相比现有技术，本发明具有以下有益效果：

(1)通过稀疏预处理，去除冗余信息，系统存储效率高；

(2)喷泉码编译码复杂度低，扇区访问时间短，且某个存储节点的失效不影响整个 系统数据的恢复，数据不会丢失，数据恢复性好，传输吞吐量高；

(3)喷泉码编码冗余开销小，客户端只需接收到稍大于源信息分组即能译码成功， 存储效率高；

(4)喷泉码是一种随机线性编码，只有HDFS客户端知道编码矩阵信息，编码度值和 参与编码的数据信息分组对于未授权用户具有保密性，存储的数据具有很好的私密性。

附图说明

图1为本发明存储装置结构示意图。

图2为本发明基于喷泉码的智能电能表误差数据写入示意图。

图3为本发明基于喷泉码的智能电能表误差数据读取示意图。

图4所示为本发明改进的高斯消元法OFG译码实施例。

图中：1—智能电能表自助误差校准装置，2—HDFS客户端，3—Hadoop大数据存储 平台，4—HDFS服务器，5—喷泉码应用服务器。

具体实施方式

下面结合附图对本发明进一步说明：

本发明提出一种基于喷泉码的智能电能表误差大数据安全存储装置及方法，智能 电能表自助误差校准装置采集智能电能表误差数据后，交由HDFS客户端稀疏表示、分组预 处理，去除信源冗余信息；利用喷泉码编码技术对分组后的数据包编码，喷泉码编译码复杂 度低，只需稍多于源信息分组的编码包，接收端即能完全译码成功，提升了传统基于“拷贝” 备份机制以保证数据持久性方案的存储空间利用率，且通过将编码矩阵信息存储在HDFS客 户端，编码矩阵信息具有私密性，未授权用户即使能够访问得到存储节点上的编码包数据， 仍不能译码得到智能电能表误差数据。

如图1所示，一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在 于：所述装置包括依次连接的智能电能表自助误差校准装置1、HDFS客户端2、Hadoop大数据 存储平台3；

所述智能电能表自助误差校准装置1，用于采集被测智能电能表数据；

所述HDFS客户端2用于对采集到的智能电能表数据进行预处理，并对预处理后的 数据编译码；

所述Hadoop大数据存储平台3用于对智能电能表误差大数据进行分布式存储。

HDFS服务器4连接所述HDFS客户端2用以控制管理HDFS客户端2。

所述HDFS客户端2还包括喷泉码应用服务器5。

所述Hadoop大数据存储平台3设置有多个机架，每个机架上存放存储器，用以实现 智能电能表误差大数据进行分布式存储。

所述的HDFS客户端，在存储智能电能表数据时，具体用于对采集的智能电能表数 据进行稀疏表示、等分分组预处理，并利用LT码编码技术对预处理后的智能电能表数据编 码；在读取智能电能表数据时，具体利用改进的高斯消元法对Hadoop大数据存储平台发送 过来的数据译码、并对译码后的数据进行重构，整合处理，以得到原智能电能表数据。

所述的Hadoop大数据存储平台采用HDFS对编码包数据进行分布式存储与读取管 理。HDFS具有处理超大文件、流式的访问数据；运用与廉价的商业集群。

如图2所示所述的智能电能表误差数据写入方法包括如下步骤：

(1)客户端通过身份验证，建立TCP/IP连接，通过一个可配置端口，连接到 NameNode并发起RPC远程请求；

(2)NameNode检查待创建的文件是否已经存在，创建者是否有权限进行操作；成功 则为文件创建一个记录，否则向客户端抛出异常；

(3)客户端写入智能电能表误差数据，HDFS客户端代理服务器首先对写入的误差 数据进行稀疏表示预处理，然后将数据文件等分成多个packets，利用喷泉码将packets编 码生成稍多于源报文的编码包，并在内部以数据队列的形式管理这些packets，同时将编码 矩阵信息存储在代理服务器中；

(4)根据名字节点NameNode提供的数据地址开始写入数据。写入流程开始后，数据 包以流的方式存入第一个DataNode，这个包完成写入后，数据包开始写入第二个DataNode， 直到成功写入最后一个DataNode，数据包写入完成后，反馈一个成功信息，完成一次智能电 能表误差数据写入。

如图3所示，所述的智能电能表误差数据读取方法包括如下步骤：

a.客户端代理服务器首先向NameNode发出读取数据操作申请，NameNode提供数据 包在集群中的存储地址；

b.根据提供的存储地址信息，客户端从相应的DataNode中读取所需数据块，客户 端利用喷泉码译码算法，结合接收到的编码包以及存储在HDFS客户端的编码矩阵信息，解 码信息包；

c.代理服务器解码成功后，通知请求客户端读操作完毕，客户端断开与DataNode 的连接。

如图4所示为本发明改进的高斯消元法OFG译码实施例。

图4(a)为初始化的5×5阶矩阵G，显然G不满足上三角化，此时不能译码成功，需要 接收新的编码符号来完成译码。假设新接收的编码符号的系数向量最左1 的位置为i＝2，因为G_ii＝0，所以接收得到图4(b)所示的编码矩阵G¹，此时仍不能满足 上三角化条件。若新接收的编码符号的系数向量为此时最左1的位置为i ＝1，由于中1的个数为3大于G¹中第1行中1的个数2，于是的第1行，得到 但G¹₂₂＝1，且G¹第2行1的个数为2大于中1的个数，将G¹的第2行与交换，此时G¹的第2行变为G¹[2]＝[01000]，并将G¹[2]与异或得到 同理由于中1的个数小于G¹[3]中1的个数，交换得到G¹[3]＝[00100]， 如此反复更新，最终得到如图4(c)所示的编码矩阵G²，此时满足上三角化条件，能译码成 功。与传统高斯消元法得到的编码矩阵相比，如图4(d)所示，显然利用改进的高斯消元法 OFG能够得到更加稀疏的上三角矩阵，因此降低了译码运算复杂度。

本发明的基于喷泉码的智能电能表误差大数据安全存储装置及方法，通过对智能 电表误差数据进行稀疏预处理，去除了冗余信息，提升了存储效率；通过喷泉码编码技术对 误差数据进行编码，而不是传统的将误差数据备份存储，提升了存储空间利用率；利用喷泉 码编译码复杂度低，译码成功率高，解决了传统由于DataNode失效而导致的存储数据丢失 问题；并进一步地通过将编码矩阵信息存储在HDFS客户端，未授权用户在访问得到 DataNode所存储的编码包信息时，仍不能解码得到智能电表误差数据，确保了用户数据的 私密性保护。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。