一种复杂海洋环境数据采集的分布式存储方法及系统

摘要

本发明公开了一种复杂海洋环境数据采集的分布式存储方法及系统，提供了在存储节点随着海浪、潮汐等自然因素产生较大范围的位移后的各种场景的备份机制，回到原分簇的簇区内或者移动到其他分簇的簇区内的恢复机制，避免了在海洋环境中由于洋流、气候、或者潮汐的变化产生的干扰，根据RSSI的信号衰减进行动态的控制各个分布式的无线传感网络节点的网络数据存储，提高了数据存储的安全性和可靠性，有效的保障了整个分布式存储网络的数据完整性，提高了数据丢失的抗风险能力。

说明书

技术领域

本公开属于海洋大数据存储、数据处理、数据调度领域，具体涉及一种复杂海洋环境数据采集的分布式存储方法及系统。

背景技术

在海洋环境数据的采集中，由于风浪、潮汐、洋流、火山等海洋的自然环境和地质结构影响，海洋环境的数据采集极其复杂并且浩如烟海，涵盖了海底地形数据、海洋遥感数据、船测数据、浮标数据、随着海洋监测设备的不断发展，海洋数据采集的数量和方式与日俱增，海洋监测的存储的数据也日益庞大，形成了海量的大数据需要传输和存储，但是由于洋流、气候、或者潮汐的变化产生大量的干扰，会对会使无线信号通信中断，或者产生信号衰减，使得传输数据缩短或者丢失数据包，目前的大数据存储的存储方法主要是通过虚拟化可以自动配置存储设备及其空间，其应用在海洋大数据存储中通信的安全性有待提高，难以保障数据的完整性和可靠性。

发明内容

本发明的目的在于提出一种复杂海洋环境数据采集的分布式存储方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，根据本公开的一方面，提供一种复杂海洋环境数据采集的分布式存储方法，所述方法包括以下步骤：

S100，初始化无线传感器网络，通过HEED算法或者LEACH算法对无线传感器网络分簇；

S200，在每个分簇的簇区中(分簇的簇区是由HEED算法或者LEACH算法对无线传感器网络分簇得到)，计算分簇簇区内各个普通节点到簇头节点距离的平均值D；

S300，在每个分簇的簇区中，标记以在簇头节点的位置为圆心、以D为半径的圆形区域中的普通节点为存储节点(由于这些存储节点在较集中的靠近簇头的地理位置区域内，这些存储节点相对而言丢失或漂走的可能性较小)；

S400，从各个簇区中没有标记为存储节点的普通节点中与存储节点轮换选择数据采集节点或者以各个簇区中没有标记为存储节点的普通节点作为数据采集节点，并通过数据采集节点开始采集数据，并将采集到的数据均衡的存储到各个存储节点中；

S500，实时计算各个数据采集节点与分簇簇头节点之间的RSSI信号强度，取所有数据采集节点与分簇簇头节点之间的RSSI信号强度值的算术平均值作为簇区RSSI基准值；(由于数据采集节点基本都在存储节点分布区域的外层，存储节点如果离开了外层区域将面临着数据通信信号衰减或者丢失的风险)；

S600，在各个簇区中，当有存储节点的RSSI信号强度小于簇区RSSI基准值时(即该存储节点随着海浪、潮汐等自然因素产生较大范围的位移，漂离分簇的簇区)，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中，将所述数据(该存储节点内部存储的数据)标记为待恢复数据，并将该存储节点标记为危险节点。

进一步地，无线传感器网络中至少包括基站服务器、多个无线传感器节点；无线传感器节点至少包括传感模块、计算模块、无线通信模块、电源模块，其中，传感器模块包括用于采集声呐数据、风力、地震、电磁、温度、湿度、噪声、光强度、压力、水质成分、移动物体的大小、速度和方向中任意一种或多种物理量的传感器以及模拟数字转换器，计算模块包括微控制单元MCU和存储器；电源模块为电池或振动发电机；

进一步地，无线传感器节点为浮标式无线水质监测站、声纳浮标、海洋浮标、无线浮标传感器、无线电浮标、Argo浮标中任意一种。

进一步地，初始化无线传感器网络为在一个选定的水域内以飞机或船只随机播撒各个无线传感器节点，并且启动各个无线传感器节点的电源。

进一步地，通过HEED算法或者LEACH算法对无线传感器网络分簇后，所述的无线传感器网络分为多个分簇，每个分簇为一个簇区，每个分簇的簇区内包括至少一个簇头节点和至少一个普通节点，普通节点为每个分簇的簇区中未被选为簇头节点的无线传感器节点；各个簇头节点之间通过OSPF协议、RIP协议的其中一种路由算法生成通往基站服务器(设置于船舶、飞机、岸基的基站)的路由路径；

将第N个无线传感器节点称为第N节点，第N+1个无线传感器节点称为第N+1节点，依次类推；N取值范围为[1,M]；无线传感器节点的数量为M，其中，M为大于或等于3的自然数。

进一步地，在S200中，计算分簇簇区内各个普通节点到簇头节点距离的平均值D的方法为：在每个分簇的簇区中，以分簇簇区内第i个普通节点到簇头的距离作为第i个参考距离，计算第1个到第k个参考距离的平均值D，

进一步地，在S400中，从各个簇区中没有标记为存储节点的普通节点中与存储节点轮换选择数据采集节点的方法为：计算各个簇区中所有普通节点的剩余能量的算数平均值作为轮换阈值，选择普通节点中剩余能量高于轮换阈值的所有普通节点作为数据采集节点；当存在数据采集节点的剩余能量小于轮换阈值时，将该数据采集节点标记为存储节点并且将存储节点中剩余能量最高的存储节点作为数据采集节点。

进一步地，在S400中，将采集到的数据均衡的存储到各个存储节点中的方法为：各个数据采集节点在每经过[5，20]分钟的设定时间后，将该设定时间内采集到的数据进行压缩,并按照存储节点的规模分割得到数据分片，并将每个数据分片对应地依次存储到各个存储节点中，按照存储节点的规模分割得到数据分片的方法为：计算第j个存储节点对应的第j个数据分片大小为：

进一步地，在S400中，将采集到的数据均衡的存储到各个存储节点中的方法为：每经过[5，20]分钟的设定时间，将数据采集节点在最近一个设定时间内采集到的数据进行数据分割平均分成Q等分(其中，在进行数据平均分割的方法为：数据分片大小＝数据大小/Q在进行除法整除时，除不完的余数单独为一个数据分片)，从而得到Q个数据分片，并依次将各个数据分片传输到各个存储节点中保存，每个存储节点保存一个数据分片，Q为存储节点的数量。

进一步地，在S600中，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中的方法为：将该存储节点的数据进行压缩并数据分割得到数据分片，数据分割的方法为：若该存储节点为第j个存储节点，计算第j个存储节点对应的第j个数据分片大小为：

进一步地，在S600中，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中的方法为：将该存储节点中的数据进行数据分割平均分成Q-1等分(其中，在进行数据平均分割的方法为：数据分片大小＝数据大小/(Q-1)在进行除法整除时，除不完的余数单独为一个数据分片)，从而得到Q-1个或者Q个数据分片，并依次将各个数据分片传输到除该存储节点外的其余各个存储节点中保存，每个存储节点保存一个数据分片，Q为存储节点的数量。

S700，各个危险节点在标记后，每隔设定的缓冲时间，如果危险节点回到原簇区或者加入任意一个簇区中时(即该存储节点随着海浪、潮汐等自然因素产生较大范围的位移，回到原分簇的簇区内或者移动到其他分簇的簇区内，任意一个簇头节点的RSSI信号强度大于簇区RSSI基准值)，即标记为的危险节点与任意一个分簇簇区内的簇头之间的RSSI信号强度大于或等于对应簇区的RSSI基准值，则将危险节点标记为恢复节点，则将恢复节点的ID和所在簇区位置ID作为恢复节点信号广播全网(即通知无线传感器网络内全部的节点)，缓冲时间一般设定为[0.5,6]小时；

注：节点的ID为每个无线传感器节点在无线传感器网络全网(简称全网)中唯一编码，或者唯一身份标识号。

S800，与恢复节点的ID对应的待恢复数据所在的簇区接收到恢复节点信号后，将待恢复数据所在的簇区中各个存储节点的待恢复数据融合后，在各个簇头节点中产生的源节点和目标节点之间采用Dijkstra算法(例如OSPF协议、RIP协议的其中一种)生成的路由路径传输到恢复节点信号所在簇区的簇头，并且将融合后的待恢复数据存储到恢复节点中。(实现危险节点的恢复过程)

S900，当各个分簇中的各个存储节点出现存储节点的已用存储容量超过存储阈值的情况时，将该存储节点中的数据或者整个分簇中各个存储节点的数据融合后采用OSPF协议、RIP协议中任意一种路由算法生成的路由路径传输到基站服务器中；存储阈值为存储节点存储容量的0.8倍。

本发明还提供了一种复杂海洋环境数据采集的分布式存储系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

网络初始化单元，用于初始化无线传感器网络，通过HEED算法或者LEACH算法对无线传感器网络分簇；

平均距离计算单元，用于在每个分簇的簇区中，计算分簇簇区内各个普通节点到簇头节点距离的平均值D；

存储节点划分单元，用于在每个分簇的簇区中，标记以在簇头节点的位置为圆心、以D为半径的圆形区域中的普通节点为存储节点；

数据均衡存储单元，用于从各个簇区中没有标记为存储节点的普通节点中与存储节点轮换选择数据采集节点或者以各个簇区中没有标记为存储节点的普通节点作为数据采集节点，并通过数据采集节点开始采集数据，并将采集到的数据均衡的存储到各个存储节点中；

信号强度基准单元，用于实时计算各个数据采集节点与分簇簇头节点之间的RSSI信号强度，取所有数据采集节点与分簇簇头节点之间的RSSI信号强度值的算术平均值作为簇区RSSI基准值；

数据转移存储单元，用于在各个簇区中，当有存储节点的RSSI信号强度小于簇区RSSI基准值时，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中，将所述数据标记为待恢复数据，并将该存储节点标记为危险节点。

本公开的有益效果为：本发明提供一种复杂海洋环境数据采集的分布式存储方法及系统，避免了在海洋环境中由于洋流、气候、或者潮汐的变化产生的干扰，根据RSSI的信号衰减进行动态的控制各个分布式的无线传感网络节点的网络数据存储，提高了数据存储的安全性和可靠性，有效的保障了整个分布式存储网络的数据完整性，提高了数据丢失的抗风险能力。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种复杂海洋环境数据采集的分布式存储方法的流程图；

图2所示为一种复杂海洋环境数据采集的分布式存储系统结构图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为一种复杂海洋环境数据采集的分布式存储方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种复杂海洋环境数据采集的分布式存储方法，所述方法包括以下步骤：

S100，初始化无线传感器网络，通过HEED算法或者LEACH算法对无线传感器网络分簇；

进一步地，无线传感器网络中至少包括基站服务器、多个无线传感器节点；无线传感器节点至少包括传感模块、计算模块、无线通信模块、电源模块，其中，传感器模块包括用于采集声呐数据、风力、地震、电磁、温度、湿度、噪声、光强度、压力、水质成分、移动物体的大小、速度和方向中任意一种或多种物理量的传感器以及模拟数字转换器，计算模块包括微控制单元MCU和存储器；电源模块为提供电能的电池或振动发电机；

进一步地，无线传感器节点为浮标式无线水质监测站、声纳浮标、海洋浮标、无线浮标传感器、无线电浮标、Argo浮标中任意一种。

进一步地，通过HEED算法或者LEACH算法对无线传感器网络分簇后，所述的无线传感器网络分为多个分簇，每个分簇为一个簇区，每个分簇的簇区内包括至少一个簇头节点和至少一个普通节点，普通节点为每个分簇的簇区中未被选为簇头节点的无线传感器节点；各个簇头节点之间通过OSPF协议、RIP协议的其中一种路由算法生成通往基站服务器(基站)的路由路径；

将第N个无线传感器节点称为第N节点，第N+1个无线传感器节点称为第N+1节点，依次类推；N取值范围为[1,M]；无线传感器节点的数量为M，其中，M为大于或等于3的自然数。

S200，在每个分簇的簇区中，以分簇簇区内第i个普通节点到簇头的距离作为第i个参考距离，计算第1个到第k个参考距离的平均值D，

S300，在每个分簇的簇区中，标记以簇头位置为圆心、以D为半径的圆形区域中的普通节点为存储节点(由于这些存储节点在较集中的靠近簇头的地理位置区域内，这些存储节点相对而言丢失或漂走的可能性较小)；

S400，从各个簇区中没有标记为存储节点的普通节点中与存储节点轮换选择数据采集节点或者以各个簇区中没有标记为存储节点的普通节点作为数据采集节点，并通过数据采集节点开始采集数据，并将采集到的数据均衡的存储到各个存储节点中；

进一步地，在S400中，从各个簇区中没有标记为存储节点的普通节点中与存储节点轮换选择数据采集节点的方法为：计算各个簇区中所有普通节点的剩余能量的算数平均值作为轮换阈值，选择普通节点中剩余能量高于轮换阈值的所有普通节点作为数据采集节点；当存在数据采集节点的剩余能量小于轮换阈值时，将该数据采集节点标记为存储节点并且将存储节点中剩余能量最高的存储节点作为数据采集节点。

进一步地，在S400中，将采集到的数据均衡的存储到各个存储节点中的方法为：各个数据采集节点在每经过[5，20]分钟的设定时间后，将该设定时间内采集到的数据进行压缩并数据并按照存储节点的规模分割得到数据分片，并将每个数据分片对应的依次存储到各个存储节点中，按照存储节点的规模分割得到数据分片的方法为：计算第j个存储节点对应的第j个数据分片大小为：

进一步地，在S400中，将采集到的数据均衡的存储到各个存储节点中的方法为：每经过[5，20]分钟的设定时间，将数据采集节点在最近一个设定时间内采集到的数据进行数据分割平均分成Q等分(其中，在进行数据平均分割的方法为：数据分片大小＝数据大小/Q在进行除法整除时，除不完的余数单独为一个数据分片)，从而得到Q个数据分片，并依次将各个数据分片传输到各个存储节点中保存，每个存储节点保存一个数据分片，Q为存储节点的数量。

S500，实时计算各个数据采集节点与分簇簇头节点之间的RSSI信号强度，取所有数据采集节点与分簇簇头节点之间的RSSI信号强度值的算术平均值作为簇区RSSI基准值；(由于数据采集节点基本都在存储节点分布区域的外层，存储节点如果离开了外层区域将面临着数据通信信号衰减或者丢失的风险)；

S600，在各个簇区中，当有存储节点的RSSI信号强度小于簇区RSSI基准值时(即该存储节点随着海浪、潮汐等自然因素产生较大范围的位移，漂离分簇的簇区)，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中，将所述数据标记为待恢复数据，并将该存储节点标记为危险节点；

进一步地，在S600中，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中的方法为：将该存储节点的数据进行压缩并数据分割得到数据分片，数据分割的方法为：若该存储节点为第j个存储节点，计算第j个存储节点对应的第j个数据分片大小为：

进一步地，在S600中，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中的方法为：将该存储节点中的数据进行数据分割平均分成Q-1等分(其中，在进行数据平均分割的方法为：数据分片大小＝数据大小/(Q-1)在进行除法整除时，除不完的余数单独为一个数据分片)，从而得到Q-1个数据分片，并依次将各个数据分片传输到除该存储节点外的其余各个存储节点中保存，每个存储节点保存一个数据分片，Q为存储节点的数量。

S700，各个危险节点在标记后，每隔设定的缓冲时间，如果危险节点回到原簇区或者加入任意一个簇区中时(即该存储节点随着海浪、潮汐等自然因素产生较大范围的位移，回到原分簇的簇区内或者移动到其他分簇的簇区内，任意一个簇头节点的RSSI信号强度大于簇区RSSI基准值)，即标记为的危险节点与任意一个分簇簇区内的簇头之间的RSSI信号强度大于或等于对应簇区的RSSI基准值，则将危险节点标记为恢复节点，则将恢复节点的ID和所在簇区位置ID作为恢复节点信号广播全网，缓冲时间一般设定为[0.5,6]小时；

S800，与恢复节点的ID对应的待恢复数据所在的簇区接收到恢复节点信号后，将待恢复数据所在的簇区中各个存储节点的待恢复数据融合后，在各个簇头节点中产生的源节点和目标节点之间采用Dijkstra算法(例如OSPF协议、RIP协议的其中一种)生成的路由路径传输到恢复节点信号所在簇区的簇头，并且将融合后的待恢复数据存储到恢复节点中。(实现危险节点的恢复过程)

S900，当各个分簇中的各个存储节点出现存储节点的已用存储容量超过存储阈值的情况时，将该存储节点中的数据或者整个分簇中各个存储节点的数据融合后采用OSPF协议、RIP协议中任意一种路由算法生成的路由路径传输到基站服务器中；存储阈值为存储节点存储容量的0.8倍。

本公开的实施例提供的一种复杂海洋环境数据采集的分布式存储系统，如图2所示为本公开的一种复杂海洋环境数据采集的分布式存储系统结构图，该实施例的一种复杂海洋环境数据采集的分布式存储系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种复杂海洋环境数据采集的分布式存储系统实施例中的步骤。

所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

网络初始化单元，用于初始化无线传感器网络，通过HEED算法或者LEACH算法对无线传感器网络分簇；

平均距离计算单元，用于在每个分簇的簇区中，计算分簇簇区内各个普通节点到簇头节点距离的平均值D；

存储节点划分单元，用于在每个分簇的簇区中，标记以在簇头节点的位置为圆心、以D为半径的圆形区域中的普通节点为存储节点；

数据均衡存储单元，用于从各个簇区中没有标记为存储节点的普通节点中与存储节点轮换选择数据采集节点或者以各个簇区中没有标记为存储节点的普通节点作为数据采集节点，并通过数据采集节点开始采集数据，并将采集到的数据均衡的存储到各个存储节点中；

信号强度基准单元，用于实时计算各个数据采集节点与分簇簇头节点之间的RSSI信号强度，取所有数据采集节点与分簇簇头节点之间的RSSI信号强度值的算术平均值作为簇区RSSI基准值；

数据转移存储单元，用于在各个簇区中，当有存储节点的RSSI信号强度小于簇区RSSI基准值时，将该存储节点内部存储的数据均衡的转移存储到该存储节点所在的簇区中的除该存储节点外的各个存储节点中，将所述数据标记为待恢复数据，并将该存储节点标记为危险节点。

所述一种复杂海洋环境数据采集的分布式存储系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种复杂海洋环境数据采集的分布式存储系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种复杂海洋环境数据采集的分布式存储系统的示例，并不构成对一种复杂海洋环境数据采集的分布式存储系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种复杂海洋环境数据采集的分布式存储系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种复杂海洋环境数据采集的分布式存储系统运行系统的控制中心，利用各种接口和线路连接整个一种复杂海洋环境数据采集的分布式存储系统可运行系统的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种复杂海洋环境数据采集的分布式存储系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。