一种基于分布式光纤测温原理的海底电缆埋深估计算法

摘要

本发明提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，是通过采集得到的光纤温度数据并基于bagging的集成学习框架的计算法，集成学习框架包括数据解析模块、数据库IO模块、模型训练模块；数据解析模块，用于估计相对温度，将其存入分布式数据库中，作为后续计算的数据源；数据库IO模块，用于原始数据和预处理的因子数据的存取；模型训练模块，用于对现有因子数据的模型训练，利用因子数据的相关程度以及权值，构建学习网络；本发明可节省劳动力，减少数据处理时间，提高数据处理效率。

说明书

技术领域

本发明涉及一种海底电缆埋深估计算法领域，尤其是基于分布式光纤测温原理的海底电缆埋深估计算法。

背景技术

随着经济社会的不断发展，各类海上和海底工程项目的建设都在有序进展，方兴未艾，但是相对于陆地，人类在水下环境工作的困难和危险程度都要更高，特别是海洋环境更为复杂，也更容易遇到意外风险；目前在使用的海底埋深方法有：有限元技术和工程类比法，通过气象、水文和环境条件获得水利参数值等进行海底埋深计算，但是要据此建立分析模型，进行动力学计算，比较复杂。

发明内容

为解决上述问题，本发明提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，可节省劳动力，减少数据处理时间，提高数据处理效率。

为解决上述技术问题，本发明的实施例提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，所述估计算法是通过采集得到的光纤温度数据并基于bagging的集成学习框架的计算法，所述集成学习框架包括数据解析模块、数据库IO模块、模型训练模块；

所述数据解析模块，用于采集温度设备应用程序接口API在线生成的原始二进制文件，解析生成原始的频率数据，通过洛伦兹公式对频率散点进行曲线拟合，再通过梯度下降法生成拟合曲线，最后通过估计得到的中心频率与基线频率进行对比，估计出相对温度，将其存入分布式数据库中，作为后续计算的数据源；

所述数据库IO模块，用于原始数据和预处理的因子数据的存取；

所述模型训练模块，用于对现有因子数据的模型训练，利用因子数据的相关程度以及权值，构建学习网络。

其中，所述预处理的因子数据，通过数据库中现有的原始数据，使用特征工程设定的相关计算规则，量化每个设备属性特征的相关程度，生成一系列基于原始数据得到的模型因子和每个因子的权值。

其中，所述因子和权值数据同时应用于后台模型计算以及在数据库中备份中。

其中，所述模型训练模块主要包括分类引擎和回归引擎，所述分类引擎用于对现有因子数据的模型训练，利用因子数据的相关程度以及权重值，构建集成学习网络，所述集成学习网络包括7种分类模型，对于每一个分类场景，各模型以bagging的方式组合，生成埋深数值，所述回归引擎以热力学有限元分析模型为核函数，利用梯度下降法分布式计算并结合特征因子回归估计相应的埋深，并与所述分类引擎的埋深数值进行对比。

其中，所述各模型的训练是同时进行的，每个模型产生的数据分布式存储于数据库各自的表中，所述模型训练的结果用于对电缆状态和周边海况的发展趋势和动向进行预测。

其中，所述梯度下降法分布式计算单元采用分布式处理功能模块Hadoop平台对温度数据实现分布式处理，所述Hadoop平台中的MapReduce机制包括映射Map过程和化简Reduce过程，所述Map过程和化简Reduce过程是对原始数据进行有效分割和重组。

其中，所述梯度下降法分布式计算步骤如下：

（一）得到采样点的组合银子数据：使用Map操作并行地将原始因子转换为可读的数据格式，给不同服务器分配互不重复的采样点，并对其按照顺序编号，对这些采样点的因子数据进行预处理和特征工程，剔除明显的错值缺失值，得到等长等宽的组合因子矩阵数据；

（二）对每个采样点的组合因子数据迭代操作：每个服务器在Map阶段分别读出位于数据库的组合因子数据，利用梯度下降法得到模型参数估计的迭代值，再将本次的结果在Reduced过程中返回；

（三）重复执行Map和Reduce操作，直到拟合残差值不再变化或达到最大迭代次数时，结束迭代，并输出回归模型组合因子每个参数的估计值。

其中，在所述模型训练过程中，将因子数据划分成多个小数据集，学习多个模型进行组合，所述划分数据集通过Bootstrap方法进行有放回的抽样，得到各因子的分布以及置信区间，具体步骤如下：

（一）采用重抽样方法（有放回抽样）从原始样本中抽取一定数量的样本；

（二）根据抽出的样本计算想要得到的统计量T；

（三）重复上述N次，得到N个统计量T；

（四）根据这N个统计量，即可计算出统计量的置信区间。

其中，所述基于bagging的集成学习框架的计算法，是利用bootstrap方法从整体数据集中采取有放回抽样得到N个数据集，在每个数据集上学习出一个模型，最后的预测结果利用N个模型的输出以投票的方式产生，其步骤如下：

（一）从原始样本集中抽取训练集：每轮从原始样本集中使用bootstrap的方法抽取N个训练样本，共进行k轮抽取，得到相互独立的k个训练集；

（二）得到模型：每次使用一个训练集得到一个模型，k个训练集共得到k个模型；

（三）得到分类结果：将得到的k个模型采用投票的方式得到分类结果。

其中，所述因子包括光纤温度数据、电缆载流量数据、当地气温数据、电缆埋深数据和电缆路由水深数据。

本发明的上述技术方案的有益效果如下：

1、本发明中，利用特征工程提取出来与设备属性和周边海况高度相关的因子，使得模型的精确性和可解释性都大大提高；

2、本发明中，利用基于温度的集成学习算法来估计海缆埋深，避免了项目的直接海底作业，减少了劳动力，节约了各项成本；

3、本发明中，采用分布式的计算平台，将大规模的温度数据IO和计算分配在不同的服务器上面进行，减少数据处理时间，提高数据处理效率。

附图说明

图1为本发明通过光纤测温估计海底电缆埋深的集成学习算法架构组成示意图；

图2为本发明通过MapReduce进行回归模型计算的流程示意图；

图3为本发明通过温度数据训练集成学习分类模型的流程示意图；

图4为本发明集成算法框架中决策树组件的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。

如图1所示，本发明提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，是通过采集得到的光纤温度数据并基于bagging的集成学习框架的计算法，集成学习框架包括数据解析模块、数据库IO模块、模型训练模块；

数据解析模块，用于采集温度设备应用程序接口API在线生成的原始二进制文件，解析生成原始的频率数据，通过洛伦兹公式对频率散点进行曲线拟合，再通过梯度下降法生成拟合曲线，最后通过估计得到的中心频率与基线频率进行对比，估计出相对温度，将其存入分布式数据库中，作为后续计算的数据源；

数据库IO模块，用于原始数据和预处理的因子数据的存取；

模型训练模块，用于对现有因子数据的模型训练，利用因子数据的相关程度以及权值，构建学习网络。

其中，预处理的因子数据，通过数据库中现有的原始数据，使用特征工程设定的相关计算规则，量化每个设备属性特征的相关程度，生成一系列基于原始数据得到的模型因子和每个因子的权值。

其中，因子和权值数据同时应用于后台模型计算以及在数据库中备份中。

其中，模型训练模块主要包括分类引擎和回归引擎，分类引擎用于对现有因子数据的模型训练，利用因子数据的相关程度以及权重值，构建集成学习网络，集成学习网络包括7种分类模型，对于每一个分类场景，各模型以bagging的方式组合，生成埋深数值，回归引擎以热力学有限元分析模型为核函数，利用梯度下降法分布式计算并结合特征因子回归估计相应的埋深，并与分类引擎的埋深数值进行对比。

回归引擎意在对海缆埋深的状态进行定量的估计。引擎以热力学有限元分析模型为核函数，结合设备测量的其他数据，利用梯度下降法对埋深进行回归估计，从而提供定量的结果；传热过程的基本变量就是温度，它是物体中的几何位置以及时间的函数。根据Fourier传热定律和能量守恒定律，可以建立热传导问题的控制方程。即二维物体的瞬态温度场u(x,y,t)应满足以下方程：

其中u表示温度，kx、ky是物体的沿x,y方向的导热系数，ρ是物体的密度（kg/m3），c是物体的比热（J/(kg·K)），Q是物体内热源密度（W/(m·K)）。由于埋深只是y方向上的变化，所以可以将二维的热传导问题简化为一维，即温度在x方向上的偏导数为0。综上，建立海缆的瞬态温度场方程：

另外，在具体项目环境中，传热边界为海底水和泥沙的交界面，方程满足边界条件：

其中，ny为边界在表面外法线方向的方向余弦，h表示物体与周围介质的热交换系数，u0表示环境温度。

在上述的热力学有限元分析模型中，参数估计主要涉及到设备的自身物理属性因素，以及外界环境因素影响。设备自身物理属性可以在实验室环境下直接测得，而外界环境影响实质上则是本地气温、水深、埋深等原始因子的非线性组合，从而在光纤温度和其他环境因子已知的条件下，反推出电缆埋深。另外，模型中涉及到较多的非线性运算，会消耗较大的内存和算力。

其中，各模型的训练是同时进行的，每个模型产生的数据分布式存储于数据库各自的表中，模型训练的结果用于对电缆状态和周边海况的发展趋势和动向进行预测。

在初期的温度-埋深有监督学习算法训练中，目标是学习出一个稳定的且在各个方面表现都较好的分类模型，但只能得到多个在某些时期表现较好的弱分类模型，本发明采取集成学习算法，组合多个弱监督模型得到了一个更好更全面的强监督模型。

如图2所示，梯度下降法分布式计算单元采用分布式处理功能模块Hadoop平台对温度数据实现分布式处理，Hadoop平台中的MapReduce机制包括映射Map过程和化简Reduce过程，Map过程和化简Reduce过程是对原始数据进行有效分割和重组。

其中，梯度下降法分布式计算步骤如下：

（一）得到采样点的组合银子数据：使用Map操作并行地将原始因子转换为可读的数据格式，给不同服务器分配互不重复的采样点，并对其按照顺序编号，对这些采样点的因子数据进行预处理和特征工程，剔除明显的错值缺失值，得到等长等宽的组合因子矩阵数据；

（二）对每个采样点的组合因子数据迭代操作：每个服务器在Map阶段分别读出位于数据库的组合因子数据，利用梯度下降法得到模型参数估计的迭代值，再将本次的结果在Reduced过程中返回；

（三）重复执行Map和Reduce操作，直到拟合残差值不再变化或达到最大迭代次数时，结束迭代，并输出回归模型组合因子每个参数的估计值。

其中，在模型训练过程中，将因子数据划分成多个小数据集，学习多个模型进行组合，划分数据集通过Bootstrap方法进行有放回的抽样，得到各因子的分布以及置信区间，具体步骤如下：

（一）采用重抽样方法（有放回抽样）从原始样本中抽取一定数量的样本；

（二）根据抽出的样本计算想要得到的统计量T；

（三）重复上述N次，得到N个统计量T；

（四）根据这N个统计量，即可计算出统计量的置信区间。

其中，基于bagging的集成学习框架的计算法，是利用bootstrap方法从整体数据集中采取有放回抽样得到N个数据集，在每个数据集上学习出一个模型，最后的预测结果利用N个模型的输出以投票的方式产生，其步骤如下：

（一）从原始样本集中抽取训练集：每轮从原始样本集中使用bootstrap的方法抽取N个训练样本，共进行k轮抽取，得到相互独立的k个训练集；

（二）得到模型：每次使用一个训练集得到一个模型，k个训练集共得到k个模型；

（三）得到分类结果：将得到的k个模型采用投票的方式得到分类结果。

如图3所示，因子包括光纤温度数据、电缆载流量数据、当地气温数据、电缆埋深数据和电缆路由水深数据，具体如下：

（1）电缆载流量：导体的温度主要由外界环境温度和自身的发热影响，而电缆自身的发热主要由电缆的载流量决定，通过传入电缆载流量，可以区分光纤温度因子中的自身影响和环境影响；

（2）光纤每日温度最大值：由于抓取到的外界环境气温只有日粒度的数据所以光纤温度也采用了日粒度的数据；光纤的每日温度最大值反应了光纤每日温度的极限，除去电缆自身的载流量，主要影响光纤每日温度最大值的因素就是外界环境的气温；一个显而易见的事实是：埋深越大的部位光纤温度受外界环境气温影响越小，而埋深越小的部位光纤受外界环境气温影响越大；

（3）光纤每日温度最小值：除了光纤每日温度最大值外，考察光纤每日温度的变化还需要结合光纤每日温度的最小值，在模型的训练中，模型会通过光纤每日温度的最大值最小值，自动组合衍生出光纤每日温度波动范围、光纤每日温度稳定性等其他显式的，或者某些人类无法直接理解的隐式指标，从而帮助模型的判断；

（4）光纤每日温度中位数：光纤每日温度的最大值和最小值显示了光纤每日温度的变化范围，而光纤每日温度中位数显示了光纤每日温度变化的分布状态，通过光纤每日温度中位数，我们能更清晰地看到光纤每日温度的变化趋势；

（5）电缆水深：不同位置、不同结构的设备具有不同的物理属性，与埋深状态相近的一个因素是水深状态。电缆与环境的相对状态差异，除了受埋深影响，还受水深影响。但是水深的测量相对于埋深，有更方便和成熟的方案。有了水深数据，可以排除水深因素对于电缆状态的影响，使埋深的估计更加准确；

（6）当地当日气温最高值：上文提到的一个的事实是：埋深越大的部位光纤温度受外界环境气温影响越小，而埋深越小的部位光纤受外界环境气温影响越大。当地当日气温最高值反应了外界环境因素对于光纤温度的影响，从而在侧面反应了电缆埋深的变化，结合电缆载流量和当地当日气温最高值，我们有了一个理论上的光纤温度阈值预期；

（7）当地当日气温最低值：除了当地当日气温最高值外，考察当地每日气温的变化还需要结合当地每日气温的最小值。在模型的训练中，模型会通过当地每日温度的最大值最小值，自动组合衍生出当地每日温度波动范围、当地每日温度稳定性等其他显式的，或者某些人类无法直接理解的隐式指标，从而帮助模型的判断。

如图4所示，在集成学习的决策树组件中，各因子在模型的最终判断中所起到的作用。

本发明的工作原理如下：。

1、本发明中，利用特征工程提取出来与设备属性和周边海况高度相关的因子，使得模型的精确性和可解释性都大大提高；

2、本发明中，利用基于温度的集成学习算法来估计海缆埋深，避免了项目的直接海底作业，减少了劳动力，节约了各项成本；

3、本发明中，采用分布式的计算平台，将大规模的温度数据IO和计算分配在不同的服务器上面进行，减少数据处理时间，提高数据处理效率。

以上所述是本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。