数据重建

摘要： 随着遥感数据的不断积累,植被遥感产品逐渐形成了完善的时间序列数据,这些数据对阐明生态系统动态变化及分析有关的驱动因素具有重要价值。然而,云遮挡、仪器误差等因素严重制约着植被遥感产品的观测质量,往往造成连续观测数据的缺失。对存在数据缺失的序列进行时空重建是准确提取序列变化特征的重要前提,时空重建就是充分利用遥感数据的时空相关性对数据缺失进行插值以及平滑滤波,以重建完整时间序列。本研究主要以植被遥感时间序列数据为例,对以往常用的时间序列重建方法进行了简要回顾,时间序列重建大致包括插值、平滑2大步骤,插值又分为基于时间的、基于空间的、时空相结合的插值3大类型。然后,以模拟的归一化植被指数(normalized difference vegetation index,NDVI)时间序列、GIMMS NDVI真实时间序列为例,并随机制造不同比例的数据缺失,对比了线性插值、奇异谱分析、Whittaker和时间序列谐波分析等4种常用的不同类型的数据重建方法的时间序列重建效果。结果显示,4种方法的表现各有优劣,但Whittaker方法显示了整体更好的性能。由于随区域的不同,插值方法的表现可能有所差异,故不同数据重建方法还有待进一步推广验证。

摘要： 为建立中国风云三系列气象卫星长时间序列归一化植被指数数据集,选用滤波和函数拟合方法,针对林地、湿地、水稻、玉米、大豆、城市和水体7类地物开展数据重建效果定量分析,确定最佳数据重建方法,并在辽宁省开展时空变化分析。结果表明:非对称高斯函数拟合法(Asymmetric Gaussians,AG)、Savitzky-Golay滤波法(SG)、双Logistic函数拟合法(Double Logistic,DL)和时间序列谐波分析法(Harmonic Analysis of Time Series,HANTS)四种方法均表现出相对较好的去噪能力。SG方法对噪声比较敏感,HANTS方法在低值区受噪声影响大。AG和DL方法平滑效果较好,DL方法的峰值更接近于原始峰值。在高植被覆盖区和季节性作物区,SG方法相关系数最高(>0.93)、均方根误差最低(<0.1);在城市和水体低植被指数区,HANTS方法相关系数最高,为0.87,但四种方法的均方根误差均在0.06左右,差别不大。综合考虑曲线和定量分析结果,选取SG方法进行辽宁省植被指数数据集数据重建。辽宁省植被指数数值高低的空间分布与下垫面植被类型相符合,东部山区林地植被指数最高,达到0.75以上。2009—2020年,辽宁省NDVI年均值存在波动,不同地物植被指数变化存在差别,水体和城市植被指数变化相对较小,旱田作物(玉米、大豆)的植被指数受干旱年的影响植被指数变化稍大。辽宁省主要粮食作物植被指数年内均呈单峰分布,与一年一熟型吻合,均在8月上旬达到最大值。

摘要： 为研究眉山地区霾日时空演变特征,基于眉山市6个区县2015~2019年相对湿度、能见度、天气现象以及空气污染物浓度等资料,通过肯德尔相关系数等方法选取最优霾日判别方法重建了眉山地区霾日气候数据序列,最后采用经验正交函数分解分析了眉山霾日的气候特征和变化规律。结果表明:对于眉山地区,方法2(日均90)更适合用于重建霾日气候数据序列。1980~2015年眉山地区年霾日数总体呈现缓慢增长的趋势,年平均霾日空间分布主要表现为在青神县为一个大值区。通过经验正交函数(EOF)分解,眉山地区霾日时空变化第一模态主要表现为,东坡、彭山两区霾日变化一致,其余四县呈相反的变化,结合小波分析表明21世纪初眉山地区霾日具有较明显的2~4年的变化周期。研究为眉山地区霾天气进一步研究提供了科学依据,也为各地重建霾日气候数据序列提供一些借鉴。

摘要： 叶面积指数(LAI)是生态研究中的一项重要参数,因大气等条件影响,遥感LAI时序数据存在着质量低、连续性差等问题。针对这种情况,提出了基于ArcGIS Engine和ENVI/IDL的LAI时序数据重建系统构建方案,采用C#/IDL混合编程技术,引入项目组提出的综合滤波算法,实现了遥感和GIS数据联合处理与分析,可识别和修复MODIS LAI时序产品的低质量数据和异常点,重建出整体稳定性较好的高质量数据。采用空间数据库引擎技术构建的LAI空间数据库,可实现对LAI遥感影像、土地覆盖数据、质量控制文件等异构数据的统一管理。LAI数据重建的系统化简化了操作步骤,并在可视化处理的同时,高效地为全球或区域环境变化、植被动态监测、土地覆盖变化和物候信息提取等生态环境研究提供更加完善的基础数据。

摘要： 受云、冰雪、气溶胶等因素的干扰,遥感时间序列数据集包含大量噪声。基于TIMESAT软件中非对称的高斯函数拟合法(AG)、双Logistic曲线拟合法(D-L)、Savitzky-Golay滤波(S-G)3种拟合方法重建了弗吉尼亚州韦兹县、陕西省神府地区、山东省兖州市不同类型的NDVI时序数据集,从空间格局和植被覆盖两个维度对比分析了3种方法的拟合效果。结果表明:①气候、海拔、地形和主要植被类型等因素将对数据重建结果产生影响,3种方法均有一定去噪能力,S-G方法的重建更关注“细节”,但保留了大量噪声,AG方法和D-L方法更加注重整体效果,重建后的时序曲线较平滑,符合植被生长变化的连续性规律,但会损失时序曲线的真实局部变化特征;②NDVI时序数据重建结果受植被覆盖类型影响较大,3种方法的耕地重建效果均较好且相差较小,AG方法和D-L方法对林地的重建质量高于S-G方法。

摘要： 数据重建是地震资料处理中一项重要的前期工作。压缩感知(compress sensing,CS)已经在数据重建领域取得了很好的应用。CS的关键是采样的随机性,随机采样将常规欠采样引起的互相干假频转化为较低能量的不相干噪声。一方面,传统的随机采样方法缺乏对采样点的约束,导致产生过多的噪声干扰,分段随机采样可有效地控制采样点之间的距离。另一方面,单一的数学变换会导致信号的不完全稀疏表达,影响数据重建效果,形态分量分析(morphological component analysis,MCA)将信号分解成几个具有显著特征的成分以逼近数据复杂的内部结构。本文在MCA框架下找到了一个新的字典组合(Shearlet+DCT),并使用块坐标松弛(block coordinate relaxation,BCR)算法得到最优解,从而获得理想重构结果。对实际资料的实验表明,该方法在重建分段随机采样数据时具有较好效果。

摘要： 在地震数据处理中,常常会出现数据缺失的情况,需要对缺失的地震道进行重建。目前,针对地震数据重建问题,多采用Radon变换的方法,而Radon变换的求解以传统的共轭梯度法为主,计算量较大,收敛慢。为了进一步提高计算效率,文章采用FISTA算法求解Radon变换目标函数,研究了基于FISTA算法的Radon变换地震数据重建效果,并在相同的迭代次数下开展了基于共轭梯度法和FISTA算法的重建误差分析。模拟数据表明,采用FISTA算法重建地震数据可以获得较高的重建精度。

摘要： 在陆上油田,受地表障碍物限制,常规的基于规则采样理论的地震数据采集越来越难以实现,同时为了解决越来越复杂的地质问题,需要更密集的空间采样,造成地震勘探成本急剧上升。为了适应复杂的地表条件和节省勘探成本,基于压缩感知理论设计随机地震观测系统,利用高维空间低秩约束算法完成随机地震数据的高密度规则化重建,通过理论模型对方法进行了验证,结果表明在同样采样密度下,该方法能获得比规则采样更好的成像效果,为当前东部老油区的高效高密度地震勘探探索一条新途径。

摘要： 地表温度(LST)是研究地表与大气之间物质和能量交换、地表过程变化以及地热探测与地震热异常前兆等方面不可或缺的重要参数,然而云覆盖现象导致MODIS LST产品存在大量空值,限制了LST的广泛应用。文中提出了一种基于同类地物不同时刻LST日变化相关性的MODIS LST重建算法。以新疆和田为研究区,使用2003-2015年MODIS 8d合成地表温度产品为实验数据,根据一天中同类地物不同时刻LST之间的相关性,以地表覆盖类型产品为依据,分别创建各类地物上午、下午和晚上与凌晨的LST回归模型,将三者的LST拟合回归至凌晨时刻的LST,然后取上午、下午和晚上拟合结果的最优组合以实现对凌晨LST的两步重建。实验结果表明,该方法的最小误差为0.57K,误差均在1.2K以下,平均误差为0.92K。经验证,将该方法应用于其余3个时刻的地表温度重建工作中仍可得到较好的补值效果。与现有的LST补值方法进行对比可知,本方法以少量辅助数据实现了较高的补值精度和补值率,可为基于温度的地表过程研究和地震热异常检测等研究提供坚实的数据基础。

摘要： 地表温度是反映区域自然环境和气候变化的重要指标,高质量的数据对区域地表温度时空变化研究是非常重要的。北美洲近年来的气候变化较为异常,因此研究分析该区域的地表温度具有较强的意义。文章基于MODIS地表温度数据,结合地面站点、邻近像元和海拔数据重建了北美洲2002—2018年的遥感地表温度数据集,并分析了其17 a的地表温度时空变化。重建的地表温度数据覆盖了所有陆地地表,数据验证表明精度在1°C左右。经过分析发现:北美洲17 a间以平均0.02°C/a的速度呈现波动增温趋势并在2016年达到历史峰值,此后2 a里地表温度直线下降,这与厄尔尼诺的影响密切相关;北美洲春秋两季的增温幅度较大,冬夏两季次之;阿拉斯加北部地区和加利福尼亚半岛区域近年来的增温趋势极为显著;植被和大气水汽显著地影响着地表温度的变化,40°N以北植被和大气水汽与地表温度呈正相关变化,40°N以南植被和大气水汽与地表温度呈负相关变化。根据北美洲平均地表温度周期波动的变化趋势以及厄尔尼诺的影响,在一定可靠程度上可以预测未来1~2 a整体地表温度变化趋势。

摘要： 地震数据重建问题源于地震采集时由于成本,地形,坏道,噪声等因素影响造成的采样数据不完备.本文提出采用非凸模型代替核范数，建立非凸约束的矩阵优化问题，在求解时采用梯度投影算法求解，数值模拟表明本文算法的计算时间是基于核范数优化的三分之一左右，对于提高地震数据重建的计算效率具有重要意义。

摘要： 近几年被广泛用于计算机图像复原、机器学习、大数据分析和数据挖掘的低秩矩阵或者张量(Tensor)补全方法被引入到地震数据重建领域中.在张量补全方法方面,Kreimer和Sacchi率先提出高阶SVD方法(High Order SVD,HOSVD)来对叠前5D数据进行重建.由于高阶SVD方法需要预先输入高阶张量的秩,对于实际地震数据而言,人们无法知道数据张量的准确秩值.针对目前低秩张量补全算法需要借助SVD分解降秩以及矩阵分解时高阶张量按维数展开往往形成非平衡的长条形矩阵的不足。本文提出一种新的张量补全算法用于地震数据重建来改进当前方法存在的不足。模型数据分析结果表明PSMF方法重建能力要优于同类型的张量补全算法。

摘要： 在地震勘探中受采集成本、坏炮、坏道和噪声等因素影响,地震数据在采集和处理过程中不可避免会造成数据不完整,但后续的处理又对数据的完整性有较高的要求.因此研究地震数据的重建具有重要的意义.引入了局部随机采样方法,在保持采样随机性的同时,可以弥补传统随机采样的不足，基于模型和实际数据处理结果，可以得到相对于规则采样和随机采样而言，局部随机采样在保持采样随机性的同时，有效解决了采样过密或过疏的问题，使采样点的分布更加均匀，进一步提高了地震数据的重建效果。叠前和叠后实际地震数据重建效果理想，可为地震资料后续处理提供基本保证。

摘要： 通常野外采集到的地震数据会不完整,以致影响后续处理.地震数据重建作为解决该问题的重要技术手段已被广泛应用研究.压缩感知理论认为,如果信号稀疏,即使只有少量观测值,也可通过求解最优化问题高概率重构原始信号.重构算法有很多,比如ICT(Iterative Curvelet-based Thresholding method)方法、Bregman迭代方法等. 传统ICT方法虽收敛慢，但能恢复出信噪比高的数据;Bregman迭代阈值法收敛快，但后期不稳定，恢复出的数据信噪比与ICT法相比低。结合两者，本文提出一种联合迭代阈值方法。在迭代初期快速收敛，迭代后期又可以稳定收敛得到高信噪比数据。

摘要： 基于傅立叶变换的地震数据重建方法是通过最小平方反演来得到理想的傅立叶变换系数,达到重建地震数据的目的.由于在反演的过程中无法得到先验信息,所以不能取得很好的重建效果.虽然稀疏反演可以利用非二次型函数构造出稀疏约束算子来代替先验信息,但是稀疏反演假设地震数据在f-k域是稀疏的.当地震数据不满足稀疏性假设时,同样不能取得很好的重建效果.因此,为了提高复杂地震数据的重建效果,可以将多步自回归方法预测得到的地震数据作为先验信息加入到最小平方反演方程中,从而改进复杂地震数据重建的效果.

摘要： 以炮检点坐标和时间作为维度,利用此维度可定义任意地震道之间的广义距离,通过广义距离可索引待重建地震道的周边数据并利用压缩感知原理对其进行重建.由于此方法是单独对需要重建的每一道地震数据进行重建,该方法可用于常规压缩感知原理不适用的非均匀非规则网格场景.另外,该方法也可用于全新的规则观测系统的数据重建.

摘要： 在地震数据采集过程中,受制于工区地形条件的限制和采集成本因素的影响,采集到的地震数据存在不规则采样和地震道缺失现象.不规则缺失地震数据会对地震多道处理技术的运行产生不良影响.因此,开发快速、有效的地震数据重建方法具有重要的实际意义.本文针对截断SVD分解降秩法计算量大，计算效率低的问题，提出一种新的快速降秩算法来取代截断SVD分解。理论数据处理试验表明随机QR分解算法不仅能取得和传统截断SVD分解相似的重建效果而且还可以极大地减少计算时间，提高计算效率。

摘要： 本文通过研究一种将不规则地震道规则化重建的方法—频谱抗泄露Fourier变换方法(Anti-Leakage Fourier Transform,简称ALFT),将该算法思想运用于地震数据的重建中,通过对地震数据求取其空间Fourier系数,然后运用Fourier反变换重建出任意规则的地震道,分别在一维和二维情况下对模拟不规则采样记录运用ALFT算法对数据进行重建,该方法在正演模拟记录和实际叠前地震资料重构中取得理想效果,可以弥补数据缺失的不足,很好地在实际生产中发挥作用.

摘要： 现代存储系统采用纠删码避免因磁盘故障导致的数据丢失,提高系统的可靠性和可用性.因容三盘失效纠删码,如TP编码和STAR编码,可同时容忍系统中任意3个磁盘损坏,可靠性超过RAID6编码,故而受到越来越多的关注.针对发生频率最高的单盘故障实现快速重建恢复数据服务,尚未得到有效实现.重建方案有多种,选择何种重建方案会影响重建性能甚至影响前端服务的响应时间.传统的单盘重建方法不仅耗时良久而且会造成带宽的浪费.针对单盘重建中传统方法的缺点,提出一种均分机制方法,利用处于"均分状态"的重建校验集合推理出单盘重建时所使用的数据量的最优解从而找出最佳重建方案,减少磁盘I/O时间,以加速重建过程.测试结果表明与传统方法相比,均分机制方法减少TP编码25％～30.6％和STAR编码30％～33.64％的磁盘读数据量,使重建时间显著减少;且在不同的数据块和不同的磁盘个数时,均分机制方法的重建性能均优于传统方法.

摘要： 现代存储系统采用纠删码避免因磁盘故障导致的数据丢失,提高系统的可靠性和可用性.因容三盘失效纠删码,如TP编码和STAR编码,可同时容忍系统中任意3个磁盘损坏,可靠性超过RAID6编码,故而受到越来越多的关注.针对发生频率最高的单盘故障实现快速重建恢复数据服务,尚未得到有效实现.重建方案有多种,选择何种重建方案会影响重建性能甚至影响前端服务的响应时间.传统的单盘重建方法不仅耗时良久而且会造成带宽的浪费.针对单盘重建中传统方法的缺点,提出一种均分机制方法,利用处于"均分状态"的重建校验集合推理出单盘重建时所使用的数据量的最优解从而找出最佳重建方案,减少磁盘I/O时间,以加速重建过程.测试结果表明与传统方法相比,均分机制方法减少TP编码25％～30.6％和STAR编码30％～33.64％的磁盘读数据量,使重建时间显著减少;且在不同的数据块和不同的磁盘个数时,均分机制方法的重建性能均优于传统方法.

摘要： 使用时间分布式震源来采集地震数据并且使用多频方法来将所述采集的数据转换成脉冲数据。所述方法在频率‑震源位置域、频率‑波数域或频率‑慢度域中执行。所述方法可适用于单个震源采集或同时震源采集。

摘要： 本发明公开的一种基于起源数据的文件重建过程中选择性数据重建方法，该方法重新设计了利用起源数据文件重建的过程。当前系统中已存在或者在文件重建过程中生成差异版本文件时，利用差异版本文件，选择性重建所需的目标文件。当存在差异版本文件时，利用差异版本文件选择性重建文件可以减少文件重建时所需的溯源信息，文件重新写入的数据量。因此，本发明公开的选择性数据重建方法有效提高了文件重建的效率。

摘要： 本申请实施例提供了一种改善地震数据空间采样属性的数据重建方法、装置及系统，该方法包括：从节点获取任务，任务与预先由主节点将待重建的时间空间域地震数据体拆分出的多个数据块之一对应；从节点对数据块沿着时间方向进行快速傅里叶变换，得到频率空间域数据体；从节点沿着空间方向，根据空间位置对频率空间域数据体进行非均匀傅里叶变换，得到频率空间波数域数据体；从节点确定频率空间波数域数据体中所有时间频率片的波数谱分量，并存储至输出矩阵中；从节点将输出矩阵反变换至时间空间域，得到数据块重建后的地震数据；从节点将重建后的地震数据提供给主节点，以进行结果合并处理。本申请实施例可以提高数据重建的通用性及重建效率。

摘要： 本发明公开的一种基于起源数据的文件重建过程中选择性数据重建方法，该方法重新设计了利用起源数据文件重建的过程。当前系统中已存在或者在文件重建过程中生成差异版本文件时，利用差异版本文件，选择性重建所需的目标文件。当存在差异版本文件时，利用差异版本文件选择性重建文件可以减少文件重建时所需的溯源信息，文件重新写入的数据量。因此，本发明公开的选择性数据重建方法有效提高了文件重建的效率。

摘要： 本发明涉及联合时空重建与CUDA加速的遥感时间序列数据重建方法，包括将遥感时间序列数据转换为时空三维向量，利用地物的时空相似性分别从时间和空间维度对缺失像元进行重建，然后利用CUDA来并行实现时间重建、空间重建和结果合并，形成最终重建数据集。本发明的有益效果是：本发明充分利用了遥感时间序列数据的时空相关信息，采用GPU并行计算，从质量和效率两个方面提升重建效果，具有重要的实际应用价值。

摘要： 本申请实施例提供了一种数据结构的构建、数据查询设数据重建方法及相关设备，涉及数据处理技术领域。数据结构的构建方法具体包括：获取待处理的第一树形结构；基于预设的前序遍历顺序，从第一树形结构的根节点起针对每一节点进行先序值与后序值的标识，以生成具备索引的第二树形结构；其中，前序遍历顺序遵循深度优先且自左向右的遍历原则；先序值与后序值表示对应节点的数据存储的区间范围；先序值小于后序值。本申请的实施所构建的第二树形结构可以基于针对每一节点所标识的先序值与后序值进行索引，提高数据处理效率。

摘要： 本发明公开了一种数据重建方法及装置、数据存储系统、存储介质。其中，该方法包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，访问配置信息用于访问预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于对象列表，确定多个存储对象的源站信息；基于源站信息，采用预先配置的调用列举接口重建每个存储对象的元数据，并将元数据写入本地集群；基于源站信息和元数据，生成数据重建任务，其中，数据重建任务用于重建目标数据。本发明解决了相关技术中采用回源方式无法实现数据的批量重建的技术问题。

摘要： 一种存在数据错误和缺失的无线传感器网络收集数据重建方法，根据监测区域内传感器节点收集的环境数据，构建采样矩阵；利用采样矩阵重建环境数据矩阵，将环境数据的重建问题建模为基于弹性网正则化的结构化噪声矩阵补全模型；利用交替迭代优化方法，并设计基于算子分裂技术的数据恢复算法求解基于弹性网正则化的结构化噪声矩阵补全模型，进而重建环境数据矩阵。本发明基于环境数据矩阵的低秩特性，将不完整数据的重建问题建模为一类弹性网正则化的结构化噪声矩阵补全模型，同时设计了基于算子分裂技术的数据恢复算法，实现对缺失数据有效恢复，能准确判断收集到错误数据的传感器节点。本发明的性能优于现有算法，能以较高的精度重建环境数据。

摘要： 本申请属于光伏电站输出控制或检测方法技术领域，尤其涉及一种基于历史数据和环境指标的光伏输出数据重建方法。包括获取光伏电网的历史和当前输出数据即光辐射数据；对数据是有效性进行判断，保留有效数据同时剔除异常数据；利用天气环境与光辐射强度对于光伏电站正常输出的相关性进行数据重建；本申请的基于历史数据和环境指标的光伏输出数据重建方法，相对于传统的基于历史输出数据的中短期预测等方法，在应用于天气环境存在较高不确定性，或者在异常天气环境等导致历史输出数据与待重建使其存在较大差异的情形下，能够有效提高光伏输出数据重建结果的准确性，同时降低历史数据中不确定性因素对于数据重建的滞后影响，提高数据重建的有效性。

摘要： 本发明公开了一种三维图像数据辅助的低剂量扫描数据重建方法及电子介质，应用于医学成像技术领域；所述方法包括：扫描前，查找与病人相对应的现有三维图像数据；扫描中，获取低剂量扫描数据；扫描后，利用现有三维图像数据与低剂量扫描数据之间的数据差异，对重建过程中将此数据差异与现有三维图像数据进行结合，获取高剂量质量下的最终三维图像数据。本发明将已有的病人数据利用起来，在降低病人扫描剂量、获取低剂量扫描数据的情况下，根据两者之间的数据差异，重建最终三维图像数据，获取诊断可用的高质量图像，对扫描过程中辐射剂量的需求大大降低，整合大量的病人已有信息，资源不浪费。