数据缺失

摘要： 缺失数据是指数据集中存在未观测到的值。以往研究中很少涉及到对不完整离散数据的统计过程监控问题,为了对缺失数据进行监控,采用4种插值方法来处理缺失数据集,分别是均值插补(MS)、线性回归插补(RG)、随机线性回归插补(SRG)和多重插补(MI)。在仿真中,考虑在5种不同的缺失率下控制图的整体发出失控信号概率,从而比较基于4种插值方法的T^(2)控制图在第一阶段的监控性能。研究结果发现,缺失率较低时线性插补的表现最好,缺失率适中及较高时均值插补的效果最佳。

摘要： 数据驱动的扩展置信规则库专家系统能够处理含有定量数据或定性知识的不确定性问题.该方法已被广泛地研究和应用,但仍缺乏在不完整数据问题上的研究.鉴于此,针对不完整数据集上的问题,提出一种新的扩展置信规则库专家系统推理方法.首先提出基于析取范式的扩展规则结构,并通过实验讨论了在新的规则结构下,置信规则前提属性参考值个数对推理方法的影响;然后提出通过不完整数据生成具有不完整置信规则,并构成析取范式置信规则库的方法,同时引入衰减因子修正不完整规则权重,使不完整规则可以更合理地参与信息融合过程;最后,选取若干个公共数据集对所提方法进行验证.与其他方法的实验对比显示,新方法在完整数据集上有良好表现的同时,对具有不同缺失程度和缺失模式的数据集表现出更好更稳定的推理效果.

摘要： 目的解决大气环境试验站的气象数据报表存在数据缺失、数据超过边界、数据内部不一致、数据时间不一致等问题,采用数据质量审核技术找出缺失、可疑或错误的数据,对科研人员进行警示,使其能够追根溯源,分析存在问题的原因。方法参照相关规程和标准,建立环境因素数据质量审核算法和审核流程,并使用计算机语言编程固化流程和算法,利用多线程算法对数据进行扫描,实现大批量气象数据的并行审核。结果利用Python语言设计了环境因素质量控制软件,通过该软件的应用证明了该方法合理、有效,能够快速、准确地标注气象数据报表中存在质量问题的数据。利用软件统计了存在问题数据的数量和正确率。结论通过加载数据测试,证明了环境因素数据质量审核方法和审核流程合理有效,利用设计的审核软件实现了气象数据报表快速审核,提高了审核效率,减少了科研人员的劳动强度,为进一步填补、修正和利用数据奠定了基础。

摘要： 近年来,空气质量监测微子站监测逐渐成为了空气质量监测网络的重要组成部分.随着经济的不断发展,城市化进程的不断加快,站点的冗余以及代表性降低的问题逐渐显现.由于空气质量监测微子站抵抗突发环境因素能力较弱,极易导致监测数据缺失,不仅会大大增加数据分析的复杂性与难度,还会导致优化布点结果的偏差.本文针对以上问题,提出了一种将BiLSTM神经网络结合聚类的点位优化方法,在应用BiLSTM神经网络补全缺失数据的基础上,应用凝聚层次聚类法对修复后的数据进行聚类.在实现用尽可能少而准确的点位反馈空气质量水平的基础上,大大提升聚类准确度.最后,本文使用沈阳市位于浑南区的18个空气质量监测微子站的监测数据进行实验验证.结果表明,相比于一般的聚类算法,本文提出的算法性能有一定提升,为空气质量监测点位优化提供了一种新方法.

摘要： 针对分布数据缺失情形下的最优传输问题,给出其基本理论以及优化模型,同时考虑到模型的较大稀疏性,基于熵正则化思想提出了一种数据缺失情形下的最优传输的熵正则化算法,最后将其应用于运输问题和图像检索领域,并给出相应的实例,验证了本文算法及其对提出问题的有效性.

摘要： 本研究针对大数据分析预处理的缺失数据值填补问题及解决方案进行了探讨,提出了一种用于缺失值填充的插补算法。该算法在MissForest算法基础上融合K折交叉验证的思想,通过在不同缺失率下的插补试验与分析表明:该算法的填补误差小于传统的CNN插补算法,运行时间复杂度优于基础的MissForest算法,具有较强的泛化能力。

摘要： 针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG-LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG-LSTM单元结构;其次,基于TG-LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG-LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG-LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.

摘要： 随着我国环境监测体系的进一步发展,环境监管已经建成了以标准监测站为主,微型监测站为辅的环境监测体系.但是微型监测站的数据采集过程中由于一些不可控的因素所导致的数据缺失是不可避免的,而这些数据缺失对分析和挖掘这些监测数据造成了一定的影响.本文针对这种空气质量监测数据的缺失问题提出了一种融合双向GRU的数据缺失补充算法.该算法采用1个正向的GRU网络和1个反向的GRU网络并且使用集成学习的思想来分析缺失数据前向和后向的特征,从而获得缺失数据的补充数据.文章使用沈阳市位于不同区域的3个微型监测站的监测数据进行实验,实验表明,融合双向GRU的空气质量监测数据缺失补充算法相比于传统的均值补差法和单向的GRU插值法具备更好的缺失数据补充效果.

摘要： 将Monte Carlo EM算法应用到存在缺失数据的多元正态分布数据中,给出了其均值向量的估计公式,并利用R语言进行了不同样本量下的随机模拟,最后将模拟结果与传统均值插补方法进行了对比,结果表明MCEM算法估计效果相比于传统均值插补方法更好.

摘要： 机器学习中数据缺失很普遍,导致数据缺失的因素通常有人为失误、数据处理软件的缺陷、获取数据的传感器错误等。数据缺失会导致机器学习的性能下降,因此缺失值的填补对机器学习任务变得格外重要。针对数据缺失问题,该文提出一种新颖的缺失数据填补方法,构建了一个生成对抗填补网络(简称GAIN)。GAIN主要包括生成器和判别器两个部分,其中生成器(G)用来观察真实数据的每一部分,然后根据观察的结果填补缺失数据的部分,输出一个填补后完整的向量;判别器(D)接受一个完整的向量,来判别哪一部分数据是真实的,哪一部分是被填补的。在4个UCI机器学习标准数据集和石油行业钻井液数据集间进行了实验,验证了GAIN方法的有效性,能提升机器学习任务的性能。

摘要： 电离层F2层的临界频率(foF2)决定了高频(High Frequency)通信链路最佳通信频率这一最重要参数.所以foF2的缺失可能会对高频通信产生严重的影响.为避免较差的高频通信时段,本文利用美国NOAA和澳大利亚IPS提供的foF2实测数据,研究全球低纬地区foF2数据缺失的分布以及产生缺失的相关原因.结果表明:(1)foF2缺失是一个夜间现象,白天的缺失远比晚上少,并且亚洲区域的缺失表现为夏季的6或7月份的缺失最多、春秋季月份缺失较多、冬季月份则较少;美洲则刚好相反.(2)从一个太阳周期变化上看,foF2的缺失与太阳黑子数有着相反的变化规律,即太阳黑子数越高foF2的数据缺失越少,反之则越高.(3)foF2晚上时段的缺失在午夜前和午夜后的分布有明显不同,且亚洲比美洲明显,表现为夏季时段,午夜后的缺失占据主导,明显比午夜前的多;而在春秋季节,则表现为午夜前的缺失占据主导,明显大于午夜后的.这就说高频通信在上述存在较多缺失的时段可能更易受影响.此外,通过分析我们发现造成晚间foF2缺失的直接原因是扩展F层的出现,并且不同类型的扩展F层造成的缺失分布也会不一样.统计表明,晚间foF2缺失与扩展F层的相关系数高达0.93.本文第一次从数据缺失上,对全球低纬地区foF2实测数据进行研究,得到比较完整的缺失分布特征,并给出了产生缺失的原因,可能对后面的相关研究和HF通信有一定的参考意义.

摘要： 电力系统元件的可靠性评估是电力系统安全可靠运行的关键环节.本文根据电力系统中元件实际运行记录的特点,提出了一种故障数据缺失元件的实用可靠性评估方法.该方法基于威布尔分布模型,系统地建立了电力元件的样本筛选、参数计算、模型检验、故障率曲线绘制和数据缺失元件可靠性评估的计算与求解方法.以变压器为例,验证了本文方法的有效性,并分析了电压等级、生产厂家、产品型号对变压器可靠性的影响,为电力元件可靠性评估的实际应用提供了系统有效的方法。

摘要： 本文给出数据缺失场合三参数对数正态分布的参数估计，并通过Monte-Carlo模拟说明了本文方法的可行性.

摘要： 分析了网络权重分布对于社交网络中年龄预测的影响，尤其是建立了一套基于零模型的研究范式，该范式能够区分用户个体属性、网络拓扑结构和权重分布三方面对于用户特征的影响；讨论了社交网络中的数据缺失问题，分析了数据缺失对于用户特征预测的影响，可以有效减低算法的计算量和对用户信息准确性的要求。

摘要： “大客户路标导航服务平台”的原始数据来源于各基层单位，录入数据的相关业务人员素质参差不齐，大客户提供的资料残缺等因素，导致大量数据缺失。针对所存在的数据缺失问题，研究出一种基于粗糙集理论的数据补值模型。该模型根据粗糙集理论属性约简方法对数据进行分析和处理，在众多原始数据中根据其特性对缺失数据进行填补，并根据业务数据不同精确度要求，按相似度一致原则，得到的参考属性序列即为给用户提供的参考补值，最终由用户确认补值参考值。“大客户路标导航服务平台”应用该数据补值模型后，提高了平台业务数据的完整性，为平台更好地发挥作用提供保障；模型通用性强、移植简单，适用于其它业务系统，具有良好的应用价值与推广前景。

摘要： 电网电能质量监测过程中,由于种种原因会导致采集的数据存在缺失.针对电网电能质量数据缺失的问题,提出基于相关分析的缺失数据填充方法.该方法首先进行相关分析,通过归一化互信息计算指标间的相关性,然后选择其中最强相关性的指标进行回归分析,并采用自动分段回归的方式得到预测模型,进行缺失数据填充.实验结果表明这种方法平均误差百分比与平均值填充相比提高了20％,平均误差百分比不超过8％,具有较好的准确性.

摘要： 研究表明：用散度理论观察网络，发现IP互联网存在重大结构性缺失；由于缺失内容驱动的类星拓扑结构，共享流量不顺不畅，内容安全没有保证，系统大量耗费能源；统一内容标签借助透明计算，融合地址驱动的IP主结构和内容驱动的类星次结构，开拓未来网络双结构的新局面。

摘要： 研究表明：用散度理论观察网络，发现IP互联网存在重大结构性缺失；由于缺失内容驱动的类星拓扑结构，共享流量不顺不畅，内容安全没有保证，系统大量耗费能源；统一内容标签借助透明计算，融合地址驱动的IP主结构和内容驱动的类星次结构，开拓未来网络双结构的新局面。

摘要： 研究表明：用散度理论观察网络，发现IP互联网存在重大结构性缺失；由于缺失内容驱动的类星拓扑结构，共享流量不顺不畅，内容安全没有保证，系统大量耗费能源；统一内容标签借助透明计算，融合地址驱动的IP主结构和内容驱动的类星次结构，开拓未来网络双结构的新局面。

摘要： 研究表明：用散度理论观察网络，发现IP互联网存在重大结构性缺失；由于缺失内容驱动的类星拓扑结构，共享流量不顺不畅，内容安全没有保证，系统大量耗费能源；统一内容标签借助透明计算，融合地址驱动的IP主结构和内容驱动的类星次结构，开拓未来网络双结构的新局面。

摘要： 缺失数据处理是数据清洗流程中最重要的环节之—，为了利用时间序列数据的周期性，更好地拟合时间序列预测模型，本发明提供了一种时间数据序列的缺失数据插值方法和装置，该方法包括步骤：获取对第一时间数据序列的缺失数据进行插值后得到的第二时间数据序列；将第二时间数据序列进行数据分解得到趋势部分数据和周期性部分数据；根据周期性部分数据判断第二时间数据序列是否具有周期性；若是则根据第一时间数据序列的趋势部分数据对该趋势部分数据的缺失数据进行插值，将周期性部分和趋势部分进行分离，单独对趋势部分进行插值处理，既保证了周期性数据没有遭到破坏，也保证了周期性数据没有对插值处理过程造成干扰，提高了插值准确性。

摘要： 本发明提供一种利用多种中尺度风速数据插补观测缺失风速数据的方法，包括以下步骤：按时间序列收集多种中尺度风速数据；对观测风速数据、中尺度风速数据进行预处理，得到观测风速平均数据、可用中尺度风速数据；合并观测风速平均数据和可用中尺度风速数据，得到第一列表；设定阈值，通过筛选对第一列表进行迭代；将迭代后的第一列表内的可用中尺度风速数据代入最终风速数据插补模型，得到最终拟合风速数据；将最终拟合风速数据和观测风速数据按时间点进行拼接。本发明可以解决现有技术中存在的仅在一种中尺度风速数据和观测风速数据之间建立插补方程，无法同时考虑不同中尺度风速数据，插补后得到的测风数据准确度不够的技术问题。

摘要： 本发明公开了一种大数据分析中缺失数据混合多重插值方法及系统，包括以下步骤：步骤S1、以缺失数据为插值中心，在缺失数据所在的数据矩阵中以与插值中心位于同一横向和同一竖向的多组未缺失数据作为多组插值模型训练数据，并将多组插值模型训练数据按在插值中心的方位分别设定出多组插值模型训练数据的插补方向；步骤S2、将所述多组插值模型训练数据按所述插补方向进行排序得到多组插值模型训练序列，并利用神经网络模型基于所述多组插值模型训练序列进行模型训练得到多组插值模型。本发明进行多方向插补，建模预估出多个缺失结果从而进行加权插补，提高缺失数据的可变性并且多个方向的插补值加权得到最优插补结果，避免过度拟合以及偏差估计。

摘要： 一种存在数据错误和缺失的无线传感器网络收集数据重建方法，根据监测区域内传感器节点收集的环境数据，构建采样矩阵；利用采样矩阵重建环境数据矩阵，将环境数据的重建问题建模为基于弹性网正则化的结构化噪声矩阵补全模型；利用交替迭代优化方法，并设计基于算子分裂技术的数据恢复算法求解基于弹性网正则化的结构化噪声矩阵补全模型，进而重建环境数据矩阵。本发明基于环境数据矩阵的低秩特性，将不完整数据的重建问题建模为一类弹性网正则化的结构化噪声矩阵补全模型，同时设计了基于算子分裂技术的数据恢复算法，实现对缺失数据有效恢复，能准确判断收集到错误数据的传感器节点。本发明的性能优于现有算法，能以较高的精度重建环境数据。

摘要： 本申请公开一种数据信息缺失数据填充方法、装置、设备及介质，其中，该方法包括：提取用户数据中的缺失数据，上述缺失数据为缺失特征信息的数据；遍历上述N组用户数据的N组用户交互序列数据，对目标用户交互序列数据进行计算，获取上述N组用户交互序列数据对应的关联权重集合；根据上述关联权重集合中的关联权重值，对上述X组目标交互序列用户数据中的每组目标用户交互序列数据进行计算，获取上述缺失数据的缺失特征信息对应的数据值；将上述缺失特征信息对应的数据值填补至上述用户数据中。如此，可以大幅度减少无关噪声，并且大幅度提高填补的精准度，从而在后续为用户推送更加符合用户需求的内容。

摘要： 本发明涉及一种针对临床检测数据缺失问题的数据处理方法，是基于有缺失数据的临床检测结果，使用自编码神经网络来实现智能化的临床数据处理。首先编码器将每个检测项目的数据结果进行编码，由于每个检测项目不同的患者数据，最终得到维度不确定的编码矩阵。然后通过矩阵运算将不定维度的编码矩阵转化为相同维度的向量，从而能够使用神经网络来进行解码，对缺失检测数据给与弥补。通过在编码器和解码器之间插入巧妙设计的矩阵运算，所提出的方法成功消除了临床检测数据维度不定问题，使得神经网络来可以被用来处理有大量缺失临床检测数据的处理。

摘要： 本发明涉及一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，包括以下步骤：步骤S1:获取心电图文件并对其进行图像预处理，得到二值化心电图;步骤S2:根据得到的二值化心电图，以列扫描方式与前者基准结合转换图像信息为标准心电数据；步骤S3:将标准心电数据通过多维心电分析模型，提取心电特征；步骤S4:分别构建特征权重分析模型的情绪预测模型、卷积神经网络和Missing_Value_Model模型，并根据标准心电数据和心电特征，得到三个预测结果；步骤S5:根据得到的三个预测结果，采用比较权重方法确定最终的预测结果。本发明提出融合三种格式数据的情感类型预测模型，实现提高预测准确度。

摘要： 本发明涉及一种MES背景下的数据库数据缺失的填补方法及系统。该方法包括：读取数据库中数据的时间戳信息；判断数据是否发生缺失；当数据发生缺失时，采用二分法查找数据中数据缺失的位置；根据数据中数据缺失的位置，确定数据的数据缺失类型；数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；根据数据的数据缺失类型，对数据进行填补；当数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补数据中缺失的数据；当数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补数据中缺失的数据；当数据的数据缺失类型为长时缺失类型时，对数据不进行填补。本发明可以提高缺失数据填补的精度和适应性。

摘要： 本发明涉及通信技术领域，公开了一种通信大数据平台的数据缺失主动发现方法及装置。本发明针对通信大数据平台中各原因复杂且常见的数据缺失场景提出了相应的解决策略，其中针对网元配置信息变化导致的各解析设备不能解析相应数据包的复杂场景，本发明通过对该数据包进行自动解析来获取网元配置信息，并由汇聚分流设备发送至相应的解析设备以完善解析参数，能够使得解析设备实现对该类数据包的解析，避免丢弃数据而造成数据缺失。本发明提升了数据缺失的自动检测率，有益于提高大数据通信平台的数据完整性。

摘要： 本发明提供了一种用于能源大数据的跨时空双向数据缺失值填充方法和装置，该方法包括：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据第二数据表计算各特征的平均值和中值；采用0值、平均值和中值对第一数据表中各特征对应列的缺失值进行填充，将填充后的第三数据表、第四数据表和第五数据表插入第二数据表，形成第六数据表、第七数据表和第八数据表；将第六数据表、第七数据表和第八数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集、第二训练数据集和第二交叉验证数据集以及第三训练数据集和第三交叉验证数据集，并对目标神经网络进行训练，以获取预测模型。