缺失值

摘要： 近年来,重工业的快速发展加剧了空气质量下降,环境治理变得尤为重要.然而,在国内外现有的空气质量评估系统大多形式单一、准确度低、评估范围有限,并不能较精确的以多样化的形式展示空气质量情况.本文设计实现了一套集数据收集、标准化处理及空气质量评估为一体的空气质量评估系统.该系统采用网络爬虫从空气质量监测网站获取数据,并对数据进行抽取、清洗、单位转化、污染物分类及多种标准化方法处理,提高空气质量的评估精确度.系统评估方式多样,有按时、日、月、监测站位置及污染物种类等,解决了大多数空气质量评估系统形式单一和评估不准确的问题.该系统可以为用户提供实时的空气质量情况,还可以为大气污染相关科研人员提供准确的数据预处理结果.系统运行稳定可靠,界面友好,功能丰富,能满足空气信息综合管理评估的需求.

摘要： 为准确估计多传感数据流中的缺失值,提出了一种改进循环神经网络模型。所设计的改进循环神经网络由插值模块和插补模块组成,其中插值模块是在数据流内捕获传感数据之间的时间相关性;插补模块则是基于全连接神经元层在不同数据流之间捕获传感数据值之间的时间相关性。循环神经网络模型还使用Dropout方法进行多重插补以进一步提高估计准确度。基于真实电力设备传感数据的实验,结果表明:所设计改进循环神经网络能够实现缺失传感数据的准确估计。

摘要： 在医学研究数据采集与获取过程中,经常会碰到缺失值。例如,创新药开发临床试验中,导致缺失值的原因可能有受试者失访、或受试者由于不良事件、对干预措施的不耐受或缺乏疗效等原因中途退出试验[1]。缺失值不仅会给统计分析和结果解释带来挑战,而且可能会对临床试验结果造成偏倚,使其代表性和真实性受到影响[2]。对于缺失值处理的问题,欧洲药品管理局于2010年发布了《确证性临床试验中缺失数据处理指南》[3]。

摘要： 多维时序序列是指一组按照时间发生先后顺序进行排列的数据点序列,广泛存在于天文、医疗、交通等领域。囿于收集技术较差,或是序列的物理性质所致,时序序列记录中往往存在较多的缺失值和大量的不规则采样,使得时序序列的稀疏性大大增加。最终导致许多深度学习的时序序列分类算法等无法正常工作,出现算法效果差、算法训练时间过长等问题。面对这些问题,目前常用的做法是简单删减或是利用专家知识做重采样,前者会导致数据规模变小,后者使得算法成本增加。本文利用时序序列的时间戳数据构建了一种半自动化的预处理方法。在公共数据集MIMIC-Ⅲ、Physionet和肾移植数据集上的实验表明本文提出的方法在基本不损失算法效果的同时,能够有效降低数据稀疏规模,并且平均能够节约42.1%的算法训练时间。

摘要： 随着数据来源的不断丰富,数据的获取变得愈发容易,但质量难以得到保证,从而导致缺失值在真实数据集中普遍存在且难以避免,缺失值填补也就成为数据质量管理领域的经典问题之一。目前,大多数的缺失值填补算法均是针对静态数据提出的,并不适用于高速到达的动态数据流,且现有算法大多未同时考虑数据的稀疏性和异构性问题。基于此,文中提出了一种新的基于独立模型的在线缺失值填补算法RIIM。该算法同时考虑了数据的稀疏性和异构性问题,并结合近邻填补和回归填补的基本思想对缺失值进行有效填补。首先,针对数据的动态实时性,提出了高效的填补模型增量更新算法;其次,针对数据近邻查找时间代价高以及近邻个数难以确定的问题,提出了最优近邻自适应周期性更新策略;最后基于真实数据集通过大量实验验证了所提算法的有效性。

摘要： HIV通过损害人体内的CD4细胞,减弱人的抵抗力而导致感染艾滋病。未感染的人每毫升血液大约含有1100个CD4细胞,所以可以通过测量患者的CD4细胞数对病情的好坏程度进行一定的评估。本文使用复合分位数回归方法对来自多中心艾滋病队列研究的数据进行分析,在响应变量与部分协变量同时缺失的情况下,我们提出了部分线性变系数模型的加权B样条复合分位数回归估计来描述整个时期CD4百分率变化的情况,并得到加权B样条复合分位数回归估计具有Horvitz-Thompson性质。同时,我们将所提出的估计方法与自适应LASSO惩罚方法相结合,得到患者的吸烟状态以及HIV感染时的年龄对HIV感染后患者的CD4百分率的影响不显著。

摘要： 针对用溯源法主动对数据记录进行真实值填补成本较高的问题,结合多任务学习与主动学习的优势,提出一种深度多任务主动学习网络,将缺失数据填补任务与常旅客价值分类任务同时进行训练。此外,考虑到生产大数据环境,提出一种基于Spark的主动填补运行机制,使得深度多任务网络模型能在大数据环境下高效运行。实验表明,模型在不损失数据填补和分类性能的前提下,模型可有效降低所需训练数据的规模,进而减少训练模型所需时间以及人工标记样本所耗费的人力成本。

摘要： 目的:评估不同缺失值处理方法在不同缺失模式、缺失机制及缺失比例下双臂优效临床试验中的统计性能,筛选出相应的最优缺失值处理方式。方法:使用SAS 9.4软件分别生成不同缺失模式(单调缺失或任意缺失)、缺失机制(完全随机缺失或随机缺失)以及不同缺失比例(0%~5%、5%~10%、10%~15%)的纵向模拟数据集,基于各模拟数据集分别使用不同缺失值处理策略进行疗效估计,并分别与完整数据集比较,以评价不同缺失值处理方式的统计性能。结果:当缺失比例5%时,不论缺失机制以及缺失模式,不同协方差矩阵结构的MMRM以及多重填补不同次数后协方差分析所得效应估计值与真实值之间仍最接近,且前者较后者更为稳定。而单一填补方式以及模式混合模型(PMM)随着缺失比例增加,其效应估计的误差也增加,尤其是单调缺失,当缺失比例为10%~15%时其误差最大。结论:不同缺失比例(0%~5%、5%~10%、10%~15%),缺失模式(单调缺失或任意缺失)以及缺失机制(完全随机缺失或随机缺失)下,MMRM误差最小,提示MMRM是处理双臂优效性临床试验中纵向定量数据缺失的首选方案。

摘要： 风电机组的运行参数尤其是功率数据具有极其重要的价值,然而在数据采集、传输和记录的过程中存在各种原因会导致数据缺失。为此,提出了一种基于相似性度量的风功率数据填补方法。该方法利用数据特征,使用欧式距离、动态时间弯曲距离和最大公共子序列等相似性度量方法,寻找最相似的等长序列填补缺失值,并与均值插值、多点三次样条插值和自回归滑动平均模型等方法进行对比,结果表明了该方法的有效性和优越性。

摘要： 铁矿石是钢铁工业的重要原材料,我国是铁矿石进口需求型国家,是世界铁矿石消费第一大国.海关对进口铁矿石检验的主要目标是预防进口铁矿石中涉及安全、卫生、环保、欺诈等方面的风险.对进口铁矿石产地及品牌进行符合性验证,可以快速筛选掺杂、掺假、以次充好,支撑进口铁矿石的风险管理,保障贸易便利化.在前期研究基础上进行应用拓展,研究对象为澳大利亚、南非、巴西、哈萨克斯坦、印度5个国家、21个品牌的422份进口铁矿石样品.考察了波长色散-X射线荧光光谱无标样分析方法的准确度,对于测量过程中未检出的元素含量,选择了用检测限替代缺失值.对于测量过程中的异常值,使用基于剩余方差的F检验进行异常值的剔除,皮尔巴拉混合块、纽曼混合块铁矿、纽曼混合粉铁矿各有一组数据计算得出的F统计量大于F检验临界值(a=0.01),因此将这3组数据剔除.采用逐步判别法筛选出Fe,O,Si,Ca,Al,Mn,Ti,Mg,P,Na,Cr,K,Sr,S,Zn,V,Cu,Ba,Ni,Mo,Pb共21个元素的含量作为产地识别模型的特征变量,建立四维Fisher判别模型,实现了对铁矿石产地的识别;采用逐步判别法筛选出Fe,O,Si,Ca,Al,Mn,Ti,Mg,P,Na,Cr,K,Sr,S,Zr,Zn,V,Cu,Ba,Cl,Ni,Mo和Pb共23种元素含量作为品牌识别模型的特征变量,建立二十维Fisher判别模型,实现对21种品牌铁矿石的识别.考察了特征元素对分类识别模型的贡献,并分析了误判品牌铁矿石的元素特征.总结出进口铁矿石产地及品牌判别分析模型的整体数据处理流程.

摘要： 在物联网时代,大规模感知数据中蕴含着巨大的价值,然而在感知数据的获取和发布过程中不可避免地存在大量缺失值,降低了数据的可用性.为了更好地解决这个问题,需要实时准确地对缺失值进行估计.本文首先给出问题的形式化定义并对相关概念进行系统的研究;然后根据感知数据的时空相关性和多模态相关性,提出在线陀螺形估计(GMVI)框架.GMVI增量地更新充分统计量,通过构建时空数据质量模型判断时空估计顺序,利用最大化时空似然增益来选择或融合候选估计值,并采用回溯更新策略进行增量再估计,从而最大化信息增益;最后提出相应的分块策略来提高算法的稳健性.分别在真实和人工生成的两组数据集上对提出的算法进行了实验评估,实验结果表明与现存的估计方法相比GMVI可以有效提高感知数据中缺失值估计的准确率和效率。

摘要： 大自然的演变、人类的生产活动、社会经济的发展都是时空过程,都可以用时间序列来表示.但是,时间序列数据由于各种原因可能会导致数据的局部缺失,由于局部数据的缺失而抛弃全部数据显然十分浪费和不合理.因此,对缺失时空序列数据进行插值修复对于时空数据挖掘具有重要意义,是时空数据挖掘重要的前期工作,可以为时空关联规则和时空数据预测提供良好的数据支持.rn 本文从时空序列缺失值修补出发，顾及时空数据的相关性和异质性，提出一种时空序列多缺失值插值算法。算法增加了对时间维度的顾及，提高了算法的精度，并通过一系列处理，使得算法可以对多缺失值进行插值处理，提高了算法的普适性。最后通过一组实验分析验证了本文所提方法的可行性和优越性。

摘要： 对于统计分析人员来说，数据集中存在缺失值是非常常见而且令人头痛的问题。基于统计学方面的成熟理论，对缺失值进行尽可能准确的预测，是目前缺失值填充的主流做法。本文采用基于贝叶斯定理的分类方法，对分类数据集中的缺失值进行较为准确的预测。

摘要： 多指标综合评价方法是指对受多种因素影响的事物或现象做出总的评价.对于常规综合评价方法,研究者一般关济其指标体系建立、无量纲化方法、权数确定方法、以及合成方法的选取等方面,而很少研究对评价过程中经常遇到的缺失数据.本文认为,处理缺失数据对综合评价方法以及综合评价的结果的影响不可忽视,因此结合2008中国大学排行榜等综合评价案例,探讨处理缺失数据在常规综合评价中存在的问题,并对具体问题的不同处理方式进行归纳和分析,总结出各种较为可行的处理方式.

摘要： 由于数据挖掘技术日益广泛地应用于各个领域,而大多数领域中数据都存在缺失值,因此基于缺失数据的数据挖掘方法的研究具有重要意义.利用直接删除、特殊值填充、平均值填充、Robust方法4种处理缺失值的方法建立4个缺失值处理模型以及相应的朴素贝叶斯分类器模型.通过在5个实际数据集上进行实验比较,并采用五重交叉验证来检验这些模型的性能.结果表明,用这些模型处理缺失值构建的朴素贝叶斯分类器是有效的。

摘要： 本文系统介绍了人体数据统计分析之前应做的预处理的方法,说明了其重要性和必要性.其中在描述性分析中通过实例介绍了Frequencise和Explore两个比较重要的模块,并引出了缺失值的处理方法.

摘要： 一种青少年儿童近视预测系统的缺失值填补方法，包括：填补眼科数据中的非屈光度数据；筛选一年级屈光度数据样本和二年级屈光度未缺失的数据样本；将二年级屈光度作为要拟合的标签数据，从一年级屈光度数据中选取特征，得到特征子集；利用机器学习方法构建回归模型进行拟合；选取拟合效果最佳的机器学习模型；将二年级屈光度缺失的数据样本输入模型，用预测值进行填补得到二年级的完整屈光度数据；依此类推，利用当前年级的屈光度数据填补下一年级的屈光度数据，本发明还提供了一种使用该方法的青少年儿童近视预测系统以及管理平台，本发明方法的特点是引入GBRT对缺失数据进行填补，使得填补的结果更加接近真实的情况，可提升多年后的预测准确率。

摘要： 本发明提供在指定的时间内能够抑制偏差并补全缺失值的缺失值补全装置、缺失值补全方法以及缺失值补全程序。补全收集到的数据的缺失值的缺失值补全装置(1)具备：补全处理部(12)，其通过模拟测量补全处理的所需时间，将该所需时间与每个由多重代入法多重化后的数据的复用数对应；复用数获取部(14)，当补全处理的允许时间被指定时，根据所对应的上述所需时间获取在允许时间的期间结束补全处理的复用数；以及计算方法决定部(15)，其根据所获取的复用数来决定补全处理的计算方法。

摘要： 本发明公开了一种Meta分析数值缺失状态下MCMC模拟导向的基于多重填补法的缺失值处理的方法，其特点是：以贝叶斯概率论为基点，以马尔可夫蒙特卡洛（MCMC）随机模拟方法为导向，基于多重填补法的缺失值处理，应用于任意缺失模式的Meta分析数据缺失状态下，实现将缺失值处理与常规Meta分析中缺失数据集的一体化整合。该方法可最大程度的拟合缺失数据，以尽可能地保证提取数据的完整性和后续标准统计的可行性，显著提升Meta分析的统计检验效能，增强系统评价结果的稳健性和可靠性，增强对系统综述评价的科学性和全面性。

摘要： 本申请实施例公开了一种空调能耗数据缺失值填补方法、设备及介质。在空调运行过程中，实时获取相应的室外环境参数；获取能耗数据缺失值对应的空调运行时间，以及区域范围内的空调数量；根据空调运行时间确定出空调运行模式；基于空调运行模式以及预设模式等级，对区域范围内的空调进行等级划分，以得到不同模式等级分别对应的空调数量；根据空调运行模式与空调运行时间，在室外环境参数中确定出与能耗数据缺失值对应的参考室外环境参数；将参考室外环境参数与不同模式等级分别对应的空调数量，输入预置能耗数据预测模型，以得到能耗数据缺失值。通过上述方法，能够填补缺失的空调能耗数据，提高对空调能耗数据分析的准确度。

摘要： 本发明公开一种FHR信号缺失值填充装置和方法。构建缺失FHR数据的重建模型；利用最小化稀疏字典学习算法，对缺失FHR数据的重建模型进行优化，得到稀疏系数矩阵和正则项误差的迭代求解公式；利用得到的最优稀疏系数矩阵和正则项误差计算对应的最优字典，结合缺失FHR数据的重建模型，得到缺失值填充后的FHR信号。本发明的方法应用在FHR监护领域，用作数据分析的预处理环节，为FHR监护提供重要参考依据。

摘要： 一种基于生成对抗网络的单细胞RNA序列缺失值填补方法，它属于生物信息领域。本发明解决了采用现有方法对缺失数据填补的准确率低的问题。本发明通过生成对抗网络对RNA序列缺失值进行填补，在生成器部分，引入由DrImpute填补完成的数据作为方向约束，在使用自编码器生成缺失值的同时，在损失函数中加入方向约束项，并对解码层给予了一个Relu激活函数来解决填补后的数据出现负值的情况。实验证明，采用本发明的方法可以显著提高数据填补的准确率。本发明可以应用于对RNA序列缺失值进行填补。

摘要： 本发明公开了一种用能异常检测中基于聚类和近邻算法(KNN)的针对单个用户历史电力负荷数据缺失值插补的方法。该方法考虑到了单个用户在相同用电模式下日负荷数据具有相似性的特点，对无缺失值的日负荷数据进行聚类分析，根据聚类结果将日负荷数据分为不同用电模式并打上类别标签，使用这些打上类别标签的数据通过KNN算法对有缺失值的日负荷数据进行插补，插补效果好，对提取负荷特征以及用能异常检测具有重大意义。

摘要： 本发明提供了一种用于能源大数据的跨时空双向数据缺失值填充方法和装置，该方法包括：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据第二数据表计算各特征的平均值和中值；采用0值、平均值和中值对第一数据表中各特征对应列的缺失值进行填充，将填充后的第三数据表、第四数据表和第五数据表插入第二数据表，形成第六数据表、第七数据表和第八数据表；将第六数据表、第七数据表和第八数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集、第二训练数据集和第二交叉验证数据集以及第三训练数据集和第三交叉验证数据集，并对目标神经网络进行训练，以获取预测模型。

摘要： 本发明公开了一种基于半监督生成对抗网络的文物感知数据缺失值插补方法，包括：步骤1、获取包含文物感知数据的数据集并对其进行预处理，预处理包括对数据集模拟缺失，包括完全随机缺失、随机缺失、非随机缺失；步骤2、针对多种不完整类型的数据集构建缺失值预测的DAE‑SemiGAN模型，并在该模型前加入了降噪自编码器，将预处理后的数据集输入模型中进行训练；步骤3、根据生成的样本集，计算样本集中各个元组之间的相似度，构建相似图，将相似图从无向图转向有向图，得到填充顺序；最后根据模型生成的样本集和填充顺序，对数据集中缺失的数据进行填充。本发明能够处理多种类型数据，且能直接针对不完整数据集进行高效填充。

摘要： 本发明属于基于特定计算模型的计算机系统领域，提供了一种多通道海洋观测时序标量数据缺失值预测方法及系统，获取带有海洋缺失值的海洋观测时序标量数据；基于所述海洋观测时序标量数据，采用TA‑RNN模型，得到海洋缺失值预测结果；所述TA‑RNN模型包括卷积注意模块、空间注意模块和时间注意模块，所述卷积注意模块用于将所述海洋观测时序标量数据进行细化；所述空间注意模块用于捕获细化后的所述海洋观测时序标量数据的动态空间相关性；所述时间注意模块用于捕获空间注意模块输出数据中不同时间间隔之间的动态时间相关性。