异常值

摘要： 对给定的数据,文章分别建立了以残差的平方和及绝对值和为目标的线性最小二乘与最小一乘模型,采用正弦余弦算法计算模型参数;然后应用于无异常值的模型和包含异常值的模型,计算结果发现异常值对最小二乘有着较大的影响,而对最小一乘的影响较小;表明最小一乘具有较好的稳健性。

摘要： 靶场实测数据具有数据样本少、获取代价高等特点,从中剔除异常值,在军事、经济及时间上有重要意义。为降低数据录取给试验鉴定结论带来的误判风险,提出不确定度法,具体由预先评定出的测量结果不确定度和在实际测量过程中获得的最佳估计值来共同确定剔除异常值的实测数据录取方法,结合某型坦克炮身管内径鉴定试验,说明了不确定度法的内容及步骤。通过人为设定样本集并附加异常值进行MATLAB仿真分析,结果表明无论是样本量少,还是样本量多,运用不确定度法剔除异常值具有较高的可靠性。不确定度法充分考虑测量系统及测量过程的实际情况,运用计量结果等现有信息一次性评定出测量不确定度,即可在实际测量中进行重复应用,有利于靶场试验从策划到实施的质量控制。同时,在靶场采用不确定度法录取实测数据,具有简单快捷的特点,不仅满足一线的快速使用,而且还能显化出靶场计量在试验一线的贡献度。

摘要： Cook距离公式常用于回归模型的异常值诊断,但由于公式中的样本方差■对异常值敏感,导致公式缺乏稳健性,使得诊断效果不理想。基于以上问题,文章选取绝对离差中位数作为样本标准差的稳健估计量,得到了样本方差■的稳健估计量,进而构造出稳健Cook距离公式;借鉴传统Cook距离的回归模型异常值诊断理论,将稳健Cook距离公式应用于时间序列异常值诊断,拓展了传统Cook距离公式的异常值诊断领域。通过选取模拟样本量分别为50、100、200,污染率分别为0、1%、5%、10%的ARMA(1,1)序列及金融时间序列进行实例分析,结果发现:(1)在无污染时,稳健Cook距离法与常规Cook距离法的诊断正确率均为100%,两者没有出现"误诊"现象;(2)在样本量、污染率同时增大时,常规Cook距离诊断正确率急剧下降,当污染率达到5%及以上时,已基本无诊断力,而稳健Cook距离法依然能保持较高的诊断力。稳健Cook距离法不仅能应用于时间序列异常值诊断,也能应用于回归分析的异常值诊断。

摘要： 为有效识别城镇取用水监测数据异常值,提高数据的可靠性与真实性,结合局部异常因子(LOF)算法与互补集成经验模态分解(CEEMD)法,开发城镇取用水监测数据异常值自动识别的方法。先应用LOF进行可直观异常值识别,再应用CEEMD对修正后的数据序列进行频谱分解,通过低频叠加分量拟合序列并设定相对误差阈值用以识别不可直观异常值,以河北省某自来水厂日取用水监测数据进行实验分析,结果显示,修正后的年取用水数据由直接监测的51.27万m^(3)减少为41.14万m^(3),修正结果与人工核定的年取用水量更为接近。研究结果表明:直接使用监测数据用以统计年取用水量存在较大误差,提出的方法可有效识别取用水量监测数据中的异常值并进行修正,为后续的水资源强监管提供技术支撑。

摘要： 在定量包装商品净含量检验过程中,偏差较大的数据时常出现,分析处理这些异常值,有利于正确判断检验结果。本研究通过定量包装商品净含量检测工作,得到相应检测数据,利用格拉布斯准则判别得出的数据2.331为异常值并对该异常值进行有效剔除;然后利用一个新的检验数据重新进行计算,修正后的平均实际含量可以更客观的表现样本情况。同时,对于异常值产生的原因和可能造成的后果进行分析,并制定行之有效的处理措施。

摘要： 含异常值的数据和高维数据越来越频繁地出现,对现有的稳健估计和多元线性回归估计方法提出了挑战。传统的多元线性回归模型估计对异常值非常敏感,基于MCD估计方法的多元线性回归估计对异常值有一定的抵御作用。但随着数据维数的增加,MCD估计的精度不断降低,稳健性也随之降低,且当数据维数大于样本量时MCD估计方法失效。因此,本文利用MRCD的均值向量和协方差矩阵估计,提出了基于MRCD估计方法的高维稳健多元线性回归模型估计。数值模拟的结果表明,基于MRCD估计方法的多元线性回归模型估计能很好地抵御异常值,且在数据维数大于样本量的情况下,基于MRCD估计方法的多元线性回归估计更为有效。实证分析的结果表明,基于MRCD方法的多元线性回归估计能更好地抵御异常值并得到更好的预测效果。

摘要： 随着“互联网+”的不断发展,农产品电商发展迅速。但当前农产品冷链物流面临调度效率低下问题,这不但对企业效益造成损失,还会引发农产品健康安全问题,如何提升农产品冷链物流智能化程度,是全社会亟需解决的问题。针对上述问题,本文提出了一种基于改进GBDT(Gradient Boosting Decision Tree,梯度提升决策树)算法的农产品冷链物流资源需求预测模型,创新性的提出了一种新的-Huber损失函数,能在提高收敛速度的同时,降低对异常值的惩罚,从而提高预测精度。

摘要： 随着国家对海洋的重视,我国的海洋开发和管理日益加强,极大地推动了海洋观测系统的发展,也促进了海洋观测仪器的技术革新及海洋观测数据种类和数据量的快速增长,然而对多源观测数据实行准确有效的数据质量评估成为社会各界共同关注的议题。本文对海洋浮标表层环境要素数据提出了一种简洁实用的质控流程和方法,包括前处理质控、数理统计质控、局地质控、误差控制、人工审核及数据质量标识等步骤,并对福建省海洋观测网的7个大型海洋浮标观测数据进行质控,结果表明:一般情况下不需人工干预就可以有效地检出表层环境要素的异常数据。实践表明,该质控流程和方法也可以适用于其他同类海洋观测平台获取的延时或实时资料,为最终获得完整、准确、质量可靠的海洋观测数据提供有力支撑。

摘要： 利用时间序列分析中干预分析模型研究了我国民航客运量在极端事件时受到的干预影响.结果表明我国民航客运受到多次连续冲击,在2020年2月受到一次较大的负冲击,同样在3月也受到一次负冲击,但由于我国国内民航市场潜力大,国内控制较稳定,及政府相关政策的有效扶持,民航客运在8月份受到正冲击,下半年客运量有所恢复.全年总冲击为负值,表明此次极端事件对我国民航客运造成较大负面效应.2月份受到的冲击效应持续到年底且逐渐减弱,表明极端事件对我国民航客运造成长久且持续的影响,国内客运量仍具有进一步增长空间.

摘要： 针对GPS数据时间跳变问题引起的行程时间、行程速度以及车辆运行状态变化识别等指标的计算错误,提出基于轨迹连线的时间跳变点修正方法。修正过程主要包括依据时间变量对GPS数据排序、跳变点识别并编号、跳变点修正以及修正效果评价。以西安市出租车GPS数据为例,进行验证。研究结果表明,经过该方法修正后,数据中跳变错误点的比例从原始的6.5%降至0.5%,车辆轨迹连线偏离度由7.0%降至1.3%,该方法修正效果好,有效提高了指标计算的准确性以及基于该指标研究的准确性,具有一定的借鉴意义。

摘要： 异常值的判别是一个比较困难而且又需要特别慎重的工作.文章基于统计学理论,对异常值的常用处理方法拉依达准则、格拉布斯准则的特点做出了简要分析.选取相同的测量数据,利用不同的判别方法可能会导致不同的判别结果.因此,科学合理地判别异常值具有重要意义.

摘要： 大坝变形监测的数据可能存在一些异常值，这些异常值对大坝安全状况的评价和安全监控会产生较大的影响.大坝变形受到很多因素的影响，判断异常值需要综合考虑.介绍了格拉布斯判断法和改进的格拉布斯法，结果表明改进的格拉布斯法有很好的剔除异常值的能力.

摘要： 大坝变形监测的数据可能存在一些异常值。这些异常值对大坝的安全状况的评价和安全监控会产生较大的影响。大坝变形受到很多因素的影响，判断异常值需要进行综合考虑。文中介绍了格拉布斯判断法和改进的格拉布斯法，结果表明改进的格拉布斯法有很好的剔除异常值的能力。

摘要： 对卫星钟差进行预报,需要建立准确的卫星钟差模型.卫星钟差的AR模型就是一种有效的建模方法.但是AR模型中若含有异常值,就会使传统的建模、估计及检验方法陷入困境,从而不能准确的预测和控制.因此,寻求有效的异常值探测方法就显得尤为重要.本文针对卫星钟差的AR模型,主要研究AR模型的异常值探测问题,在一定的限制条件下,将自回归模型的异常值探测问题转化为线性回归模型的异常值探测问题.在无信息先验条件下,结合观测信息,计算了基于均值漂移模型和方差膨胀模型异常值事件发生的后验概率,提出了无信息先验下自回归模型中异常值探测的Bayes方法并对异常值进行了估算.该方法能将异常值准确的探测和估算出来,借此修正模型,从而提高预测的准确性.最后作者做了钟差实测数据计算,比较了模型修正前后预报的情况,验证了新方法的有效性.

摘要： 本文针对金融市场上非对称Poisson跳—扩散模型特点,应用了不受分布限制的异常值检验方法来估计跳—扩散模型的参数并利用模拟方法分析了新估计方法的优良性.该方法充分考虑了跳—扩散模型的特点,能够确定跳跃点的位置.

摘要： 酸洗冷连轧生产过程中，过程数据如速度、轧制力、张力等有时候会出现异常值，这些异常值对数据的处理分析有着很大的影响，如果单凭直觉判断，则缺乏理论上的依据；如果删除或不处理，则影响样本的代表性。在技术上分析不出原因时，一般采用数据统计的方法来判断和处理异常值，笔者介绍了几种常用的方法，并举例说明了计算过程。

摘要： 基于经典最小二乘法的传统回归分析方法是在GM假定下进行的，其无法抵御异常值的影响，即无鲁棒性，而加权最小二乘法可以有效抵御异常值的影响.利用MATLAB软件提供的基于加权最小二乘法的稳健回归函数(robustfit)，通过对某拱坝的径向位移的回归分析表明，加权最小二乘法可大大挺高回归的稳健性.

摘要： 基于经典最小二乘法的传统回归分析方法是在GM假定下进行的，其无法抵御异常值的影响，即无鲁棒性，而加权最小二乘法可以有效抵御异常值的影响。利用MATLAB软件提供的基于加权最小二乘法的稳健回归函数（robustfit）,通过对某拱坝的径向位移的回归分析表明，加权最小二乘法可大大挺高回归的稳健性。

摘要： 气象辐射观测数据是气象业务、服务和科学研究的基础,其质量控制很重要,本文根据地面气象观测规范要求和实际工作中的审核经验,对气象辐射观测记录的质量控制方法及容易发生异常的地方进行总结,对台站提高辐射月数据文件的质量提供参考,对从事省级气象数据质量控制工作尤其是刚从事该项工作的人员的提供一点有益的帮助.

摘要： 气象辐射观测数据是气象业务、服务和科学研究的基础,其质量控制很重要,本文根据地面气象观测规范要求和实际工作中的审核经验,对气象辐射观测记录的质量控制方法及容易发生异常的地方进行总结,对台站提高辐射月数据文件的质量提供参考,对从事省级气象数据质量控制工作尤其是刚从事该项工作的人员的提供一点有益的帮助.

摘要： 公开用水量时序数据的异常值处理方法和异常值处理装置，所述异常值处理方法包括：检测所述用水量时序数据中的第一类型的异常值，并对所述第一类型的异常值进行第一校正，从而获得经过第一校正的用水量时序数据作为第一数据集；将所述第一数据集分解为趋势项数据、周期项数据和残余项数据，基于趋势项数据、周期项数据和残余项数据，确定第一数据集中的第二类型的异常值，并对第二类型的异常值进行第二校正，从而获得经过第二校正的第一数据集作为第二数据集；基于所述第二数据集中的各个异常值时刻的数据及其相邻数据，对所述第二数据集中的各个异常值时刻的数据进行校正。该异常值处理方法能够准确和快速地对用水量时序数据的异常值进行校正。

摘要： 本发明提供了一种基于重力异常基准图的重力异常值连续化方法，能够更加精确地计算出粒子滤波中粒子的重力异常值。建立三维坐标系，x、y轴分别为重力异常基准图中的经纬度，z轴是该点的重力异常值，A、B、C、D四个点在水平面的投影是粒子所在重力异常基准图中的一个方格，将粒子所在的方格分别以对角线为分割线分为ABC、BCD，以及ACD、ABD两组三角形；分别判断每组三角形中粒子所在的位置，然后估算该粒子在每组三角形的重力异常值，最后对两个估算值加权平均即为最终重力异常值估算值。

摘要： 公开用水量时序数据的异常值处理方法和异常值处理装置，所述异常值处理方法包括：检测所述用水量时序数据中的第一类型的异常值，并对所述第一类型的异常值进行第一校正，从而获得经过第一校正的用水量时序数据作为第一数据集；将所述第一数据集分解为趋势项数据、周期项数据和残余项数据，基于趋势项数据、周期项数据和残余项数据，确定第一数据集中的第二类型的异常值，并对第二类型的异常值进行第二校正，从而获得经过第二校正的第一数据集作为第二数据集；基于所述第二数据集中的各个异常值时刻的数据及其相邻数据，对所述第二数据集中的各个异常值时刻的数据进行校正。该异常值处理方法能够准确和快速地对用水量时序数据的异常值进行校正。

摘要： 本发明提供了一种基于重力异常基准图的重力异常值连续化方法，能够更加精确地计算出粒子滤波中粒子的重力异常值。建立三维坐标系，x、y轴分别为重力异常基准图中的经纬度，z轴是该点的重力异常值，A、B、C、D四个点在水平面的投影是粒子所在重力异常基准图中的一个方格，将粒子所在的方格分别以对角线为分割线分为ABC、BCD，以及ACD、ABD两组三角形；分别判断每组三角形中粒子所在的位置，然后估算该粒子在每组三角形的重力异常值，最后对两个估算值加权平均即为最终重力异常值估算值。

摘要： 本发明公开一种大气光信道密钥提取中的测量异常值差分幅值比对筛除方法。本方法通过比对采集的大气光信道中传输光信号的测量采样值的差分幅值，筛除通信双方采集到的电信号数据中的测量异常值，降低了信道噪声和设备噪声对信道互易性影响，达到了提高信道双方提取原始共享随机比特序列的一致率的目的。

摘要： 一种用于抑制相变存储器(PCM)装置的异常值漂移的计算机实现的方法包括由控制器对所述PCM装置的电导进行编程，其中所述编程包括在第一时间点将所述PCM装置的所述电导配置成第一电导值，所述第一时间点是编程时间点。该编程还包括在第一预补偿时间点确定PCM器件的电导已经改变到第二电导值，第二电导值与目标电导值相差不大于预定阈值。进一步，编程包括：基于上述确定，在第二时间点将PCM器件重新编程为第一电导值，包括再次测量所述预补偿，但是在第二预补偿时间点。

摘要： 本发明公开了一种热力站历史能耗数据异常值处理方法及装置。该方法包括：获取热力站历史能耗数据，所述历史能耗数据包括一定时间段内历史能耗与平均温度的对应关系；基于经验值去除所述历史能耗数据中热力站未开启和热力站异常开启的异常数据；基于数据统计确定历史能耗数据的正常数据分布范围，去除所述正常数据分布范围之外的异常数据；基于聚类算法对上述处理之后的历史能耗数据进行聚类分析，去除经聚类分析获得的异常数据。可见，本发明利用基于经验值、基于数据统计和聚类算法，一步步地去除热力站历史能耗中的数据异常值，克服了现有技术中仅基于经验值或基于数据统计无法完全去除数据异常值的缺陷，为后续建模提供干净的数据。

摘要： 本发明公开了一种时间序列异常值检测方法、装置、设备及存储介质，该方法包括：获取当前需实现异常值检测的时间序列为待检测序列，使用STL分解算法将所述待检测序列分解为趋势分量、周期分量和余项；使用Boxplot和sigma搭配对所述余项进行异常值检测得到所述余项中的异常值，并确定所述余项中的异常值为目标值；确定所述目标值对应所述待检测序列中的值为所述待检测序列中的异常值，以实现所述时间序列的异常值检测。可见，本申请无需使用分类算法或者预测算法，更不需对历史数据进行人工标注，从而使得时间序列异常值检测能够简单易于实现。

摘要： 本发明公开了一种时间序列数据的异常值检测方法和装置，其中，所述方法包括：通过在一范围参数下确定待测时间序列数据中异常数据点的集合，即第一异常数据集合，然后利用第一异常数据集合中异常数据点之间的平均距离差，并利用阈值判断来在第二范围参数下重新检测异常数据点，以此尝试保留离群程度不明显的数据点，由此实现了对于异常的数据点和筛选和处理，提高了数据的准确性，为后续的数据分析提供了良好的基础。

摘要： 本发明公开了一种基于VMD迭代分解的动态定位坐标序列异常值识别方法。首先对动态定位坐标序列进行VMD分解，得到坐标序列的低频趋势分量和高频噪声分量，计算高频噪声分量的标准差；然后利用坐标序列、低频趋势分量与噪声标准差进行异常值识别，对异常点进行插补得到新序列；再对新序列迭代进行VMD分解、异常值识别与插补，并计算最后一次迭代的噪声标准差与上一次的噪声标准差之间的变化百分比；将变化百分比与阈值相比较，若大于阈值则再次进行迭代，若小于阈值则认为序列中的异常值已经被识别并剔除。使用本发明提出的方法，能够有效识别并剔除动态定位坐标序列中不同幅度的异常值，提高定位序列的精度与可靠性。