公共突发事件应急统计中缺失数据的多重借补研究

摘要

公共突发事件下的应急统计工作涉及统计数据的搜集、处理、分析、评价、共享与发布等内容。本文讨论了公共突发事件下数据搜集的内容和特点，其中缺失数据问题在公共突发事件应急统计工作中是一个非常普遍的问题，并在一定程度上危害数据分析结果的有效性，对缺失数据处理的主要方法是对缺失数据进行借补。由于产生缺失数据的原因有多种，不同背景下的缺失数据会给统计分析带来不同的影响，因此本文详细讨论了公共突发事件下数据缺失的分类方法，常见的两种分类方式是按照数据缺失机制分类和按照数据缺失模式分类。多重借补方法是处理缺失值最有前途的方法，近年来在国外许多领域的缺失值处理中得到了广泛应用，展现了其优越性。然而国外大部分对多重借补的理论应用研究都是基于数据缺失机制是可忽略的，国内对多重借补方法及其应用的深入探讨尚不多见，在公共突发事件应急统计研究领域也未见对缺失值处理方法的深入研究。因此，本文系统地研究了在公共突发事件应急统计中，针对不同的数据缺失机制、不同的数据缺失模式的多重借补方法的理论及应用问题。
　　 针对基于可忽略缺失机制的单变量缺失数据，讨论了多重借补方法中趋势得分法的基本原理及模型缺陷，并提出一种改进的趋势得分法，创新性地利用回归模型对缺失数据进行借补，而不采用近似贝叶斯自举法对缺失值进行借补，就消除了热平台借补低估被借补变量变异程度的风险，弥补了分层借补的缺陷。同时考虑了缺失数据集中目标变量和协变量之间的相关，能够很好地利用数据提供的信息。仿真模拟实验表明了其在处理公共突发事件应急统计中的单变量缺失问题上的优越性。
　　 针对基于可忽略缺失机制的多变量缺失数据，讨论了多重借补方法中马尔科夫链蒙特卡罗法的基本原理及模型缺陷，并提出一种改进的马尔科夫链蒙特卡罗法，将一种热平台借补引入基于MCMC法的多重借补过程中，代替原有方法的第一步借补步，这样既避免了在复杂问题中从数据联合后验预测分布抽取借补值的困难，又考虑了缺失数据集中不同观测记录之间的差异性和相似性。仿真模拟实验说明在处理公共突发事件应急统计中的多变量缺失问题时，改进的MCMC法充分地利用了数据包含的信息，对参数估计的结果更加可靠，同时也充分考虑到了缺失值的不确定性。
　　 针对基于不忽略缺失机制的缺失数据的多重借补，国内外的研究者通常回避这一复杂情形。在实际中这种复杂的数据缺失机制虽然令研究者难以分辨，但是在公共突发事件应急统计过程中常常遇到，因此也不应放弃对这种情况的研究。本文在引进选择模型来刻画不可忽略数据缺失机制的基础上，创新性地提出了一类具有协变量的截尾数据模型——对数线性回归模型，并尝试用多重借补方法进行分析处理。通过仿真模拟实验可以看出，不可忽略缺失机制下的多重借补考虑了缺失指示变量对联合分布的影响，更加真实地反映了数据缺失的特点，如果事先不知道数据的缺失机制而默认总是可忽略缺失机制，得到的结论就会大相径庭。