数据质量控制

摘要： 高速列车要实现安全平稳地高速行驶,轨道必须具有高平顺性,作为铁路轨道铺设和运营维护的测量基准——轨道控制网(CPⅢ)必须精确可靠。CPⅢ网跨度大、网形结构复杂,其观测数据误差、平差基准的原始数据误差和分段衔接误差等因素会影响控制点的精度和可靠性,最终会影响到轨道的高平顺性建设和评判。在现有的技术规范基础上,以轨道平顺性控制为目标,进一步提高轨道控制网测量数据精度和可靠性,完善高速铁路测量数据质量过程控制的理论和技术体系,确保高速铁路高标准建设和列车高速、平稳、安全运行,是高速铁路测量理论领域值得探索研究的课题。论文借鉴大系统控制理论和多元质量控制与诊断理论的思想,构建起轨道控制网全局式数据质量控制体系(global data quality control system of CPⅢ,GDQCS-CPⅢ),主要成果如下。

摘要： 档案数据是大数据时代经济社会发展的重要信息资源,进行档案数据质量控制研究有助于促进档案治理能力现代化的提升。通过调查分析可知,档案数据存有政策法规缺失、数量巨大结构复杂、数据实践处于起步阶段等现状。基于现状特征构建了档案数据质量控制机制:数据监督管控机制、技术保障机制、质量评估机制,并提出增强档案数据质量控制顶层设计,筑造档案数据质量技术保护屏障,构建档案数据质量评估方法体系等优化路径。

摘要： 北京市住房和城乡建设委员会召开全市房屋建设调查工作视频调度会目前,全市房屋建筑调查工作已逐步进入现场调查阶段。为做好数据质量控制工作,10月15日,市住房和城乡建设委员会组织召开全市房屋建筑调查工作视频调度会。各区住房和城乡建设委员会、房管局以及第三方技术支撑单位参加会议。会上,市住房和城乡建设委员会强调了质量控制措施,并提出具体要求:一是各区住房和城乡建设委员会、房管局要严控调查人员账号管理,对于不符合人员控制要求的及时整改;二是已开展调查工作的各调查机构即日起要对调查工作开展质量自查工作;三是各区要合理安排调查进度,原则上调查时限不多于60天;四是各单位要加强对一线调查人员的培训力度,统一调查标准,提高认识。

摘要： 目前,常用的气象数据质量控制算法均是依据统计学原理对数据的变化趋势进行分析,针对其算力无法对大数据进行处理以及实现质量控制的问题。文中将BP神经网络模型与粒子滤波算法结合,有效增强了神经网络的综合计算性能,将该算法应用于海量气象数据处理,可以显著减少外在因素对数据精确度的影响。实验结果表明,所提模型的预测数据误差平均值和异常数据监测误差平均值在对比算法中最小,证明该模型可以准确地监测气象数据,同时能够对异常气象数据进行修补拟合,进而实现对气象数据的质量控制。

摘要： 在辽宁省喀左站、辽阳站和内蒙古满洲里站统一安装5种型号冻土自动观测仪进行外场试验,采集2019年3—6月逐分钟冻土数据,采用纵横极值集合法,对采样数据进行时间一致性质量控制,与3站的人工定时数据进行对比分析。根据同期人工观测数据,判断冻土自动观测异常可疑数据和异常数据阈值,分别为5 cm和11 cm,据此开展验证。结果表明:冻土自动观测仪分钟数据完整率为99.59%;冻土自动观测仪平均冻土层数与人工观测基本一致,符合冻土业务数据分布特性;5种类型冻土自动观测仪均能较好地反映不同气候区域的冻土的分钟数据变化,冻土自动观测分钟数据质量控制阈值合理可靠。

摘要： 本文从基础架构建设、业务应用、网络安全、数据质量控制等方面,阐述了胶州市全民健康信息平台建设情况。胶州市全民健康信息平台互联互通覆盖面广,建设效果显著,技术架构符合国家要求,采集数据业务域完备,基于市平台的业务应用完善,为公众、医务人员和行政管理服务提供了有力的支撑,顺利通过国家医疗健康信息互联互通标准化成熟度四级甲等测评。

摘要： 降雨的微观结构观测对于降水的精确预报以及人工影响天气至关重要,但受到非降水因素、湍流和雨滴重叠等因素影响,雨滴谱的观测数据存在一定的误差和错误。选取北京市9个国家级地面气象观测站在2017年4—10月期间的雨滴谱仪观测数据,结合翻斗雨量计观测资料和人工记录天气现象,研究雨滴谱观测数据质量控制方法。结果表明:错误的雨滴谱观测数据主要由霾、沙尘天气及昆虫活动引起,粒子速度主要在5 m·s^(-1)以下,粒子大小分布较为分散。建立了速度、数量的双阈值质量控制方法,可以有效剔除错误雨滴谱观测数据,当速度、数量阈值系数分别为0.4和0.7时,TS评分最优,达到0.92;雨滴谱仪与翻斗雨量计观测降雨量的决定系数从0.757提高到0.985。该方法可以更有效地利用降雨观测资料,充分发挥新型探测设备建设效益。

摘要： 目的探讨病案统计管理信息系统数据质量控制在医院病案管理中的应用效果。方法选取2019年1月至2021年8月联勤保障部队第九〇〇医院莆田医疗区的5600份病案资料,采用病案统计顺序将其分为观察组和对照组,每组各2800份病案资料。观察组(2020年1月至2021年8月)采用数据质量控制管理,对照组(2019年1月至12月)采用常规数据管理。比较两组的病案资料数据录入错误发生率,病案书写、病程记录、住院记录、病案首页、辅助检查以及出院记录质量。结果观察组的病案资料数据录入错误发生率低于对照组,差异有统计学意义(P<0.05);观察组的病案资料病案书写、病程记录、住院记录、病案首页、辅助检查以及出院记录质量评价得分高于对照组,差异有统计学意义(P<0.05)。结论在病案统计管理信息系统应用过程中,执行数据质量控制管理方案能够有效降低病案资料数据录入错误发生率,提升病案资料的管理质量,值得临床应用。

摘要： 文章为莱州湾海洋牧场海底观测网络开发了自适应可扩展的远程监控系统实现对海洋牧场环境的长期连续在线监测。针对观测网络的需求,文章建立了远程监控系统的控制模型,创新地设计出了针对海底观测网络数据海量、异构、多源和多维度等特点的通信机制以及通信协议,便于实现海底观测网络大量设备即插即用的动态管理算法,并改良了数据质量控制算法。莱州湾海洋牧场应用示范数据显示,数据丢包率低至1%,指令执行成功率达到98%,海底设备增删改时,系统可以在2 min内完成映射解析数据,同时,数据质量控制算法能有效剔除异常值,将错误率降低至0.00081%。莱州湾海洋牧场成功应用的示范证明了该系统的性能和适用性,同时说明文章所提相关算法也可用于其他类似有自适应要求的系统中。

摘要： 随着主动健康理念的推广普及,健康的概念已延伸到身体健康、心理健康、人体的各系统具有良好的生理功能,即人体健康态。各种便携式、穿戴式健康监测设备兴起,与传统医疗检测设备相结合,共同为人们健康态的评价提供有效手段。人体健康态数据的采集是一个复杂的工程,包含多个健康数据采集体系构成的协同网络。在繁琐的数据采集过程中,操作的不规范、设备的异常以及采集过程中的突发情况都会对数据的质量产生影响,从而影响后续个人健康态的评估及干预方案的制订。数据质量控制在医学领域,尤其是人体健康态的信息评价管理中还处于起步阶段。为了保障人体健康信息化数据的准确性,进一步推动健康态评价的科学化和规范化,本研究研究了关于人体健康数据的评价规范和质量控制建议,旨在为健康管理和临床应用提供参考。

摘要： 随着智慧城市建设的不断发展,各领域对气象服务产品的要求越来越高,为了保证多样化气象数据产品的服务质量,以适应新形势下的业务工作需要,同时为本地区科研工作提供精准的历史数据,沈阳市网络信息服务中心针对实际业务工作需要,参考其他气象部门气象业务系统平台开发设计思路,基于本地区实际情况开展了实况气象服务产品的数据质量控制方法研究,通过时间一致性和空间一致性检查观测数据质量,提高数据应用的实时性和可用性,充分发挥了自动站实况数据对公众预报和监测中的作用.

摘要： 房地产批量评估数据的质量在很大程度上影响着存量住房批量评估结果的估价水平、估价一致性、垂直公平性及可靠性.如果评估采用的数据质量存在问题,即使评估方法再先进,对评估的结果都会产生较大影响.因此,如何控制数据质量成为批量评估工作中一项重要的课题.本文在借鉴其他相关数据质量控制方法的基础上,结合房地产批量评估的数据特点与应用需要,研究并构建了适应房地产批量评估需要的数据质量控制方法,并将其应用于深圳市存量住房计税价格评估工作,为保障批量评估结果的准确性发挥了重要作用,实践证明了该质量控制方法的有效性.

摘要： 自动气象站数据质量控制主要根据气象学、天气学、气候学原理，以气象要素的时间、空间变化规律和各要素间相互联系的规律为线索，分析气象资料是否合理。质量检查的主要目的是检测数据的有效性，并做到对错误资料及时纠正。气象观测资料质量控制的重要性已经为所有使用气象资料的科学家所公认。气象观测资料是气象业务和气象研究的基础资源，各种数据序列的质量直接影响着气象业务和气象研究的应用效果、准确性和可靠性。自动站观测资料的实时质量控制方法基本可以分为单站质量控制和空间质量控制两大类，每类方法又可以运用不同的质量控制方法，譬如单站控制可以采用文件检查、界限值控制、时间一致性以及内部一致性等方法综合判断[1-4 ]。在数据记录缺测、数据不完整情况下，质量控制使用不能完全发挥出其优势。在实际工作中，当发现数据缺测时，如何利用现有的数据资料进行补救更正，保障数据文件的完整性和准确性，显得尤为重要。为了体现新型自动气象（候）站的优势，在其测试运行中，如何对实时数据进行质量控制成为核心工作之一。目前新型自动气象（候）站原始数据文件形成过程中，实时采集由于采集器时间和计算机时间存在一定误差以及某些人为因素等，不能完全保证数据记录完整。因此，为保证原始记录完整性，我们调用数据缺测检查功能模块。数据文件形成先通过检查台站等参数配置，端口设置，再主要通过采集软件发送实时采集指令，将接受到的数据写入数据文件。本文主要介绍新型自动气象（候）站在原始数据文件生成过程中，调用数据缺测检查功能模块，自动检测文件记录的生成情况，若发现缺测记录则通过自动向采集器发送命令以补收数据，尽最大可能保证数据的完整性。在保证数据完整的情况下，才能更好的发挥质量控制方法的作用和优势。

摘要： 本文主要研究地理信息系统中属性数据质量控制的内容、方法、意义、现状及发展，提出了简单对比检查的GIS 属性数据质量控制模型，并根据概率论与数理统计理论，借助缺陷率这一指标，采用一般随机抽样和分层抽样统计模型计算缺陷率来对属性数据进行质量控制和研究。

摘要： 江苏省能见度观测网运行监控系统实时监控全省72个能见度观测站的运行状态。系统实时解析能见度观测数据报文和状态报文，解析数据入SQL数据库，同时进行数据质量控制，当探测数据出现异常、缺失、仪器电池电压异常及未收到报文等异常情况时，自动触发生成预警短信。系统实现了到报时间、能见度观测数据、异常数据及各类状态数据的查询。该系统投入业务运行以来，实现了对全省能见度设备的实时运行监控，创新了保障手段，提高了保障能力。

摘要： 随着我国地面气象自动站建设的发展,国家气象信息中心从2005年正式收集―地面气象观测数据文件‖A文件。A文件是以站月为单位的综合观测资料, 包括气压、气温、湿球温度、水汽压、露点温度、相对湿度、云量、云高、云状、能见度、降水量、天气现象、蒸发量、积雪、电线积冰、风、地温、冻土、日照等要素的定时或日值资料。每月自动站月数据资料在报送资料室之前,台站已经进行了质量控制, 因此在资料室质量控制中与台站即有区别又能发挥省级的审核作用，对月报表出门合格率起到重要的把关作用。资料室对自动站资料的质量控制主要从以下几方面完成。

摘要： 系统利用自动气象站数据内部一致性检查、气候极值范围检查、时间一致性检查等质量控制方法对我省区域自动气象站十分钟数据进行质量控制,及时发现缺报、缺测、可疑及错误数据,并通过短信和网页滚动方式提醒用户,及时发现区域自动气象站故障,提高区域自动气象站数据的可用性,系统采用ASP.net开发，操作简单,查询功能强大。系统的应用极大提高了发现区域自动气象站故障的时效性。对区域自动气象站的数据质量提高提供强有力的助手。

摘要： 第二次全国土地调查工作正在广泛开展,其中数据库如实、高效、精确的建立是最主要的任务,而数据质量控制程度的高低直接影响了数据库的建设状况。本文以海南省昌江县为例简要叙述了本次土地调查数据质量的误差来源及影响因素,同时针对这些问题提出了各阶段的数据质量控制方法与措施,从而对本次土地调查建库过程中的数据质量控制方法进行了探究。

摘要： 自动站ZIIiiiMM.YYY 文件即正点地面气象要素数据文件（简称Z 文件），是经自动站数据采集器处理后，通过通讯接口直接存储到计算机硬盘中的数据文件【1 】。它是自动气象站采集数据文件的重要部分，也是自动气象站每月上报审核部门的3 个重要的数据文件之一。在我们日常地面气象测报业务工作中，常常出现因设备软硬件故障或误操作等原因，造成数据资料的全部或部分丢失或出现数据异常等情况，给原始气象资料的积累造成难以挽回的损失。本文分析了z 文件出现异常原因和处理方法，以及对文件台站级数据的质量控制进行了探讨，确保原始数据资料的完整和准确，确保数据质量和应用满足现代气象业务工作需求。

摘要： 自动站ZIIiiiMM.YYY 文件即正点地面气象要素数据文件（简称Z 文件），是经自动站数据采集器处理后，通过通讯接口直接存储到计算机硬盘中的数据文件【1 】。它是自动气象站采集数据文件的重要部分，也是自动气象站每月上报审核部门的3 个重要的数据文件之一。在我们日常地面气象测报业务工作中，常常出现因设备软硬件故障或误操作等原因，造成数据资料的全部或部分丢失或出现数据异常等情况，给原始气象资料的积累造成难以挽回的损失。本文分析了z 文件出现异常原因和处理方法，以及对文件台站级数据的质量控制进行了探讨，确保原始数据资料的完整和准确，确保数据质量和应用满足现代气象业务工作需求。

摘要： 本专利公开了一种众包轨迹数据的质量控制方法，所述方法包括：步骤一、数据清洗步骤；步骤二、异常轨迹数据识别与处理步骤；步骤三、数据集轨迹预生成与调整步骤；步骤四、完整轨迹呈现并更新历史数据库。本发明针对众包轨迹数据的交通数据中存在的故障数据、缺失数据提出了解决方法，确保了轨迹数据的完整性，为交通规划、交通预测提供了准确的数据支撑。

摘要： 本专利公开了一种众包轨迹数据的质量控制方法，所述方法包括：步骤一、数据清洗步骤；步骤二、异常轨迹数据识别与处理步骤；步骤三、数据集轨迹预生成与调整步骤；步骤四、完整轨迹呈现并更新历史数据库。本发明针对众包轨迹数据的交通数据中存在的故障数据、缺失数据提出了解决方法，确保了轨迹数据的完整性，为交通规划、交通预测提供了准确的数据支撑。

摘要： 本发明涉及一种面向连续星表数据的数据质量控制方法及系统，其包括：动态生成平滑光变曲线；识别真实光变曲线和平滑光变曲线之间的差异；构建过滤策略甄别差异，实现质量控制。本发明针对连续星表数据，在不提供天体数据质量参照模板的情况下能够从不同的维度量化数据质量，且能很好地区分科学事件和噪声干扰。

摘要： 本发明公开了一种兼容多数据库的分布式数据质量控制方法及系统，从计算节点同步任务进程的数据到主控服务器节点；主控服务器节点新建一个任务队列，并广播任务要求到所有计算节点；空闲计算节点反馈空闲消息给主控服务器节点；主控服务器节点按照接到空闲消息的空闲计算节点构建进程分配队列；按照进程分配队列进行任务分配；控制任务分配后子任务进程运算结果的数据质量。实时由主控服务器节点进行智能的任务分配，并且跟踪动态控制任务分配后子任务进程运算结果的数据质量，确保了分布式服务器运算结果的正确性，提高了分布式数据库或服务器的运算的正确率，提高了数据稳定性。

摘要： 本申请公开了一种实现能耗数据质量实时控制的方法，包括：建立能耗数据质量控制模型；所述模型中包括：产品能耗与标准偏移量模型：((产品能耗＝综合能耗/产品总量)‑产品能耗标准值)的绝对值与(偏移量*调节系数)的比较；采用大数据实时处理技术对上传方所上报的能耗数据进行质量实时控制；将质量不合格的能耗数据通知上传方，将质量合格的能耗数据进行保存。对应于上述方法，本申请还公开了一种实现能耗数据质量实时控制的系统。应用本申请公开的技术方案，能够在保证能耗数据的数据质量的同时，实现对海量数据的处理，并节省数据存储空间，降低系统成本。

摘要： 一种质量监测数据质量控制审核方法，对质量监测中的样品采用历史数据趋势对比方法、点内数据相关性检查方法、点间数据相关性检查方法与质控样相关性误差检查方法中至少一种检查方法对样品的数据进行审核；当所述审核的样品的数据出现异常时，发出警示信息，辅助审核人员关注有问题的样品数据，从而确保样品数据的可靠性。本发明提供了一种自动审核方法，来对异常数据提出警示信息，辅助审核人员聚焦有问题的分析指标，从而提高审核效率。

摘要： 本发明公开了一种电子病案首页的数据质量控制系统及其控制方法，包括：首页数据结构创建平台、首页数据库、信息管理终端和功能质控终端；信息管理终端包括与首页数据库连接的数据字典和规则管理单元；功能质控终端包括与首页数据库连接的智能质控单元和人工质控单元：智能质控单元包括依次连接的智能信息抽取子单元、信息匹配子单元和智能质控结果输出子单元；人工质控单元包括依次连接的人工信息调取子单元、临时质控结果数据库、临时质控结果整合子单元和最终质控结果数据库；智能质控结果输出子单元和最终质控结果数据库连接数据质量改进信息库，克服现有依靠人工检验医疗病案及其首页方式的缺点与不足，实现医疗数据的智能质控和人工质控。

摘要： 本发明提供的一种多普勒天气雷达电磁干扰数据质量控制方法，所述控制方法包括：通过划分多段径向数据识别径向上存在随距离均匀分布的反射率回波，利用数学统计方法构建诊断函数，根据径向反射率分布情况及与诊断函数的相关系数联合判断是否为径向电磁干扰回波，该方法能够正确的识别电磁干扰回波，对多普勒天气雷达数据进行质量控制。

摘要： 本发明提供一种基于LOF算法的风电站原始风电数据质量控制的方法，属于数据处理技术领域，包括以下步骤：一、收集风电站原始风电数据；二、利用滑动标准差方法识别出受仪器故障影响而出现的连续无变化或者变化很小数据，将其剔除；三、剔除原始风电数据中缺测的数据；四、根据标准文件对风速、实际有功功率数据进行数值范围检验，剔除超出合理范围的数据；五、利用归一化方法对数据进行缩放；六、在以上数据的预处理后，计算数据点的第k距离邻域、第k可达距离、局部可达密度以及局部离群因子LOF值；七、将LOF值高于设定阈值的数据点视作异常点，并将异常值剔除。本发明使用数据本身的属性来检测和分类原始数据，操作容易、方便。

摘要： 本发明涉及水质监测领域，提供一种水质监测数据质量控制方法及系统，包括：S1：获取初始水质监测数据，对所述初始水质监测数据进行数据清洗，获得水质数据集；S2：通过多元高斯分布异常数据监测方法计算所述水质数据集的联合概率密度函数，通过所述联合概率密度函数对所述水质数据集进行第一次异常数据筛选，获得第一次筛选后的水质数据集；S3：将所述第一次筛选后的水质数据集通过基于密度的聚类分析进行第二次异常数据筛选，获得第二次筛选后的水质数据集，将所述第二次筛选后的水质数据集作为最终水质监测结果。本发明在减少传统异常数据监测工作量的同时，可以较好的挖掘出具有统计意义的水质异常数据，可有效增加水质监测数据质量控制的合理性。