数据预处理

摘要： 为提高沉降预测精度,掌握沉降发展趋势,本文建立动态Verhulst模型对高层建筑进行沉降预测。首先,对原始数据进行数据预处理,实现原始数据等时距化,解决非等时距数据无法建模的客观难题;其次,采用“去旧加新”的思想,及时更新数据,对Verhulst模型进行动态改进;最后,结合实例分别运用GM(1,1)模型、Verhulst模型、动态Verhulst模型进行拟合和预测。结果表明,动态Verhulst模型能更准确地拟合高层建筑的沉降发展趋势,预测精度提高30%,动态Verhulst模型的预测结果精度更高、可靠性更强。

摘要： 高校在长期的教学活动中积累了大量的课程数据,如何利用数据资源分析课程教学状况,为提高课程教学质量提供决策支持,具有重要的研究价值。本文设计实现了一个基于关联规则与聚类分析的课程评价体系,对课程评价系统进行了功能需求分析,并对课程评价数据进行预处理。采用FP-growth算法对学生课程成绩数据进行关联规则分析,采用K-means++算法进行聚类分析,提高了课程数据分析的精度,实现了课程评价的自动化,提高了效率和评价的客观性。

摘要： 案例教学法是一种旨在提升学生解决实际问题的教学方法。本文针对Python课程中的教学难点,将数据预处理工程案例融入到教学实践过程中。首先,利用Python爬虫采集新闻网站的相关数据;其次,利用所学知识对新闻文本进行清洗、分词、特征向量化等数据预处理操作;最后,通过Python第三方库建立文本分类模型,并对模型性能进行评估。将该案例应用于Python语言基础的教学过程中,可以帮助学生更好的理解理论知识,并培养学生利用Python分析解决工程问题的能力。

摘要： 以准确和高效检测配网设备故障为研究核心,提出基于数据挖掘的配网设备故障智能检测方法。采用基于时间序列的配网设备运行数据预处理方法,预处理配网设备运行数据中的噪声点异常数据,提高数据质量;将预处理数据导入基于数据挖掘的配网设备故障智能检测模型中,计算配网设备运行故障的概率,定位存在故障的配网设备位置,实现配网设备故障智能检测。结果表明:配网设备故障检测精度高,可实时检测配网设备故障。

摘要： 针对传统视频压缩控制方案存在的频繁读写数据占用大量系统总线带宽等弊端,对传统视频压缩控制系统进行优化。为了高效地对原始视频进行实时压缩,设计丢帧模块、数据预处理模块等模块;为了减少视频压缩IP核(Intellectual Property core,IP core)对外部双倍速率同步动态随机存储器(Double Data Rate SDRAM,DDR)的访问,降低总线带宽,设计了BLOCK转换模块。同时,设计了动态+静态的组合丢帧机制,增强了对不同DDR容量的适配性,提高整体系统性能。

摘要： 近年来,倾斜摄影技术发展迅速,倾斜影像具有冗余度大、重叠度高、畸变大等特点,对空三解算带来了挑战,空三解算成功率低。针对这一问题,本文从倾斜影像的特点出发,对其关键步骤进行分析,给出解决方案,并以实际生产数据,采用Mirauge3D软件进行实景三维模型的生产,最后利用检测点对模型精度进行检测。结果表明:通过数据预处理,空三解算效率提高,空三解算成功率得到提升,并且模型精度可以达到4.5cm,可以满足1:500地形图生产需求,为大比例尺地形图生产提供了切实可行的方案。

摘要： 近年来,重工业的快速发展加剧了空气质量下降,环境治理变得尤为重要.然而,在国内外现有的空气质量评估系统大多形式单一、准确度低、评估范围有限,并不能较精确的以多样化的形式展示空气质量情况.本文设计实现了一套集数据收集、标准化处理及空气质量评估为一体的空气质量评估系统.该系统采用网络爬虫从空气质量监测网站获取数据,并对数据进行抽取、清洗、单位转化、污染物分类及多种标准化方法处理,提高空气质量的评估精确度.系统评估方式多样,有按时、日、月、监测站位置及污染物种类等,解决了大多数空气质量评估系统形式单一和评估不准确的问题.该系统可以为用户提供实时的空气质量情况,还可以为大气污染相关科研人员提供准确的数据预处理结果.系统运行稳定可靠,界面友好,功能丰富,能满足空气信息综合管理评估的需求.

摘要： 针对电力负荷序列不稳定且传统的神经网络在电力负荷预测中预测精度较低等问题,提出了门控循环单元神经网络(Gated Recurrent Unit Neural Network, GRU)负荷预测的方法。利用python编程语言在Tensorflow框架在搭建门控循环单元神经网络,将影响电力负荷的特征数据输入模型中进行训练。通过和人工神经网络(Artificial Neural Network,ANN)模型对比,可得出门控循环单元神经网络模型的效果要优于传统神经网络。

摘要： 《淡水生物水质基准推导技术指南》首次修订3月11日,生态环境部发布了《淡水生物水质基准推导技术指南》。这是《淡水水生生物水质基准制定技术指南》发布以来的首次修订。修订后的技术指南,调整了适用范围,细化了部分技术要求,优化了基准推导模型和方法。特别是在毒性数据预处理方面,针对每个步骤细化了毒性数据筛选技术要求,进一步明确了基准研制过程中毒性数据优先序;吸纳了国际上最新研究成果,引入同效应毒性值的概念;“最少毒性数据需求”由“5个类群”“5个物种”增至“6个类群”“10个物种”,达到国际较高要求,增强了水质基准推导的确定性。

摘要： 入侵检测是通过收集系统内外部用户活动行为数据,在数据分析基础上准确识别异常行为的一种技术。基于数据挖掘的入侵检测系统,除了超前识别入侵行为外,还能提供针对性的防控措施,切实保障系统运行安全和用户隐私安全。本文首先介绍了几种常见的计算机入侵检测数据挖掘模型,如基于流量异常的入侵检测模型、基于协议滥用的入侵检测模型、基于混合算法的入侵检测模型等。随后通过构建入侵检测实验原型系统,在此基础上进行了用户异常行为检测的实验验证。结果表明,基于数据挖掘的入侵检测原型系统,在检测准确性、降低误报和漏报方面均有良好表现,达到了理想的保护效果。

摘要： 随着城市中电子警察大规模的建设使用,电警数据成为感知交通参数的重要方式之一.基于此,以淄博市张店区电警数据为例,将视频录像和电警数据融合,深入剖析电警数据中存在的问题,从数据集成和数据清洗等方面提出了系统的电警数据预处理方法,并在车牌识别、时间检测和流量统计等方面对预处理数据进行质量评估,验证了数据的准确性和有效性.最后根据交通信号控制和交通状态评价的相关原理分别提出了交通流的饱和流率、行程车速、平均延误和排队长度等参数的提取及优化方法.

摘要： 本文围绕我国光学遥感图像预处理技术发展需求,开展技术发展现状调研和技术图谱梳理分析,对光学遥感卫星处理中的辐射校正、几何校正和融合处理三个环节分解二级关键技术分支进行全球普通专利检索,筛选出547项相关专利,利用这些专利分析了光学遥感卫星数据预处理领域专利申请趋势、专利技术构成、专利区域分布和专利权人等信息,最后结合近年来的重点专利技术信息,总结了光学遥感图像预处理技术的发展情况,并提出了重点发展我国基于深度神经网络智能化处理、多源多谱段图像高效融合、星上实时预处理等新技术的建议.

摘要： 基于云计算的智能交通服务可以随时采集到所有服务的需求,并依照需求发送对数据的采集命令,满足对数据实时性的要求.同时由于较强的计算能力支撑,并通过软件算法并行化等技术,加快了数据的处理速度,真正意义上满足实时性的要求.

摘要： 随着中国经济的高速发展,水环境污染和生态破坏日益严重,迫切需要中国政府主管部门升级换代传统的水环境监测技术,满足监测的高精度、大尺度、适时性需求.本文提出了一种利用无人机载高光谱成像技术进行水环境监测的方法.采用国产化研制的机载高光谱成像仪,通过合理的光谱数据预处理和水体要素建模分析流程,可定量化分析高精度、大尺度的水体参数,并在实际项目中得到应用,为进一步开展国产化的水环境多参数监测平台系统研究提供强有力的技术支撑.

摘要： 随着信息化的发展,数据挖掘技术为诸多行业的信息化作出了突出贡献,数据挖掘也为探究中医奥秘打开了一扇崭新的窗户.医学数据挖掘在疾病的诊断和治疗、医学科研与教学、医院管理等方面发挥巨大的作用.通对糖尿病大量临床数据的预处理,可以为下一步的中医数据挖掘提供干净、有效的数据,帮助从海量的数据中发现潜在规律,提高中医药对糖尿病的诊断与防治.

摘要： 粗差定位是水工安全监测数据预处理中的一项重要工作.对比介绍了几种粗差定位的几种方法,并讨论其适用范围和局限性.基于正态分布函数,传统的粗差定位技术无法适应长序列大样本监测数据所面临的外界动态荷载条件;通过“3σ准则”改进而得到的逻辑检验法能够顾及监测值在时序上的相关关系;ARIMA建模的方法适用于在时间上较为连续的监测序列粗差探测;统计模型分析可定位有明确相关影响因子的监测效应量中的粗差点;灰色系统GM(1,1)、GM(2,1)模型适用于贫信息数据的粗差识别;根据仪器性能及工作原理可对特定类型的监测仪器的异常测值进行判断.研究成果具有一定的参考价值.

摘要： 大跨桥梁结构随着服役时间的延长,在车辆荷载和环境因素的综合作用下,难免出现病害或损伤.健康监测系统的建立就是为了通过对环境因素和桥梁结构反应的在线监测,实时掌握桥梁结构状态,及时发现桥梁缺陷,为桥梁管养决策提供依据.基于国外和国内大跨桥梁结构健康监测应用实例的调研分析,对结构健康监测内容与趋势进行了分析.另外,对如何有效开展海量原始监测数据的预处理提出了相关建议.

摘要： 能源装备运行维护检修的管理过程中,不管是故障诊断,或是运行事件的判断,都需要实时数据库为自动智能分析判断提供事实与数据证据.实时自动智能数据库数据一般来源自监控系统数据库,这个数据源既是可信任的,也是可靠的主要数据源,但是根据数据的具体不同的自动智能应用要求,必然还存在一个数据的预处理和甄别研究过程.对水电机组的运行进行了探讨,具体讨论了"水电机组运行事件智能快速反应系统"开发过程中实时自动智能数据库数据的预处理和甄别研究思路与算法实现,同时也给出了实例.

摘要： 能源装备运行维护检修的管理过程中,不管是故障诊断,或是运行事件的判断,都需要实时数据库为自动智能分析判断提供事实与数据证据.实时自动智能数据库数据一般来源自监控系统数据库,这个数据源既是可信任的,也是可靠的主要数据源,但是根据数据的具体不同的自动智能应用要求,必然还存在一个数据的预处理和甄别研究过程.对水电机组的运行进行了探讨,具体讨论了"水电机组运行事件智能快速反应系统"开发过程中实时自动智能数据库数据的预处理和甄别研究思路与算法实现,同时也给出了实例.

摘要： 能源装备运行维护检修的管理过程中,不管是故障诊断,或是运行事件的判断,都需要实时数据库为自动智能分析判断提供事实与数据证据.实时自动智能数据库数据一般来源自监控系统数据库,这个数据源既是可信任的,也是可靠的主要数据源,但是根据数据的具体不同的自动智能应用要求,必然还存在一个数据的预处理和甄别研究过程.对水电机组的运行进行了探讨,具体讨论了"水电机组运行事件智能快速反应系统"开发过程中实时自动智能数据库数据的预处理和甄别研究思路与算法实现,同时也给出了实例.

摘要： 本发明涉及云计算领域，尤其是一种大数据预处理文本数据生成处理流程实现方法。本发明文本数据请求首先被定义SQL语句，然后该SQL语句通过后台系统分析解析，使用唯一的编号进行标识，使用该唯一的编号完成文本数据生成。本发明有效地实现了将文本数据生成步骤化，模块化，可视化，同时能够将文本数据生成分组分类、自动分发，根据机器性能配置参数控制文本数据生成时的并发数；可大规模应用于大数据预处理中的数据来源文本文件生成，传输及备份等。

摘要： 本发明提出一种异常数据检测方法及装置、数据预处理方法及系统，其异常数据检测方法，包括以下步骤：将待检测数据集利用主成分算法进行降维处理，形成第一数据集；将所述第一数据集利用主成分算法进行重构，形成第二数据集，所述第二数据集与所述待检测数据集具有相同的维度；计算所述待检测数据集与所述第二数据集对应数据之间的相关性；获取所述待检测数据中与所述第二数据集中对应数据差异大的异常数据。本发明不用假设要分析的数据集合服从某种特定的分布，具有很强的可靠性、通用性和稳定性。

摘要： 本发明提供一种高速铁路无线信道数据库构建及数据预处理方法，属于无线通信技术领域。该方法利用基于信道探测仪的高铁信道测量、基于TD‑LTE网络的高铁信道测量和基于理论方法的高铁信道仿真获取信道实测和仿真原始数据；对实测原始数据进行缺失值处理和逻辑清洗，并与仿真原始数据一起构成高速铁路无线信道数据；构造信道频率响应数据的Hankel矩阵，主成分分析法对数据进行降噪；选取降噪后的数据，利用神经网络进行训练，得到收敛的神经网络模型，智能提取无线信道数据中的信道冲激响应的有效多径成分。本发明可用于构建完整场景的高速铁路无线信道原始数据库，提供纯净、有效的信道数据，为后续高速铁路无线信道特征挖掘与信道模型构建更加准确、可信。

摘要： 本发明涉及一种大数据处理系统的数据预处理守护方法，属于大数据处理技术领域，解决了现有大数据预处理方法造成的后续数据处理精度低、效率低以及界面无法展示全部数据点的问题。方法包括：对数据进行过滤、时间对齐处理，得到过滤对齐后的数据；对过滤对齐后的数据进行分级采样，形成多级采样数据；对采样失败的数据，重新进行采样，获取多级采样数据；对所述多级采样数据进行压缩，获得压缩后的多级采样数据；创建数据导入进程，将压缩后的多级采样数据批量导入数据库中。本发明的数据预处理方法能够保证数据的完整性，提高后续大数据处理的处理精度和效率，同时能够不失真的显示多级采样数据，能够广泛应用于大数据处理领域。

摘要： 本发明属于数据挖掘技术领域，公开了一种针灸临床数据预处理控制系统及方法、信息数据处理终端；包括预处理模块、分词模块、提取模块、转化模块；控制方法通过约简、转换及消除同效异名对原始数据进行清理，给出临床行为关系对原始病历的相关信息进行预处理；对原始病历的相关信息进行分词处理；利用有限的隐含主题描述文档，每个主题由诸多词汇组成，对原始病历的相关信息进行提取处理；把自然语言记录的文本病历转化成为易于应用挖掘算法的数据。本发明可以挖掘出有很高医学价值的医学诊断规则；提高医生的诊断水平，同时为中医药信息化建设作出有益探索；数据挖掘算法面临的数据集将是动态增长的，并且随着用户的增多数据量将朝海量数据发展。

摘要： 本发明涉及云计算领域，尤其是一种大数据预处理文本数据生成处理流程实现方法。本发明文本数据请求首先被定义SQL语句，然后该SQL语句通过后台系统分析解析，使用唯一的编号进行标识，使用该唯一的编号完成文本数据生成。本发明有效地实现了将文本数据生成步骤化，模块化，可视化，同时能够将文本数据生成分组分类、自动分发，根据机器性能配置参数控制文本数据生成时的并发数；可大规模应用于大数据预处理中的数据来源文本文件生成，传输及备份等。

摘要： 本申请公开了一种支持数据预处理的多数据源可配置MongoDB数据同步系统、电子设备及介质。其中，通过应用本申请的技术方案，可以实现单MongoDB数据源向多数据源数据同步以及多MongoDB数据源向多数据源数据同步，内置文档管理模块支持主流数据源，同时也支持自定义文档管理模块，减少不同数据源使用多种同步方法，简化系统，提升同步文档的效率。

摘要： 本发明针对从调度自动化系统中提取的主变压器的电流、电压和有功功率、无功功率进行数据处理，包括重复数据检测与处理、异常数据检测与处理、局部离群点检测与处理、数据完整性检测与处理，能处理主变压器运行数据电流、电压、有功、无功中噪声、异常、缺失、重复等问题。通过大数据预处理提高数据的质量，得到规范、标准、连续、准确的大批量数据，为后续的主变压器大数据挖掘分析提高效率和准确性。同时在进行缺失数据补全时考虑时间的延续性和先验性，即主变压器的监测数据前后时刻的关联性，因此采用权重求和的方式进行计算，并且考虑监测曲线的趋势，补全的数值更真实更准确，更为贴近实际监测的数据，提高了后续数据挖掘的准确性。

摘要： 本说明书实施例公开了一种数据预处理方法、数据加密方法、装置和设备。所述数据预处理方法包括：生成密文数据的第一分量；将第一分量存入数据集中；以便在需要对明文数据进行加密时，根据明文数据生成密文数据的第二分量，从所述数据集中选择第一分量，根据第一分量和第二分量计算密文数据。本说明书实施例能够快速获得密文数据。

摘要： 本发明提供一种边坡形变监测数据的数据预处理方法，包括以下步骤：S1、使用分层抽样对原始监测数据进行数据选样，得到第一预处理数据；S2、将第一预处理数据依次采用小波变换、数据归一化进行数据变换，得到第二预处理数据；S3、对第二预处理数据使用维归约技术进行归约处理，得到第三预处理数据。本发明可以解决对存在异常值的边坡形变原始监测数据没有进行数据预处理，从而会对后续的边坡滑坡分析预警造成影响的技术问题。