大数据处理

摘要： 目的:对多源异构的原始医疗数据进行处理,形成标准化、高质量的心房颤动(房颤)专病数据库,以便充分挖掘和运用数据库内的信息。方法:在医疗行业通用术语标准、房颤诊疗指南和临床路径的基础上制定了房颤专病数据库字段标准。在定期同步原始数据的基础上,基于大数据计算与自然语言处理(NLP)技术,完成数据的标准化处理和不同级别字段的数据加工。结果:房颤专病库纳入了上海交通大学附属胸科医院心血管科2015年1月至今的5万余例房颤患者的临床数据。经过基于NLP技术的数据处理和加工,专病库全部976个字段的准确率和召回率都达到95%以上。结论:房颤专病数据库能够明显提升医生的科研效率,深度挖掘真实世界医疗大数据的临床价值,最终推动我国房颤诊疗水平的提升。

摘要： 本文从大数据当前面临的挑战、粒计算作为大数据的新的研究方向、粒计算的研究现状等方面对基于粒计算的大数据处理分析进行了讨论。高度信息化的时代背景下,大数据的处理分析必将成为为社会进步与发展提供有效帮助的科技手段,如何提高大数据的处理分析,提升粒计算的性能都是必须要考虑的问题,对解决实际问题有着重要的参考价值。不断提高大数据的相关技术,对各行各业的发展都有着积极的意义。

摘要： 为落实交通从业人员核酸100%检测的要求,深巴集团再次提出“防疫”新方法,在市交通运输局、政数局、国资委的大力支持下,打造防疫数据系统。该系统在数据脱敏基础上获取深巴集团内部员工“i深圳”的核酸采样数据,经大数据处理运算,支持一图总览集团内部员工核酸各周期的完成情况,对未完成采样的人员全流程重点跟踪。此外,针对高风险区域、异地返深的人员,系统还支持“三天两检”“七天内一天一检”等不同方案的核酸台账自动预警。该系统上线使用后,集团各层级无需再手动收集核酸二维码截图进行统计,大大减少了人员核酸采样核查工作的负担,助力交通从业人员核酸检测百分百快速完成,即保障了从业人员身体健康,又为防控新冠疫情添加一道安全防护屏障。

摘要： 为了提升大型机组设备故障信息的提取效率,实现故障可视化诊断,提出大数据处理环境下大型机组设备故障可视化诊断方法。采用基于工作变形分析(ODS)的振动可视化技术完成大型机组设备的振动分析,获取设备不同模态下的故障频率响应信号,并将其频率谱作为故障特征,利用模糊减法聚类算法获取故障诊断结果;并利用三维平行散点图与人机交互将故障诊断结果可视化呈现。测试结果表明,该方法可通过数据聚类有效完成大型机组设备故障诊断,并且具备较好的可视化效果,可满足大型机组设备故障的可视化需求。

摘要： 基于2016年1月至2021年7月的全国1654个国控监测点小时级的6种污染物空气质量监测数据,研究缺失值处理方法、效果及其影响.模拟实验表明交替最小二乘下的低秩矩阵插补算法相比于其他缺失值处理方法拥有更小的均方根误差、平均百分比误差,更高的相关系数和更快的运算速度,在大规模数据集上性能更优.实证分析表明应用文本方法得到的插补值是有效且合理的,缺失值插补前后污染物浓度评估值会有±10%以内的变化,插补后的数据集更加准确和完备.本文建议在基于空气质量监测数据研究时应先采用本文中的缺失数据处理方法,对监测数据中存在的缺失数据进行插补,提高研究所使用监测数据的完整性,保证相关计算结果的准确性和有效性.

摘要： 在大数据时代发展形势下,高校图书馆开始探索与时代相符的管理模式,依托大数据技术的信息化管理逐渐成为一种有效的管理模式。本文从高校图书馆的大数据特征、应用大数据的作用与意义以及具体采用大数据处理在高校图书馆中的具体措施进行分析,探讨在高校图书馆合理使用大数据处理的方式,希望对高校图书馆信息化管理提供有效参考,促进高校图书馆信息化管理水平升级。

摘要： 用电市场景气分析对电力规划、生产、决策、需求侧管理等具有重要意义。基于浙江省用电信息采集系统采集的各行业用电大数据资源,构建了行业用电市场景气指数模型,分析了行业用电市场景气程度。首先,采用X-12-ARIMA(X-12 autoregressive integrated moving average)季节调整法对数据进行预处理以剔除季节性因素。然后,采用三点预测探查法将行业用电指标划分为先行、一致和滞后3类指标。然后,使用划分后的3类指标分别编制合成指数和扩散指数,对行业用电景气程度进行分析,并根据扩散指数的结果对用电市场景气程度做预警分析。实验结果表明,所提方法与实际情况相吻合,从而验证了所提方法在景气分析上的有效性。

摘要： 物流供应链系统建设需要数据的支持,通过大数据技术可以推动物流供应链的优化,完善物流供应链建设水平。本文分析物流供应链的创新发展状况,研究大数据技术对物流供应链的影响,分析大数据下的供应链建设。

摘要： 智能云计算是下一代智能作战装备的发展趋势,本文针对军事应用场景下的高实时性要求,介绍一种嵌入式智能云计算平台。该系统基于ARM+DSP+FPGA架构,采用MapReduce技术,可实现大数据智能计算方法在典型军事应用场景下的应用。

摘要： 一、产品概述言鼎车辆尾气及故障智慧诊断平台,通过传感器检测汽车尾气数据流,经过大数据处理,精准找出尾气不达标的原因,不解体智能分析诊断车辆故障所在,为汽车维修方案制订提供依据,减少人为因素漏判误判和对经验值的依赖,减少诊断工作量,缩短维修时间,提高维修效率。

摘要： 1930s-1990s计算机是为"计算(computing)"而研制的，1980s–2010s计算机是为“网络(connectivity)”而研制的，从21世纪开始计算机是为“数据中心(data)”而研制的。

摘要： 解决中国烟草市场大数据中存在的体量大、维度多、分析难等问题,提出了一种基于时空网格的大数据处理及可视化方法.通过构建时空网格对烟草市场数据进行预处理,降低数据样本数量及维度;再通过时空网格计算和多种可视化技术对烟草市场发展态势进行可视化展示,实现快速、交互、可视的烟草市场大数据分析与挖掘.以烟草行业下行数据为实例分析了中国细支烟的发展态势,选取的3个规格细支烟的市场销售态势与全国销售态势基本一致;以广西中烟工业有限责任公司“真龙(珍品)”卷烟的销售数据为实例,展示了该规格卷烟在不同时段的销售态势.本方法为提高卷烟企业分析市场的能力与效率提供了技术支持.

摘要： 石油天然气地震勘探数据处理业务是典型的数据密集型和IO密集型应用,具有IO数据量巨大、IO访问密度高、对单个磁盘阵列存储部件的读写带宽要求高的特征.因此,地震数据的访问性能在数据中心的高性能Linux计算机集群的建设和维护工作中至关重要.本文介绍了东方地球物理勘探有限责任公司西南物探分公司自主设计集成、基于Lustre技术的地震数据集群存储系统.多个实际项目应用情况表明,该系统形成了一套完整的分布式并行集群存储技术解决方案,能够有效的解决IO瓶颈,可完全满足地震大数据处理解释的需求,同时兼备低成本、高性能、高容量、可横向扩展的优点.

摘要： 信息安全等级保护是国家信息安全的一项基本国策和制度,从实施至今已经有20多年.随着网络与信息技术的不断发展,信息系统基础架构设施发生了翻天覆地的变化,等级保护原标准体系已经不能满足新形势下网络安全等级保护工作的需要.在此大背景下,国家相关部委对标准进行了修订,等级保护进入了等保2.0时代.本文在等级保护2.0标准体系下,对大数据安全的测评工作加以研究,并进行实践分析.

摘要： 信息安全等级保护是国家信息安全的一项基本国策和制度,从实施至今已经有20多年.随着网络与信息技术的不断发展,信息系统基础架构设施发生了翻天覆地的变化,等级保护原标准体系已经不能满足新形势下网络安全等级保护工作的需要.在此大背景下,国家相关部委对标准进行了修订,等级保护进入了等保2.0时代.本文在等级保护2.0标准体系下,对大数据安全的测评工作加以研究,并进行实践分析.

摘要： 信息安全等级保护是国家信息安全的一项基本国策和制度,从实施至今已经有20多年.随着网络与信息技术的不断发展,信息系统基础架构设施发生了翻天覆地的变化,等级保护原标准体系已经不能满足新形势下网络安全等级保护工作的需要.在此大背景下,国家相关部委对标准进行了修订,等级保护进入了等保2.0时代.本文在等级保护2.0标准体系下,对大数据安全的测评工作加以研究,并进行实践分析.

摘要： 随着城市规模的不断扩张,公交线网规模不断扩大,线网结构布局日益复杂,为满足居民出行需求,支撑城市发展和建设,科学优化公交线网成为关键.以烟台市公交线网优化为例进行研究,利用手机信令、公交IC卡和公交车辆GPS等多源大数据进行融合分析,掌握居民出行特征、公交客流需求等,用大数据分析支撑公交线网优化方案设计.

摘要： 随着城市规模的不断扩张,公交线网规模不断扩大,线网结构布局日益复杂,为满足居民出行需求,支撑城市发展和建设,科学优化公交线网成为关键.以烟台市公交线网优化为例进行研究,利用手机信令、公交IC卡和公交车辆GPS等多源大数据进行融合分析,掌握居民出行特征、公交客流需求等,用大数据分析支撑公交线网优化方案设计.

摘要： 随着城市规模的不断扩张,公交线网规模不断扩大,线网结构布局日益复杂,为满足居民出行需求,支撑城市发展和建设,科学优化公交线网成为关键.以烟台市公交线网优化为例进行研究,利用手机信令、公交IC卡和公交车辆GPS等多源大数据进行融合分析,掌握居民出行特征、公交客流需求等,用大数据分析支撑公交线网优化方案设计.

摘要： 随着城市规模的不断扩张,公交线网规模不断扩大,线网结构布局日益复杂,为满足居民出行需求,支撑城市发展和建设,科学优化公交线网成为关键.以烟台市公交线网优化为例进行研究,利用手机信令、公交IC卡和公交车辆GPS等多源大数据进行融合分析,掌握居民出行特征、公交客流需求等,用大数据分析支撑公交线网优化方案设计.

摘要： 本申请提供一种大数据处理方法、大数据处理系统及存储介质，该大数据处理方法应用于大数据处理系统，大数据处理系统包括负载均衡系统、数据监控系统和数据处理系统，大数据处理方法包括：负载均衡系统获取待处理数据；数据处理系统执行数据处理任务对待处理数据进行处理，以得到产出数据；在数据处理系统对待处理数据进行处理时，数据监控系统按预设周期获取数据处理任务的当前状态；若数据处理任务的当前状态为运行中状态，则数据监控系统判断数据处理任务执行是否出错；若数据监控系统判断数据处理任务出错，则数据监控系统以预设方式进行告警。本申请可以避免数据处理任务执行失败。

摘要： 本发明涉及一种大数据处理系统的安全防护方法，使数据存储电路板通过若干悬挂索悬挂在机壳内而降低机壳滚动时传递给数据存储电路板的振动量。一种抗振式大数据处理系统，包括机壳、设置于机壳的通讯接口和位于机壳内的数据存储电路板，所述数据存储电路板通过若干悬挂索同所述机壳连接在一起；所述机壳处于任何角度时，所述悬挂索都悬挂住所述数据存储电路板而使得数据存储电路板通机壳之间断开、位于数据存储电路板上方的悬挂索处于张紧状态、处于数据存储电路板下方的悬挂索处于松弛状态。本发明解决了现有大数据处理系统受到冲击尤其是机壳摔倒时数据存储电路板容易受到冲击而损坏的问题。

摘要： 本申请实施例提供一种基于区块链离线支付的大数据处理方法及大数据处理系统，通过考虑待挖掘服务标签在离线账单数据集合所对应的目标支付环境元素下的可挖掘目标服务，然后基于预定的已订阅推送分组对各个目标支付环境元素下的可挖掘目标服务进行分组，从而考虑到不同目标支付环境元素和已订阅推送分组的差异，由此基于已订阅推送分组对应的推送服务画像对每个已订阅推送分组的知识图谱数据集合进行大数据挖掘，可以有效提高大数据挖掘的精确性，使得大数据挖掘结果更能够匹配实际的业务场景。

摘要： 本发明公开了一种大数据处理方法、大数据处理系统及电子设备，该大数据处理方法包括如下步骤：获取待处理的大数据；根据数据拆分规则对大数据进行拆分；根据数据处理优先级规则将拆分后的数据分发给处理器处理；处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量，如此始终能够将处理器的控制在最大的处理能力上且不会超负荷运转，可以最大限度提高大数据的处理速度。

摘要： 本发明涉及一种防阻拦式大数据处理系统，包括设出气口的机壳和，风向调节机构，所述出气口内连接有排风管，风向调节机构包括轮盘、主动齿轮、从动齿轮、将主动齿轮的转动传递给从动齿轮进行转动的驱动链条和通过铰接轴铰接在所述活动端的另一端内的用于调整从活动段输出的风的方向的若干导流片。本发明还提供了一种大数据处理系统安全防护方法，使机壳散热处的气流的风向能够改变来防止被阻挡。本发明旨在提供一种出风风向能够改变的防阻拦式大数据处理系统，解决了在出风口离墙壁的距离近时散出的热量不能够从机壳周围散开的问题。

摘要： 本发明涉及一种大数据处理系统，包括机壳、设置于机壳的通讯接口和位于机壳内的数据存储电路板，机壳的壁为中空结构而形成气腔，所述气腔设有充放气口，所述充放气口同真空泵的一个端口连接在一起，所述双向真空泵的另一个端口同储气罐连接在一起，所述储气罐和气腔内的气体为氦气，所述机壳为导热塑料制作而成。本发明还提供了一种大数据处理系统安全防护方法，其特征在于，将机壳设计为导热绝热状态可以切换的结构，从而使得低温环境下机壳能够绝热而高温环境下能够导热。本发明具有机壳的导热效果能够改变的优点，解决了现有大数据处理系统的机壳只能够导热所导致的低温环境中数据存储电路板容易损坏的问题。

摘要： 本发明具体公开了一种大数据处理系统及大数据处理方法，包括传感器网络模块、天气预报模块、虚拟地图模块、云服务器、环境预测模块、模型建立模块、模型显示模块、数据库模块、客户端模块；其中传感器网络模块包括若干传感器网络节点，将环境中的数据发送到云服务器，云服务器对数据进行处理；对数据分析，根据以往的数据存储的经验，对洪水进行预测，从而实现对洪水的防范。本发明通过对河水的水文信息进行实时的检测，同时根据大数据的方案对洪水进行预测，从而达到对于洪水的预测和防范。

摘要： 本发明涉及大数据处理方法及大数据处理装置，所述装置包括剧场内容采集设备、子屏幕区域检测设备和内容分析设备，内容分析设备分别与剧场内容采集设备和子屏幕区域检测设备连接，用于基于剧场内容采集设备和子屏幕区域检测设备的输出确定剧场是否存在偷拍行为，其中，子屏幕区域检测设备在大数据服务平台上。通过本发明，能够提高剧场偷拍检测的智能化水准。

摘要： 本发明涉及大数据处理方法及大数据处理装置，所述装置包括剧场内容采集设备、子屏幕区域检测设备和内容分析设备，内容分析设备分别与剧场内容采集设备和子屏幕区域检测设备连接，用于基于剧场内容采集设备和子屏幕区域检测设备的输出确定剧场是否存在偷拍行为，其中，子屏幕区域检测设备在大数据服务平台上。通过本发明，能够提高剧场偷拍检测的智能化水准。

摘要： 一种大数据处理加速器，其运作于Apache Hive‑on‑Tez框架、Hive‑on‑Spark框架、或SparkSQL框架下。所述大数据处理加速器包含运算符控制器及运算符编程模块。所述运算符控制器用来根据运算符执行顺序，执行多个Map运算符以及至少一个Reduce运算符。所述运算符编程模块用来基于所述运算符控制器的硬件配置以及有向无环图，编程所述运算符执行顺序。