数据分布

摘要： 在科学计算的效应场数值模拟中,变量数据的数值分布通常极不均匀,且存在大量背景噪声.针对传统数据到颜色的可视化线性映射难以获得清晰的物理特征的问题,提出一个基于颜色控制点自动调优的颜色映射框架.首先基于信息熵和高斯混合分布自动去除背景数据,然后基于累积分布函数自动调整颜色控制点位置,再基于分段亮度参数增强颜色表感知辨识性,最终生成自适应数据分布特征的颜色映射.采用爆轰冲击波、电磁辐射和高功率微波3类典型效应场模拟数据的实验结果表明,相比线性映射方法,所提框架能够获得具有高质量细节特征的可视结果,颜色辨识性可提升一个数量级,该框架是有效的.

摘要： 联邦学习(Federated Learning)是为了解决机器学习中以隐私保护为前提的数据碎片化和隔离问题。各客户端节点在本地训练数据,将训练的模型参数信息上传到中央服务器,由参数服务器聚合参数信息以达到共同训练的目的。由于现实环境中,各节点数据之间的分布往往不一致,通过分析非独立同分布数据对联邦学习准确率的影响,来证明传统联邦学习方法得到的模型精度较低。因此,采用多样化抽样策略模拟数据倾斜度分布,提出了基于DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类的集群联邦学习算法(DBSCAN Based Cluster Federated Learning,DCFL),解决了联邦学习中不同节点的数据非独立同分布降低了学习准确率的问题。在Mnist和Cifar-10标准数据集上进行了实验,相比传统的联邦学习算法,基于DBSCAN聚类的集群联邦学习算法对模型的准确率有较大的提升。

摘要： 针对区块链环境中海量高维的数据使得推荐性能低下的问题,通过对局部敏感哈希算法的优化,降低其在近邻搜索过程中带来的额外计算和存储开销。利用数据分布的主成分减少传统LSH中不良捕获的投影方向,同时对投影向量权重进行量化,以减少哈希表和哈希函数的使用;通过对哈希桶的间隔进行调整,并且根据冲突次数的大小进一步细化查询结果集,以显著降低距离计算的时间开销;最后采用加权平均策略进行评分预测并产生推荐列表。实验表明:与其他算法相比,优化后的LSH仅需要少量的哈希表和哈希函数就可以获得较为精确的近邻搜索结果,且搜索效率有很大的提高。优化后的LSH可以很好地应对区块链中数据特点所造成的问题,缓解高维大规模数据对推荐性能的影响,在一定程度上提高了推荐质量和效率。

摘要： 近年来,随着学术界与工业界在机器学习和人工智能领域越来越多的投入和关注,相关技术获得飞速发展,机器学习已经被应用到社会生活的方方面面,并产生巨大社会价值.机器学习模型主要依赖大量高质量数据的封闭训练,随着机器学习模型付诸于开放场景,例如,数据分布的变化、数据特征的变化、数据标记的偏差、任务目标的变化、恶意样本的攻击、设备能力的受限等,其往往面临模型失效、性能不佳等风险隐患.基于此,研究人员亟需探索开放场景下的鲁棒机器学习模型.具体而言,包括分布变化的机器学习、弱监督学习、模型复用、表示学习、强化学习、对抗学习、迁移学习以及更多实际领域问题中的应用等.为此,我们组织了面向开放场景的的鲁棒机器学习专刊.

摘要： 收敛性广泛存在于各个领域,经济增长存在收敛性是经济增长理论最重要的论断之一。对经济增长收敛性进行统计检验一般采用截面数据或时间序列数据建立计量模型来验证,但是收敛性计量模型检验存在以过于简单的模型模拟复杂经济运行,研究假定不符合实际等固有缺陷,不能全面准确反映收敛性的全部内涵,而且计量模型容易受到异常值的影响。文章从收敛性的基本概念出发,利用数据分布思想进行经济增长收敛性判断,可以非常全面地反映影响经济增长的各种因素,有效避免了研究假定的各种缺陷,从而得出更加准确的结论。

摘要： 该模型首先采用合成少数类过采样技术编辑的最近邻来平衡训练数据分布,然后通过集成学习算法XGBoost预测心脏病。为了验证模型效果,本文采用心脏病患者真实医疗数据,利用专家咨询法提取特征,并通过混淆矩阵进行模型评估。与4类基线算法相比,所提模型在AUC、Accuracy、Recall和F-Score指标的评测下均表现良好。实验结果显示,所提模型能够为心脏病预测提供更精准、更智能的辅助参考,同时可以在一定程度上提高诊断的效率和心脏病预测的准确率。

摘要： 中国生物医学工程学会体外循环分会(Chinese Society of Extra-Corporeal Circulation,ChSECC)每年对上一年度全国开展心脏手术的各单位心脏外科手术和体外循环数量、不同病种及地区的手术情况进行相关调查并汇总分析。ChSECC已经连续11年开展这项调查工作,每年均以白皮书的形式公开发布相关调查结果。目的在于让从业人员及时了解和掌握中国心血管外科及体外循环的基本状况和发展趋势,从而为相关专业学科的未来发展、相关产业战略规划以及政务政策制定等方面提供参考信息。现就2021年度我国(含香港特别行政区)心血管外科手术及体外循环数据的调查结果报告如下。

摘要： 【目的】通过调节训练集内实验室场景图片与田间场景图片的分布,提高深度学习模型的准确度,以减少植物病害识别深度学习模型对田间场景数据的依赖。【方法】通过调节训练集内实验室场景图片和田间场景图片的分布,使用ResNeSt-50、VGG-16、ResNet-50等3种神经网络结构分别对训练得到的深度学习模型进行测试和比较,从而优化植物病害识别模型。【结果】在由一定数量的植物病害图像组成的训练集内,调节其中不同场景图片的分布会对模型的准确率产生影响。当训练集内的田间场景图片分布达30%时,模型准确率提升18%以上。在100%实验室场景图片的训练集内添加30%田间场景图片,可提升模型准确率17%以上;在100%田间场景图片的训练集内添加实验室场景图片,模型准确率随图片数量增加而提升,提升幅度为2%~4%。【结论】该方法适用于农业复杂环境下高准确度病害识别模型的快速建立,可减少深度学习模型对田间场景数据的依赖,缩短模型建立初期的田间数据采集周期,降低田间数据采集成本,促进人工智能技术在无人农场及智慧农业中更有效地运用。

摘要： 单一的迁移学习存在无法有效的将知识迁移到目标领域的问题,且迁移过程中易出现负迁移现象,在此背景下,提出了基于混合式迁移学习的文本分类方法。该方法首先利用样本之间的距离作为权衡样本相似性的标准进行样本迁移以扩充目标领域样本,然后利用模型迁移建立带有数据分布自适应的文本分类深度网络结构,最后用扩充后的目标领域数据集来训练网络。实验中使用不同的预训练模型来验证方法的有效性,其中,MT2CERNIE的准确率达到0.884、召回率达到0.890、F1分数达到0.878,具有最佳的预测性能。结果表明,所提方法能够在一定程度上解决标注样本不足、出现负迁移现象等问题。

摘要： 概念漂移检测是提高决策模型精度与性能的核心技术,能够高效快速地帮助基于流数据驱动的信息处理系统和决策支持系统适应新的分布或属性,已成为近年来的研究热点。文章介绍了流数据产生的原因、特点以及流数据概念漂移的定义和性质,针对概念漂移的重要环节——漂移检测,从基本框架、算法分类、数据集等方面进行了详细阐述,总结了漂移检测方法,并展望了将来可能的研究方向。

摘要： 数据分布是大数据处理的数据量、并行化的原生需求，需重新审视“简单一致性模型”，通过收集分布特性、(局部关系代数编译）选择合适的分布特性、(全局代价计算）规避不合适的分布特性优化数据分布。

摘要： 为了说明近场和远场数据在地震反演过程中的作用，本文采用Yabuki&Matsu'ura (1992)反演方法来进行模拟计算，分析了数据分布对反演结果的影响。结果表明:近场数据对反演结果的影响很大，在缺少近场数据的情况下，得到的反演结果与真实的滑动分布之间差别很大，这种差别不仅体现在滑动分布的量级上，而且在特征分布上也大不相同。通过分析可知，形变数据的分布对反演结果有影响，而且近场数据在反演过程中非常重要。这说明近场数据和远场数据在反演过程中起到的约束作用并不相同。如果能够研究清楚反演过程中近场数据和远场数据所占的权重，就能够在反演过程中，对远场数据和近场数据使用不同的权重，尽可能地提取包含在观测数据中的信息，使得到的反演结果更加精细，这对研究地震地下破裂精细结构和研究地震引起的全球形变效应有重要的意义。

摘要： 根据2017年建筑涂料质量调查的结果和历年检测数据,对建筑涂料的VOC、苯系物、甲醛、重金属的危害及数据分布情况进行分析,对耐洗刷性、耐沾污性的不合格原因进行分析,并对消费者购买提出了建议.

摘要： 首先介绍了PGXZ的架构和背景，其次分析了PGXZ的数据分布(Data Sharding)，然后阐述了PGXZ的数据在线迁移，最后论述了PGXZ的表分区(Table Partition)。

摘要： 针对Rocchio算法分类效果不理想,限定于对可划分空间地分类,和KNN对K值的选取过于依赖这些缺陷,提出了一个通过为整个分类空间建立不止一个代表的方法,并且根据数据集的具体数据分布,为整个分类空间建立不同个数的分类代表.有效解决了Rocchio线性地划分实例空间的造成数据划分不合理的问题,由构造的代表和每个类泛化的实例创建的分类模型有效提高了分类效率,而且解决了分类准确度依赖人工给定K值的问题,提高了分类的准确度.通过在20-newsgroup和Reuters-21578两个数据集上的实验,实验结果显示新的算法远优于Rocchio和KNN分类算法,与选择的基准比较算法SVM相比效果略优.

摘要： 冶金行业分析化验的检测数据是指导生产全过程的必要手段.其数据并非服从正态分布,而是服从不对称的偏斜分布.正态分布是理论分布,偏斜分布是实际分布.在冶金生产过程中理论分布应用比较广泛,而实际分布应用就目前讲则是一个空白.从生产实际出发利用检测数据建立实际分布的数学模型,并与理论分布相结合以便揭示和认识统计对象的本质特征和数据的分布规律.其目的是为生产过程进行全面质量管理有效应用统计技术提供科学的依据.

摘要： 提出一种基于多核加权支持向量机的水质预测方法。核函数及其参数选择与数据分布的情况密切相关，采用单一的核函数应对水资源质量评价指标的整个数据分布难以达到很好的预测结果。采用多核加权学习的核函数避免了核函数设计的盲目性和局部最优等非线性优化问题。实例表明，该方法的预测结果是合理可行的，且与以往同类预测方法相比，有着更为客观，计算简便等优点。

摘要： Hash Data数据仓库是完全托管的PB级数据仓库服务，数据分析接口100%兼容PostgreSQL和Greenplum Database。

摘要： Hash Data数据仓库是完全托管的PB级数据仓库服务，数据分析接口100%兼容PostgreSQL和Greenplum Database。

摘要： Hash Data数据仓库是完全托管的PB级数据仓库服务，数据分析接口100%兼容PostgreSQL和Greenplum Database。

摘要： 本发明公开了一种基于数据分布库的多维度数据分布及方法，属于电网数据处理技术领域。本发明首先分析业务逻辑，分析出业务功能和数据库中的表之间的逻辑关系，然后确定水平或垂直分布，根据业务分析结果，确定数据整体拆分原则，对于简单逻辑的系统宜采用垂直分布策略，对于复杂逻辑的系统宜采用水平分布策略，接着确定多维度混合分布，结合业务逻辑，组合数据分布库中的分布策略成最佳的混合分布；并确定多维度分布的数据块的最细粒度，通过分析集群节点的存储空间，利用最大公约原则来确定数据块的最细粒度；最后实现数据分布。本发明能够实现高性能的数据查询与分析，满足用户对大数据处理的实时性需求。

摘要： 本方法提供了一种分布式数据流中基于数据分布的负载均衡分发方法，该方法尤其适用于解决数据流来源分布不均，流量变化明显的事件监控与分析的问题，步骤包括分布式热点突发事件数据流处理、热点突发事件数据点映射、构建包含热点突发事件数据点的层次网格索引树、层次网格索引树与数据路由表建立关联、数据分发。本发明的方法满足将同一区域的突发热点事件没有随机分发到其他丛机节点的同时又保证了各个丛机节点的负载均衡，对突发热点事件的实时性分析提供了技术保障。

摘要： 本发明提供了一种数据分布方法、基于该数据分布方法的危废品管理方法和道路应急事件管理方法，解决了数据展示拥挤、杂乱等问题，可以分等级的逐级展示，数据展示全面且由层次；同时兼具区域性统计分析表达，数据联动实际地理坐标进行展示；支持对数据的地理信息系统的交互与操作，直观带入实际场景；可以通过绘制图层自定义数据展示样式、自定义数据划分维度、层级和粒度、自定义展示初始状态等。

摘要： 本发明公开了一种基于数据分布库的多维度数据分布及方法，属于电网数据处理技术领域。本发明首先分析业务逻辑，分析出业务功能和数据库中的表之间的逻辑关系，然后确定水平或垂直分布，根据业务分析结果，确定数据整体拆分原则，对于简单逻辑的系统宜采用垂直分布策略，对于复杂逻辑的系统宜采用水平分布策略，接着确定多维度混合分布，结合业务逻辑，组合数据分布库中的分布策略成最佳的混合分布；并确定多维度分布的数据块的最细粒度，通过分析集群节点的存储空间，利用最大公约原则来确定数据块的最细粒度；最后实现数据分布。本发明能够实现高性能的数据查询与分析，满足用户对大数据处理的实时性需求。

摘要： 一种组件数据分布方法，所述方法是由服务器装置(10)执行的且允许在多个终端装置(20)之间分布在板子上安装组件时使用的组件数据，所述方法包括：组件数据采集步骤，从第一终端装置采集组件数据和评价数据，所述评价数据表示使用所述组件数据实现实际生产所需操作的程度；以及组件数据累积步骤，累积具有所述采集的评价数据的所述采集的组件数据，以为不同于第一终端装置的第二终端装置提供所述采集的组件数据。

摘要： 本发明涉及一种分布式数据库集群中实现数据分布的方法及系统，其包括：布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，所述数据分片数的设置不受计算实例数或节点CPU核数限制；调度实例、所述计算实例、所述分布式存储系统通过网络相互连接，所述计算实例与所述调度实例共享集群元数据，所述计算实例支持对元数据进行缓存；通过控制所述计算实例与所述数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

摘要： 本发明涉及数据处理技术领域，特别是指一种数据分布式存储的方法以及分布式数据存储系统，该方法应用于所述分布式数据存储系统，所述分布式数据存储系统包括客户端，主节点以及从节点，所述方法包括：所述客户端获取待存储数据，将所述待存储数据发送至所述主节点；所述主节点对所述待存储数据进行切分；所述主节点对切分后的数据进行存储；所述主节点将所述待存储数据进行变更作为更改日志发送至所述从节点；所述从节点对所述更改日志进行切分；所述从节点对切分后的日志数据进行存储。基于本发明，可以提升数据库的可靠性和可用性，分散数据库变更和维护的风险。

摘要： 本发明实施例提供了一种分布式数据库中数据分布信息的统计方法及装置，应用于分布式数据库中的跟随者follower节点，上述方法包括：接收所述leader节点发送的数据变更操作指令；按照所述数据变更操作指令，变更所存储的数据；当达到预设的数据统计条件时，统计所存储的数据的分布情况，得到数据分布统计信息。采用本发明实施例提供的方法，将leader节点的统计数据分布情况的压力转移到follower节点，均衡了一致性协议组各节点负载的压力，使得一致性协议组内各节点之间的资源消耗相对较为同步，避免了单个节点率先达到性能瓶颈，提高了分布式数据库的资源利用率。

摘要： 本发明公开了一种加快大规模分布式数据库集群数据分布的方法，所述的分布方法包括以下步骤：步骤一、接收端把单个表分成多个子表，同时接收数据，降低锁争抢；步骤二、接收完成后，合并各个子表的元数据，形成单表。由于有多个子表可以同时接收发送节点发来的表数据，因此可以显著提高接收表数据的效率；同时，由于不需要合并子表数据文件，元数据的数据量很小，后期合并多个子表为单表的处理成本很低。由此可以显著提高分布式数据库集群数据分布的速度。

摘要： 本法提供了一种分布式数据流中基于数据分布的负载均衡分发方法，该方法尤其适用于解决数据流来源分布不均，流量变化明显的事件监控与分析的问题，步骤包括分布式热点突发事件数据流处理、热点突发事件数据点映射、构建包含热点突发事件数据点的层次网格索引树、层次网格索引树与数据路由表建立关联、数据分发。本发明的方法满足将同一区域的突发热点事件没有随机分发到其他丛机节点的同时又保证了各个丛机节点的负载均衡，对突发热点事件的实时性分析提供了技术保障。