数据分区

摘要： 故障现象:一台长虹49U3C型液晶彩电(机显示一切正常,故障排除。芯:ZLS58GI4X),死机。分析检修:.上电,开机后出现死机,先用U盘进行升级后试机,屏幕反复显示“正在进行数据分区恢复…”。根据故障现象,初步判断EMMC程序块U1205应该正常。

摘要： 针对OPTICS算法存在着对于密度不均匀以及高维数据聚类效果差的问题,提出了基于数据分区的OPTICS聚类算法(DPOPTICS)。该方法计算所有样本点的K距离(Kdist)值,用改进的K均值算法对Kdist值进行单维度聚类,并依据肘图拐点的位置调整K值大小,以此实现数据分区;在分区内用OPTICS算法进行局部聚类,最后按一定规则将数据分区合并。选取多个不平衡人工数据集和UCI数据集进行对比实验,实验结果表明:改进的算法是切实可行的,明显提升了OPTICS算法对于数据密度不均匀问题的聚类质量,并且对高维数据也有着较好的处理能力,具有很强的鲁棒性。

摘要： 针对当前分流策略无法应对高维数据的冗余度、复杂性以及动态变化,为了有效提升云计算高维数据的分流精度与分流效率,以云计算环境下高维数据为研究对象,提出基于数据分区的云计算高维数据均衡分流方法;通过分析高维数据分布特性,明确分区维度、数量以及边界,利用峰间低谷部分中任意点的对应扫描线,完成高维数据分区;采用构建的数据特征提取策略提取高维数据特征,经迭代更新数据聚类中心,实现高维数据均衡分流;通过模拟实验,以数据流标准方差与数据流比例标准方差为指标,验证数据流分流质量与负载均衡效果。结果表明,云计算高维数据均衡分流方法的数据流比例标准方差较小,具有较高的数据分流精度和效率。

摘要： 移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求.针对时空数据流的应用特性,提出一种数据流内存索引及存储方法.根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率.在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询.实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优.

摘要： 在分布式大数据处理框架的作业运行过程中,会有大量的数据通过网络传输,数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下,因为带宽瓶颈节点的存在,传统的数据分区方法效率低下.针对这个问题,建立了节点间的数据传输模型,该模型以降低数据传输时间为目标,根据各节点的上下行带宽和初始数据量大小,计算出各节点的最优数据分发比例.以该模型为基础,设计了基于带宽的数据分区方法,该数据分区方法使得各节点按最优数据分发比例来分配数据.最后在Apache Flink框架中将基于带宽的数据分区方法进行了实现,并通过实验进行了验证.实验结果表明:异构带宽条件下,基于带宽的数据分区方法可以有效减少数据分区所需的时间.

摘要： 数据库是高效组织、存储、管理数据的软件,2000年后数据库开始了分布式之旅来应对海量数据存储、高并发读写任务等挑战.经过20多年的发展,业界在数据库的分布式化方面产出了大量理论和产品.介绍了分布式数据库发展的背景、核心技术、典型产品和未来技术的发展趋势.

摘要： 无共享架构的计算机集群是大数据处理和分析的主要计算平台。在集群计算中,数据分区和采样是加快大数据计算和增加可伸缩性的两种基本策略。在本文中,我们对大数据处理和分析方面的数据分区和采样的方法和技术进行了全面的概述。另外,还总结了Hadoop集群上基于采样的近似方法的流行策略和相关工作。本文认为,应将数据分区和采样一起考虑,以建立在计算和统计方面均可靠的近似群集计算框架。

摘要： 数据库是高效组织、存储、管理数据的软件,2000年后数据库开始了分布式之旅来应对海量数据存储、高并发读写任务等挑战。经过20多年的发展,业界在数据库的分布式化方面产出了大量理论和产品。介绍了分布式数据库发展的背景、核心技术、典型产品和未来技术的发展趋势。

摘要： 为了解决现有分布式数据实时存储方法存在的存储实时性差、存储效率低问题,引入信息分散算法对分布式数据实时存储方法进行研究。通过组合法创建分布式数据库,确定分布式数据存储模式,利用数据同步技术对分布式数据进行复制,以复制结果为依据,通过分区技术对分布式数据进行分区,采用信息分散算法对分布式数据进行分片,结合一致性哈希算法对分布式数据进行实时存储调度。实验结果表明,与传统分布式数据实时存储方法相比较,所提方法极大地提升了存储实时性与效率,说明提出的分布式数据实时存储方法具备更好的存储效果。

摘要： 针对传统的安全数字钥匙(Secure Digital Key,SDKEY)硬件存在的性能问题,给出了一种SDKEY硬件改进方案,并设计了SDKEY和移动终端之间的双重认证方案.提交了一种基于SDKEY的移动终端数据分区保护方案,给出了一个基于SDKEY的移动终端应用框架模型.研究分析表明,该方案在安全和性能上得到提高,并具有一定的应用价值.

摘要： DBSCAN是基于密度的聚类算法的一个典型代表.但是DBSCAN算法在处理大规模数据库时,存在很大欠缺.本文针对其内存使用过大、I/O消耗过多方面提出了基于数据分区、QR*-树的并行DBSCAN算法(PQR*TDBSCAN).测试表明,本算法在处理海量数据过程中降低了DBSCAN对时间和空间的需要.

摘要： 数据聚类（ｃｌｕｓｔｅｒｉｎｇ）在数据挖掘、模式识别、图象处理和数据压缩等领域有着广泛的应用。ＤＢＳＣＡＮ算法是一种基于密度的空间聚类算法，在处理空间数据时具有快速、能够处理噪声点和发现任意形状的聚类等优点。但由于直接对数据库进行操作，需要较多的内存和Ｉ／Ｏ时间，并且当数据密度和聚类间的距离不均匀时聚类质量较差。该文在分析原有ＤＢＳＣＡＮ算法不足的基础上，提出用数据分区来改善ＤＢＳＣＡＮ算法。实验结果表明新算法不仅提高了聚类速度，而且改善了聚类质量。

摘要： 针对基于密度的DBSCAN聚类算法对输入参数Eps敏感及算法时间复杂度高的问题,提出了一种基于数据分区和网格聚类相结合的密度聚类算法(PC-DBSCAN).首先,计算每个数据点到其K最近邻域内所有数据点的距离的平均值K-ave,根据每个数据点对应的K-ave值进行单维度聚类来实现数据分区,缓解了算法对全局参数Eps敏感的问题;其次,针对每一个数据分区,把其对应的数据空间划分成以Eps为网格阈值互不相交的网格单元,在确定核心对象时,只需要对数据点所在网格单元及其周围的网格单元进行遍历,避免了遍历数据空间中所有的数据点,优化了核心点的确定方式,降低了时间复杂度;最后,对各数据分区聚类结果进行合并.实验结果表明,改进后的算法是正确和高效的.

摘要： 本发明公开了一种在跨分区数据库中查询数据的方法及跨分区查询装置，包括：接收查询请求，查询请求中包括查询条件，查询涉及关联操作的两表各自所在的分区数据库的统计信息；根据统计信息和查询条件，向驱动表所在分区数据库发送查询驱动表请求，接收驱动表所在分区数据库返回的第一查询结果集，其中，涉及关联操作的两表中的一表为驱动表，另外一表为非驱动表；对第一查询结果集中的关联字段值进行去重，向非驱动表所在分区数据库发送结果集投递请求和去重后的关联字段值；向非驱动表所在分区数据库发送查询非驱动表请求，并接收非驱动表所在分区数据库返回的第二查询结果集。提高了在跨分区数据库中查询数据的效率。

摘要： 本说明书实施例提供一种分区表建立、针对分区表的数据写入、读取方法及装置，在分区表建立方法中，接收第一建表指令，其中至少包括待创建的第一分区表的各属性列以及分区规则。第一分区表为无主键表，分区规则至少指示，将第一分区表中有待写入的数据行划分为逻辑分区所依据的分区键以及分区的第一数目。基于各属性列创建第一分区表，并根据分区规则创建对应的第一数目个逻辑分区以及各逻辑分区分别对应的物理分区，该物理分区具有全局唯一的分区标识。针对第一分区表添加合成主键作为隐藏主键，该合成主键由物理分区的分区标识和分区级的自增长标识构成。

摘要： 本申请公开了一种分区分裂的方法、装置、一种删除分区中数据文件的方法、装置以及一种分区管理系统。其中，所述分区分裂的方法，包括：获取第一分区的数据文件；获取新建分区的数据文件；将所述新建分区的数据文件与所述第一分区的数据文件相链接，以创建所述新建分区与所述第一分区的链接关系。所述技术方案通过创建链接关系代替了现有的引用文件，解决了由于分区分裂时间与文件数有关，分裂过程比较繁琐，且分区分裂的效率低的问题；特别是如果用户请求突增时，通过新建分区与所述第一分区间创建链接关系，使得新建分区可以进行连续多次分裂。

摘要： 本发明属于电传飞控计算技术，涉及一种电传飞控系统软件数据流构架，以及此构架的搭建方法，它包括：为系统定义输入分区(1)、计算分区(2)、输出分区(3)和系统数据字典(4)，为每个分区构造输入数据对应的消费者函数和输出数据对应的生产者函数，建立输入数据和输出数据与全局数据字典的映射关系，按照构件化原则定义序列调用组件、输入输出组件和计算组件。本发明的构架能够对基于分区的电传飞控系统软件中全系统的数据流进行有效管理，降低模块耦合和验证成本。

摘要： 本发明提供一种Oracle数据库分区表历史分区数据定时删除的方法，包括：在原业务表上添加分区字段，设置所述分区字段默认值；所述分区字段默认值为当前日期的日数和分区数取mod运算的值；根据所述分区字段创建分区表；创建后台配置管理表，以自动运行任务；所述后台配置管理表的字段内容包括schema名称、表名称、保留天数和保留分区数；创建存储过程，根据配置管理表，编写自动删除逻辑；编写Shell脚本，配置Crontab任务，进行自动化删除。本发明能够通过定制时间对分区表历史分区进行自动删除，这样可以提高运维自动化，减少人为干预，提高生产效率。

摘要： 本发明公开了一种在跨分区数据库中查询数据的方法及跨分区查询装置，包括：接收查询请求，查询请求中包括查询条件，查询涉及关联操作的两表各自所在的分区数据库的统计信息；根据统计信息和查询条件，向驱动表所在分区数据库发送查询驱动表请求，接收驱动表所在分区数据库返回的第一查询结果集，其中，涉及关联操作的两表中的一表为驱动表，另外一表为非驱动表；对第一查询结果集中的关联字段值进行去重，向非驱动表所在分区数据库发送结果集投递请求和去重后的关联字段值；向非驱动表所在分区数据库发送查询非驱动表请求，并接收非驱动表所在分区数据库返回的第二查询结果集。提高了在跨分区数据库中查询数据的效率。

摘要： 本发明涉及一种组合来自第一数字地图数据库的第一分区和来自第二数字地图数据库的第二分区的方法，其中所述第一和第二数字地图数据库与坐标参考系相关联，其中所述第一和第二分区在所述第一和第二数字地图数据库中的共同区中彼此具有相互作用。所述方法包括：识别来自所述第一数字地图数据库的所述第一分区中的第一群组对象，其中每一对象包括所述共同区内的一位置；以第一群组位置参考对所述第一群组的所述对象进行编码；在来自所述第二数字地图数据库的所述第二分区上解码所述第一群组位置参考；识别所述第一群组中的可在所述第二分区上成功解码的所述位置参考以确定拓扑连接；以及依靠与所述拓扑连接相关联的所述位置参考来组合所述第一分区与所述第二地图数据库中的所述第二分区。

摘要： 本说明书实施例提供一种分区表建立、针对分区表的数据写入、读取方法及装置，在分区表建立方法中，接收第一建表指令，其中至少包括待创建的第一分区表的各属性列以及分区规则。第一分区表为无主键表，分区规则至少指示，将第一分区表中有待写入的数据行划分为逻辑分区所依据的分区键以及分区的第一数目。基于各属性列创建第一分区表，并根据分区规则创建对应的第一数目个逻辑分区以及各逻辑分区分别对应的物理分区，该物理分区具有全局唯一的分区标识。针对第一分区表添加合成主键作为隐藏主键，该合成主键由物理分区的分区标识和分区级的自增长标识构成。

摘要： 本发明提供了一种基于数据库中间件的分区方法、分区装置和可读存储介质，包括：接收到数据库路由指令，确认数据库中的至少一个数据库节点发生数据阈值倾斜；根据数据阈值的倾斜程度，新建数据库分片实例；根据预先设置的节点重分布规则，将发生数据阈值倾斜的数据库节点中的维度字段进行分配，以使维度字段分布在数据库分片实例中，根据数据库分片实例生成新增数据库节点。通过控制二维，甚至n维分片字段对数据库中的某些数据进行重分布，使数据库各节点负载达到均衡，可以有效的控制数据存储过程中的数据倾斜现象，提高大数据量场景下数据库的性能。

摘要： 本申请提供了一种船舶数据的分区方法、分区装置、电子设备和存储介质，该分区方法包括：获取每条船舶的至少一条历史行驶数据；基于预设的分区数量和所述船舶的数量，确定船舶分区原始矩阵的行数量和列数量；按照所述列数量和所述行数量，生成所述船舶分区原始矩阵；在所述船舶分区原始矩阵的各个数据行之间进行数据交换，得到船舶分区目标矩阵；基于所述船舶分区目标矩阵，确定每条船舶对应的数据分区，并将每条船舶的至少一条历史行驶数据存储至对应的数据分区中。根据所述分区方法和分区装置，可以避免各个数据分区内船舶数量分布不均匀的问题。