数据分块

摘要： 针对现有命名实体识别存在数据处理效率低的问题,该文提出了一种并行化Block-BAC模型。提出了前处理中的数据分块优化算法,并基于Hadoop实现并行化的运作机制;采用局部注意力优化机制,有效减少模型的隐层节点。与已有的BERT-BAC模型相比,在确保较高F;值(精确率和召回率的调和平均数)的情况下,该模型训练时间和实体识别时间分别缩短60.36%、39.43%,具有更广泛的实用性。

摘要： 随着数字科学技术的发展,各领域需要传输和存储的数据量急剧上升。然而传输和存储的数据中重复数量占据了很大的比例,这不仅会增加使用数据的成本,也会影响处理数据的效率。域名是一种存储量大而且对处理速率有极高要求的数据,为了节约域名解析系统的存储成本,提高传输效率,本文在原有数据去重技术的基础上,引入了Simhash算法,结合域名数据的结构特征,改进数据分词和指纹值计算方式,提出了一种基于Simhash算法的重复域名数据去重方法。实验结果表明,相比于传统的数据去重技术,该方法对删除重复域名数据效率更高,具有较好的实际应用价值。

摘要： 数据作为智慧服务的基础,应在智慧图书馆建设中占据主导地位。围绕数据,借助技术手段凝聚与激发图书馆智慧,为满足用户多样化需求提供各种便捷的智慧服务。文章在全方位、立体化探析智慧图书馆数据体系及其作用的基础上,融合图书馆人、资源、空间、设备(技术)、服务与管理六大要素,开展了智慧图书馆数据分块研究,通过将数据划分为非交互数据块、交互数据块以及深度交互数据块,构建了智慧图书馆数据体系、技术手段与智慧服务三者之间的映射关系,理顺了智慧图书馆数据到技术再到服务转换的价值实现逻辑,为建设智慧图书馆展提供思考与借鉴,以指导应用实践。并基于智慧图书馆可持续发展理念,提出了构建数据分块标准体系、完善数据分块来源结构、打造数据分块精深产品的可持续发展策略。

摘要： 传统的全地形车覆盖件表面复杂曲面拟合算法拟合精度较差,为此设计一种改进的全地形车覆盖件表面复杂曲面拟合算法.采用三坐标测量机对全地形车覆盖件表面复杂曲面数据采样,对数据对齐与最大化简化处理,获得可信赖函数,采用插值分割算法对采集到的数据进行分割,判定全地形车覆盖件表面边界光顺区域,采用最小二乘法对复杂曲面拟合,采样矩阵形式,将基于最小二乘问题转化为线性系统,得到最终的全地形车覆盖件表面复杂曲面拟合结果.实验结果证明,此次设计的全地形车覆盖件表面复杂曲面拟合算法比传统算法拟合精度高,解决了传统算法精度低的问题.

摘要： 为提高光栅传感网络数据分块压缩效果,设计了基于LZW算法的高负荷光栅传感网络数据分块无损压缩方法.在构建存储结构模型的基础上,提取高负荷光栅传感网络数据的关联谱特征量,经数据分块融合处理后,结合参数多分辨重构方法实现对数据的分块加窗处理,并根据窗函数检测结果构建特征压缩子空间调度模型;在均衡的窗口中,采用多尺度的LZW算法实现对高负荷光栅传感网络数据的特征分解和分块压缩.仿真结果表明:该方法分块融合匹配能力较强,有效提高了数据的存储空间.

摘要： 为在空中三角测量模型较差检测中形象快速标注误差超限点、超限区域,直观揭示误差全局区域联系,给空中三角测量补加连接点提供指引,提高空中三角测量作业效率和精度,结合逐点插入法和数据分块思想改进Delaunay三角网构网算法,提出了一种空中三角测量模型较差平面显示方法,利用Delaunay三角网的优良网拓扑关系显示超限点并推荐误差超限范围。以84景规模实际无控空中三角测量工程对该方法进行验证,结果表明该方法能够快速显示空中三角测量模型较差超限点和区域,指示补点区域,有助于揭示空中三角测量模型较差分布规律,辅助空中三角测量修正。该方法可为空中三角测量模型较差检测实际工程新问题提供高效实践方案。

摘要： 为解决传统基于贝叶斯理论的概率模糊聚类(BayesianFuzzyClustering,BFC)算法在处理大规模数据集聚类时的时间开销和存储代价瓶颈,提出基于数据分块的单程自适应加权BFC算法,算法在大规模数据集分块的基础上,设计了基于数据加权的改进BFC算法,用于数据分块内数据聚类,以挑选出对聚类贡献最具代表的标识数据及其自适应权值,在块间迭代聚类过程中,将标识数据及其权值合并到下一数据块中并参与聚类,从而将上一数据块的聚类信息有效地传递到下一数据块中,最后分析算法的收敛性和时间复杂度。实验结果表明,算法在继承传统BFC算法良好聚类性能基础上,减少计算复杂度,有效提高聚类效率,适用于大规模数据集聚类。

摘要： 为了提高大量信息数据快速分析的能力,设计了一种通过内容分块技术来优化层次化冗余去重过程的方法.先分层处理元数据索引表,再以分层方式完成文件级与数据块级冗余去重的过程,之后为数据块级设置了智能化程度更高以及具备更优性能的内容分块优化算法.重点分析了通过内容分块方式实现的层次化去冗优化方案,同时对其开展了系统性测试.根据测试结果评价了各算法处理性能.结果 表明,该设计的优化方案可以达到更智能的程度并获得更优的处理效果.

摘要： 针对常用隐秘算法能被通用隐秘分析手段检测的问题,基于比例嵌入和标记位的方法及数据分块嵌入机制设计了抗隐秘检测的隐秘算法,并基于微信公众平台实现了安全隐蔽通信方案.该方案能够满足秘密信息即时、安全、隐蔽的交换需求,具有很好的使用价值和应用前景.

摘要： 随着数据量增加,单一存储模式下无法实现对海量数据信息存储,因此采用集群方式来实现海量数据进行有效存储,从而解决单一存储模式所带来的问题。但是,由于集群框架下每个DataNote节点由于其自身存储容量限制等问题,对数据进行分块来实现不同DataNode节点存储,提高了存储数据效率。当Client要访问集群框架下不同节点数据信息的时候,就要通过机架内或不同机架间进行数据传输,这样就会带来数据安全性问题。本文研究内容就是以Hadoop集群作为平台,对数据分块操作以及数据加密相关问题和算法进行研究,通过研究得到有效分块策略和加密算法改进,提高数据分块有效性和数据安全性。

摘要： P2P流量是近年来网络上较常见且难以识别的一种流量,本文针对这种流量提出了一种综合已有方法且结合报文首部统计特征分类与数据分块思想的新型高效识别方法.该方法通过统计报文首部ASCII码出现的频率,提取出一个256维的特征,使用决策树算法对流量进行分类识别.在识别的过程中,本文进一步提出数据分块的思想,获取更准确的统计特征,以提高识别的正确率.测试结果表明,该方法可以在多种流量混杂的情况下高效识别出P2P流量,且具有较高的准确度.

摘要： 软件即服务(Software as a Service)模式下，应用软件和数据库都部署在非完全可信的服务运营商端，数据隐私保护成为SaaS模式应用和推广中一个极大的问题和挑战．针对明文状态下不同SaaS数据属性组合泄露隐私程度的不同，提出一种面向SaaS应用的数据组合隐私保护机制．该隐私保护机制支持租户自定制隐私约束，用来描述数据组合隐私保护需求，将SaaS数据属性切分到不同的数据分块中，利用可信第三方实现数据切片间关联关系的混淆和重构，并基于伪造数据，确保同一数据分块内部数据切片分布的均衡化，实现SaaS数据租户隐私保护和实用性的有效结合．通过分析，证明了隐私保护机制的有效性和合理性，并通过试验验证了该隐私保护机制的实用性．

摘要： 大范围、海量地形数据的快速漫游是GIS、虚拟现实、游戏、仿真等领域的关键技术与难点之一.本文在四叉树地形数据简化算法的基础上,采用数据分块、基于块节点的视景体裁剪、部分数据常驻内存以及与视点相关的静态LOD 模型和边界裂缝消除方法实现了对大规模地形数据的快速漫游.实验结果表明,该成果能够实现真实感大规模地形数据的实时可视化与交互操作.

摘要： 网络磁盘阵列存储系统是一种新型的网络存储系统.它由文件服务器和网络磁盘阵列组成,具有命令与数据分流、容量与带宽同步扩展等特点.本文详细介绍了网络磁盘阵列存储系统的三种结构扩展方式——组内扩展、组间扩展和串内级联,并对系统扩展后的数据分块方式展开了讨论,得出系统内部数据分块方式的划分类型,指出不同数据分块方式的优点及其应用类型.

摘要： 信息数字化及信息量的成倍增加,对高效、安全地保存及备份有价值信息提出了要求.RAID技术针对大量数据的存取与管理应运而生,在广播电视领域中也有着广泛的应用.本文对关于RAID的基本概念及基本技术--数据分块、镜像及校验进行学习与探讨,以助于理解RAID六级基本模型RAID0-RAID5的组成与工作方式。

摘要： 稀疏矩阵向量乘是科学计算的核心问题,采用定制结构加速稀疏矩阵向量乘的执行对于提升科学计算性能具有重要意义.针对目前面向定制结构的稀疏矩阵分块方法和表示方法的缺点,提出了稀疏矩阵二维均匀分块方法和相应的表示方法嵌套分块CSR.实验结果表明,本文提出的稀疏矩阵分块方法和表示方法能够有效减少填零个数.

摘要： 稀疏矩阵向量乘是科学计算的核心问题,采用定制结构加速稀疏矩阵向量乘的执行对于提升科学计算性能具有重要意义.针对目前面向定制结构的稀疏矩阵分块方法和表示方法的缺点,提出了稀疏矩阵二维均匀分块方法和相应的表示方法嵌套分块CSR.实验结果表明,本文提出的稀疏矩阵分块方法和表示方法能够有效减少填零个数.

摘要： 稀疏矩阵向量乘是科学计算的核心问题,采用定制结构加速稀疏矩阵向量乘的执行对于提升科学计算性能具有重要意义.针对目前面向定制结构的稀疏矩阵分块方法和表示方法的缺点,提出了稀疏矩阵二维均匀分块方法和相应的表示方法嵌套分块CSR.实验结果表明,本文提出的稀疏矩阵分块方法和表示方法能够有效减少填零个数.

摘要： 稀疏矩阵向量乘是科学计算的核心问题,采用定制结构加速稀疏矩阵向量乘的执行对于提升科学计算性能具有重要意义.针对目前面向定制结构的稀疏矩阵分块方法和表示方法的缺点,提出了稀疏矩阵二维均匀分块方法和相应的表示方法嵌套分块CSR.实验结果表明,本文提出的稀疏矩阵分块方法和表示方法能够有效减少填零个数.

摘要： 稀疏矩阵向量乘是科学计算的核心问题,采用定制结构加速稀疏矩阵向量乘的执行对于提升科学计算性能具有重要意义.针对目前面向定制结构的稀疏矩阵分块方法和表示方法的缺点,提出了稀疏矩阵二维均匀分块方法和相应的表示方法嵌套分块CSR.实验结果表明,本文提出的稀疏矩阵分块方法和表示方法能够有效减少填零个数.

摘要： 树形网络的大数据分发技术，通过把大数据进行分块和按序编号，并搭建高度最小的最优树形网络结构，使大数据文件在网络中的数据分发能以流水线的形式进行，从而在很大程度上减少了数据分发延迟和计算开销，同时，这种方法还能为数据在树形网络中的传输时间进行预测。在本发明中提出了一种大数据在树形网络中锁步分发的方法，通过找出一个固定的、所有节点都一样的上传速率让整个数据分发时间变得最小，同时提出一种新的通过采用流水线技术和降低树形网络的高度来提高数据分发速率的方法，极大地降低了大数据在树形网络的数据分发的开销。

摘要： 本发明公开了一种地图数据的分块下载方法，包括：将不同显示级别的地图数据分别切分成具有相应显示级别信息的地图数据块；记录所述地图数据块的特征标识，所述特征标识为根据所述地图数据块的显示级别和位置信息唯一生成；计算当前显示所需的特征标识；下载所述特征标识对应的地图数据块。本发明通过将不同显示级别的地图数据分别切分成具有相应显示级别信息的地图数据块，每个地图数据块的大小可以根据通讯导航的需要进行控制，以满足导航系统制图的需要和实时下载的流量需要，从而使通讯导航系统在较短时间间隔内或是零时间间隔内就完成需要的地理数据块的下载，有效保证了在无线网络条件下通讯导航的实时性。

摘要： 本发明公开了一种在云存储系统中采用动态自适应的方法对存储文件进行分块存储的方法，主要解决现有技术中因使用固定分块大小而引起的空间利用率低和磁盘碎片问题。其实现方案是：云存储系统先制定一个分组因子向量，当需要存储文件时，先得到该文件的大小和热度标志，当该文件大小小于最小分组因子时，用该文件最终的大小；若热度标志是1，则对该文件进行复制存储，反之，则直接将该文件存储到单个节点上；当文件大小大于最小分组因子时，通过将文件大小与分组因子进行比较，得到最优分块大小。本发明比固定分块方法具有更好的文件均匀度，同时相对于固定分块能更好的解决由于热点文件引起的负载均衡问题，特别适合于云存储系统。

摘要： 本发明公开了一种新型地震数据生成深度学习样本标签方法与地震数据自适应分块化无损切合方法。属于地震信号数据预处理与后处理领域。本发明基于复合滤波提取实际地震资料噪声，将其与模拟地震数据结合实现了样本集构建，基于自适应分块与动态加权融合算法实现了地震数据的随机分块化与数据块无损合成完整地震数据，是一套完整的地震数据训练预处理与后处理流程。本方法生成的随机分块化训练集与样本集更加适用于深度学习训练，训练样本集包含实际噪声，从而提高模型预测结果的准确率，进而提高地震资料质量；无损切合能消除数据块合成带来的总体失真与过拟合现象，为基于深度学习的地震数据噪声压制提供了新的思路。

摘要： 树形网络的大数据分发技术，通过把大数据进行分块和按序编号，并搭建高度最小的最优树形网络结构，使大数据文件在网络中的数据分发能以流水线的形式进行，从而在很大程度上减少了数据分发延迟和计算开销，同时，这种方法还能为数据在树形网络中的传输时间进行预测。在本发明中提出了一种大数据在树形网络中锁步分发的方法，通过找出一个固定的、所有节点都一样的上传速率让整个数据分发时间变得最小，同时提出一种新的通过采用流水线技术和降低树形网络的高度来提高数据分发速率的方法，极大地降低了大数据在树形网络的数据分发的开销。

摘要： 本申请公开了基于动态阈值的光学遥感数据分块配准的数据识别方法，属于数据识别处理技术领域，对影像预处理，根据经纬度寻找分块的相同区域，在影像分块时进行尺度不变特征变换，采用欧氏距离进行最近邻匹配找到粗匹配点对，使用动态自适应距离约束条件对粗匹配点对中的误匹配点进行剔除；根据特征点描述子的方向特征对误匹配点进行剔除；步骤，计算分块的配准点的初始点间距离，对误匹配点进行剔除；完成分块匹配，得到整体配准点信息后，对误匹配点进行剔除，完成遥感影像的分块配准。具有以下优点：解决了基于光学遥感影像工程化快速计算精确配准这一问题，解决了保留更多正确匹配点的同时除去误匹配点的难题。

摘要： 本发明公开了一种基于数据分块的数据传输方法和装置，属于通讯技术领域。所述方法包括：终端设备根据待传输数据所包含的数据块的块索引和存储地址信息，获取至少一个数据块；所述终端设备向服务器发送传输请求消息，所述传输请求消息携带所述至少一个数据块和所述至少一个数据块的块索引；所述终端设备接收所述服务器返回的传输响应消息；所述终端设备根据所述传输响应消息，确定所述至少一个数据块的传输状态；所述终端设备根据所述至少一个数据块的传输状态，继续传输所述待传输数据的数据块。本发明通过根据块索引和存储地址信息进行数据块的传输，并根据数据块的传输状态传输数据，保证了传输的数据的完整性。

摘要： 本申请公开了基于动态阈值的光学遥感数据分块配准的数据识别方法，属于数据识别处理技术领域，对影像预处理，根据经纬度寻找分块的相同区域，在影像分块时进行尺度不变特征变换，采用欧氏距离进行最近邻匹配找到粗匹配点对，使用动态自适应距离约束条件对粗匹配点对中的误匹配点进行剔除；根据特征点描述子的方向特征对误匹配点进行剔除；步骤，计算分块的配准点的初始点间距离，对误匹配点进行剔除；完成分块匹配，得到整体配准点信息后，对误匹配点进行剔除，完成遥感影像的分块配准。具有以下优点：解决了基于光学遥感影像工程化快速计算精确配准这一问题，解决了保留更多正确匹配点的同时除去误匹配点的难题。

摘要： 本发明提供了一种对数据分块实现数据完整性保护的方法及装置，包括：将待发送数据分割成多个数据分块，计算每个数据分块的哈希值，并存储在每个数据分块的相应数据域；将所述多个数据分块分散存储于存储站点；从所述存储站点获取多个数据分块，计算各数据分块的哈希值，并对各数据分块的数据进行完整性校验；校验完成后将所述多个数据分块中的信息数据发送给用户站点。通过对数据分块的哈希值的前后链接以实现数据的完整性保护。

摘要： 本发明公布了一种针对关键数据流的改进数据分块方法，是一种基于软件定义广域网的加速机制。本发明综合运用了固定分块算法、Bloom Filter算法和MD5算法，能满足SD‑WAN中不同数据流不同的加速传输需求，网络流量的负载均衡、数据流分类等功能。该方法可以针对不同的数据流采取不同的加速策略以及调度方案，以满足用户需求，实现网络利用率的最大化。