数据分割

摘要： 为提高在云存储环境中具有密度高、关联复杂的医学大数据安全保密级别,基于数据分割和等级关联结构,以数据加密的隐私保护算法为支持,提出了一种新的大数据资源的隐私保密模式.从云环境下医疗大数据特征入手,分析云存储中数据隐私保护机制,提出基于分割的云存储数据分级保密模型,大大提高了数据的安全性.研究表明,该模型可以有效保护数据安全和隐私,提高云端数据的安全程度及提高执行效率.

摘要： 针对云环境中第三方服务器不可信的问题,提出一种基于数据分割的密钥聚合加密方法.利用数据分割的思想将文件分割为大数据和多个小数据块,采用密钥聚合加密算法分别加密后将文件分块存储在云端.文件共享时,提取多个数据块的密钥为一个聚合密钥,实现一个密钥对多个文件的解密.进行理论分析及仿真实验,结果表明该方案可以降低对第三方服务商的可信要求,在数据共享时减轻了密钥的传输开销,仅需一个固定长度的聚合密钥即可.

摘要： 对自适应云资源大数据块对象进行并行存取时,由于没有利用数据挖掘理论构建大数据对象的并行存取模型,导致并行存取的时间长、内存占比高、提取正确率低等问题,由此提出自适应云资源大数据块对象的并行存取方法.利用聚类算法对大数据块对象中的数据进行缺失值填充,并将填充后的数据进行分割处理,获取新的数据集;获取大数据块对象的输入层神经元,计算数据采样梯度函数,结合数据挖掘理论构建大数据块对象的并行存取模型;将自适应云资源大数据块对象放入模型中进行自适应寻优处理,以此完成自适应云资源大数据块对象的并行存取.实验结果表明,利用上述方法对大数据块对象进行并行存取时存取时间短、内存占比低、存取的正确率高.

摘要： 在国际评级机构经济背景与我国市场经济不相契合的前提下,为完善我国上市公司信用评级方法体系,本文通过完善指标选取、数据处理与算法优化三个方面,选取锐思数据库我国上市公司的评级数据、财务数据与相关非财务数据,采用"数据分割"方式,创新性地将人工蜂群算法优化支持向量机(ABC-SVM)应用于我国上市公司信用评级中.结果表明:通过将整体数据集分割为升级数据集和降级数据集,评级准确率分别提高了3.78％和3.37％;同时,较传统支持向量机与其他两种生物启发算法(粒子群算法、遗传算法)优化下的支持向量机,ABC-SVM算法的评级效果最好,评级准确率显著提高了5％—7％.本文为我国上市公司信用评级提供了方法思路,丰富了企业信用评级指标体系,为建立层次更全面的企业信用数据库、提高我国上市公司信用评级准确率提供技术支持,并为我国争取国际评级话语权提供理论依据.

摘要： 针对安全智能锁监控系统实施过程中面临的设备在线数量高、负载高等特点,本文提出一种基于能力评估的负载架构设计改进方法.该方法在确保系统安全性的基础上,通过对容易过载的服务器集群进行核心性能指标监控,建立能力评估模型和监控指标(或阈值)触发机制,为整体架构增加链路负载分配、数据切割和计算能力动态调整能力,避免异构节点被无差别对待而造成节点崩坏,从而进一步影响系统稳定性等问题.仿真测试表明,配装相关模块改进后的负载架构,整体性能表现良好,不会因异构节点的热接入造成系统稳定性波动和造成并行处理时间过渡开销.

摘要： 针对高速网络环境下分布式入侵检测中海量数据并行检测处理的效率和检测率问题,提出一种基于能力与负载的数据分割算法.该算法依据采集到的集群内各数据分析节点的系统性能指标及运行状态,评估节点的数据处理能力与负载程度.基于节点的能力与负载适应因子,权衡节点在集群中检测和分析数据能力的权重,实现海量数据在集群内各数据分析节点间的动态数据分割,为节点分配适应其能力与实时负载的数据粒度.仿真测试结果表明,该算法具有较好的负载均衡性,降低了系统的检测时间,提高了数据并行处理的效率和检测率.

摘要： 驾驶训练过程中采集的离合器动作数据长,冗余数据多,必须经过一定的处理后才能有效应用.结合离合器动作特点,将主离合器动作模式识别和时间序列数据分割方法结合起来,构建了一种基于模式识别和滑动窗口分割相结合的离合器动作数据分割方法,实现了离合器动作数据的模式表示和快速分割,为后续训练效果评估提供了基础方法.

摘要： RTCMSC-104委员会制定的差分数据通讯标准是进行多系统数据融合、提供差分数据服务、实现RTK厘米级定位的关键和基础.针对最新的差分电文格式RTCM3.2版本的多信号信息组(Multiple Signal Message,MSM)实时解码问题,按照卫星信号标志量设计思想及数据分割原理,以.net基于面向对象的程序设计思路为基础,提出RTCM3.2版本MSM类型电文的解码思路、流程及实现方法,实现电文各字段的实时、完整提取.通过实测实验数据进行解码分析,证明该方法的正确性和可靠性.%The differential positioning data communication standards proposed by RTCM Special Committee SC-104 is the critical key and primary foundation of multi-constellation GNSS information fusion, differential data service and RTK cm level positioning implementation. To make latest RTCM3.2 message format compatible with previous versions and solve the analysis and decoding problem related with multi-GNSS multiple signal message, characteristics and algorithm were put forward based on net object-oriented programming technique. Decoding methods、Flowchart and implementation were presented against the RTCM3.2 version in corresponding to the design philosophy of satellite signal and the data division principle, finally messages were completely extracted in real time. The method is proved to be correct and consistent according to real-time observation data decoding and analysis.

摘要： 针对云存储用户隐私泄露问题,提出了一种基于数据分割的云存储隐私保护策略.在一定程度上缓解了传统加密策略移植到云存储上出现的密钥管理复杂、加密效率低等问题.首先将数据垂直分割为敏感属性集合与非敏感属性集合,然后根据密钥分解理论对数据进行二次分割,形成小数据块,提高加密效率以及实现获取总数据块的一部分即能对数据进行完整恢复.针对敏感度不同的属性集合分别采用CP-ABE方式以及异或方式对数据进行加密,其中密钥使用数据块的HASH值.使用自定义Merkle Hash Tree的数据结构对HASH值进行高效存储与检索.经分析,能满足用户对于数据隐私保护的需求.

摘要： 本文通过对无线视频传输中错误控制技术的研究,提出了一种新的基于图像内容的分割和非规则低密度奇偶校验码(LDPC)的不等差错保护(UEP)策略,采用比H.264数据分割更合理的分割法与非规则LDPC码的UEP特性相结合,通过信源——信道联合编码,对重要性不同的数据,进行了不均等错误保护.仿真实验表明,该编码策略在高斯白噪声信道下提高了图像质量,具有较强的鲁棒性。

摘要： 海冰模式是地球模式的重要组成部分,其使用不同的网格和时间梯度来模拟海冰区域的变化.海冰模式具有计算密集的特性,随着海冰模式计算精度的提升,传统的硬件已难以满足其计算需求.为解决这一问题,本文基于神威众核处理器,设计了一种针对海冰模式算法移植和并行化的方法.为充分发掘神威众核处理器的并行特性,该方法分别对海冰模式数据分割方式,数据传输过程以及计算方式进行了改进和优化.本文利用该方法对海冰模式的两个算法进行了移植和并行化,并使用CICE测试数据集和COREv2数据集对该方法的性能进行测试.实验表明,并行优化后的两个算法相较其串行实现分别获得了21.4和11倍的性能提升,且与传统并行化方法相比,该方法最高可获得40％的性能提升.

摘要： LUKS是Linux系统下的常用的磁盘加密技术之一,通用于Linux的各个版本,具有支持多用户/密码对同一个设备的访问、加密密钥不依赖密码、可以改变密码而无需重新加密数据、采用一种数据分割技术来保存加密密钥保证密钥的安全性等特点.针对目前取证软件无法直接对LUKS加密分区的快速取证的问题,文章首先研究了LUKS加密分区的加密原理,并在此基础上提出了LUKS的解密方法,能够摆脱对Linux系统的依赖,极大提高了取证效率.

摘要： 实时OLAP对数据装载、查询分析的性能具有更高的敏感性,采用多计算节点进行OLAP查询的并行化处理己成为研究热点.本文关注于实时OLAP应用中数据装载和多维查询分析的性能瓶颈,针对目前数据仓库并行化处理在架构复杂性、动态自主调优、数据迁移代价等方面存在的局限性,提出一种对用户透明的、具有自主校准能力的轻量级并行处理方法,通过并行ETL过程将大规模、高维度事实表分布于多个数据节点,并基于多数据节点实现多维查询分析的并行处理.本文基于开源OLAP引擎Mondrian实现,并在一个实时数据仓库商业项目中进行了应用.结果表明,能够有效提高基于大规模、高维度事实表的数据ETL和多维查询性能,同时预测及校准模型能够有效保证数据分割的合理性,避免了目前并行化处理方法中的数据迁移代价.

摘要： 三维激光雷达技术是近十年迅速发展起来的新型遥感技术，数据处理的理论与方法远不如摄影测量成熟，还没有合适的商业软件可处理大规模三维激光数据，给行业应用带来极大不便。本文提出了大规模三维激光数据处理的基本框架，建立了几何数据流的三维激光数据组织与调度方式，提出了三维激光数据分割与多站点拼接并行算法，给出了几何图元与不规则网组合建模方法，并通过实例验证了方法的正确性。

摘要： 该文提出了一种基于遗传算法的数据预处理方法。数据挖掘过程中该方法能够解决如何对一个样本集进行数据分割,从而得到最佳训练集和测试集的问题。通过该方法进行数据分割,不仅提高了分类模型的分类精度,而且能够最小化训练集和测试集之间的噪声百分比。最后,利用一组软件项目样本数据为例说明该方法的有效性。

摘要： 框架软件是复杂软件系统的发展趋势.中科院计算机网络信息中心正在基于Cactus和Charm++发展框架软件SC_Tangram.Cactus是一个组件化的并行框架,支持自动处理器划分和边界通信、支持多组件数据共享、支持迭代计算.海洋环流模式LICOM是由中国科学院大气物理研究所开发的全球海洋环流模式,广泛应用于海洋研究和气候预测,是中科院地球系统模式的一个主要分量模式.将LICOM海洋模式在Cactus框架上进行重构，将复杂的LICOM程序中的计算和通信剥离，使其适合SC Tangram框架编程方式，并且在实现过程中，使用框架的处理器和数据自动分割机制代替了原始的纯手动控制，使用框架的通信关键字实现边界通信，使用框架的迭代计算调度组CCTK EVOL和自己编写的嵌套调度组实现了LICOM中的迭代计算。除此之外，还为框架扩展了两个关键字功能，实现了数据分发和接收，底层通信方式还是基于MPI通信实现的。

摘要： 框架软件是复杂软件系统的发展趋势.中科院计算机网络信息中心正在基于Cactus和Charm++发展框架软件SC_Tangram.Cactus是一个组件化的并行框架,支持自动处理器划分和边界通信、支持多组件数据共享、支持迭代计算.海洋环流模式LICOM是由中国科学院大气物理研究所开发的全球海洋环流模式,广泛应用于海洋研究和气候预测,是中科院地球系统模式的一个主要分量模式.将LICOM海洋模式在Cactus框架上进行重构，将复杂的LICOM程序中的计算和通信剥离，使其适合SC Tangram框架编程方式，并且在实现过程中，使用框架的处理器和数据自动分割机制代替了原始的纯手动控制，使用框架的通信关键字实现边界通信，使用框架的迭代计算调度组CCTK EVOL和自己编写的嵌套调度组实现了LICOM中的迭代计算。除此之外，还为框架扩展了两个关键字功能，实现了数据分发和接收，底层通信方式还是基于MPI通信实现的。

摘要： 框架软件是复杂软件系统的发展趋势.中科院计算机网络信息中心正在基于Cactus和Charm++发展框架软件SC_Tangram.Cactus是一个组件化的并行框架,支持自动处理器划分和边界通信、支持多组件数据共享、支持迭代计算.海洋环流模式LICOM是由中国科学院大气物理研究所开发的全球海洋环流模式,广泛应用于海洋研究和气候预测,是中科院地球系统模式的一个主要分量模式.将LICOM海洋模式在Cactus框架上进行重构，将复杂的LICOM程序中的计算和通信剥离，使其适合SC Tangram框架编程方式，并且在实现过程中，使用框架的处理器和数据自动分割机制代替了原始的纯手动控制，使用框架的通信关键字实现边界通信，使用框架的迭代计算调度组CCTK EVOL和自己编写的嵌套调度组实现了LICOM中的迭代计算。除此之外，还为框架扩展了两个关键字功能，实现了数据分发和接收，底层通信方式还是基于MPI通信实现的。

摘要： 本发明属于海洋遥感技术领域，公开了一种面向遥感数据的改进海岛岸线分割系统及分割方法，进行基于最佳指数的遥感影像数据波段组合选择，将选择后波段组合数据作为海岛岸线分割的输入数据；进行基于Deeplab神经网络结构的海岛岸线粗分割；并进行基于全连接条件随机场的海岛岸线优化。本发明面向遥感波段数据，使用最佳指数公式选取最适合海岛岸线分割的波段组合训练神经网络；结合深度学习模型以及概率图模型，对海岛岸线进行粗分割以及细分割；本发明分割结果得出了97.8％的MIoU值。

摘要： 本申请适用于数据处理技术领域，提供了一种训练数据清洗、人像分割网络训练及人像分割方法，训练数据清洗方法包括：获取第一训练数据集；其中，第一训练数据集中包括含有人脸信息的训练图像；对训练图像进行人脸检测，得到人脸标注信息和对应人脸标注信息的人脸朝向信息；剔除第一训练数据集中人脸朝向信息不满足预设朝向条件的训练图像，得到第二训练数据集；根据人脸标注信息计算第二训练数据集中训练图像对应的人脸区域占比；剔除第二训练数据集中人脸区域占比不满足预设占比条件的训练图像，得到目标训练数据集。上述方法，实现了对训练数据集的有效清洗，避免了训练数据集中的噪声过多，影响网络训练。

摘要： 基于云服务数据特征的大规模数据分割系统及分割方法，该方法包括：提供大规模分布式数据库DBRange管理中心：以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理，并根据所述云应用特征行为管理单元中的特征信息，建立各个云应用服务中心之间的关联关系;接收云应用服务中心及时更新的数据信息，根据云应用业务管理单元中预先存储的关联关系，找到相关联的其它云应用服务中心信息，并通知更新数据的云应用服务中心或相关联的云应用服务中心；接收到所述DBRange管理中心下发的相关联的云应用服务中心时，将更新数据的相关信息发送至对应的云应用服务中心，或者当接收到所述DBRange管理中心下发的更新数据的云应用服务中心时与该云应用服务中心建立数据交互获得当前更新的数据。

摘要： 本发明提供了一种数据分割方法，包括：用一个预设长度的窗口从待编码的数据流中选取部分待编码的数据；从窗口内的数据中随机选取一个数据段，或者从待编码的数据流中顺序选取部分待编码的数据作为一个数据段，所述数据段大于第一预定长度；以及，用所述数据段到第一数据库中匹配相应的记录，如果匹配成功，确定数据分割点，将所述窗口顺序向后移动相应的长度；否则，将所述窗口顺序向后移动第二预定长度。可以避免数据段找到以前进行的大量重复的比较运算，尤其是采用窗口的动态调整移动步长，更能够快速在数据库中定位所述数据段以及提高数据流的分割速度，本发明还提供了一种数据分割装置。

摘要： 本发明是将眼镜镜片的三维形状数据分割为与在磨边加工中使用的多个形状要素部分相关的数据的形状分割方法，其中，一边改变所述眼镜镜片的周缘的投影形状(54)与外接于该投影形状(54)的规定的外接图形形状(55)的相对角度，一边按照规定角度求出该外接图形形状(55)，并且，提取关于与所求出的所有各外接图形形状(55)共同的内侧区域的形状(56)的数据作为加工最外形数据，求出由所述加工最外形数据确定的形状(56)与由所述投影形状数据确定的投影形状(54)的差分区域，并提取关于所求出的差分区域的形状部分的数据作为贯通加工形状数据。

摘要： 在具备通过基站间载波聚合与用户装置进行通信的第一基站以及第二基站的移动通信系统中的所述用户装置中，包括：无线质量取得单元，取得所述用户装置与所述第一基站之间的第一无线质量、和所述用户装置与所述第二基站之间的第二无线质量；负荷信息取得单元，取得作为所述第一基站中的负荷信息的第一负荷信息、和作为所述第二基站中的负荷信息的第二负荷信息；以及比率计算单元，使用所述第一无线质量以及第二无线质量、和所述第一负荷信息以及第二负荷信息，计算所述用户装置为了将上行数据分割发送给所述第一基站和所述第二基站而使用的分割比率。

摘要： 基于云服务数据特征的大规模数据分割系统及分割方法，该方法包括：提供大规模分布式数据库DBRange管理中心：以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理，并根据所述云应用特征行为管理单元中的特征信息，建立各个云应用服务中心之间的关联关系;接收云应用服务中心及时更新的数据信息，根据云应用业务管理单元中预先存储的关联关系，找到相关联的其它云应用服务中心信息，并通知更新数据的云应用服务中心或相关联的云应用服务中心；接收到所述DBRange管理中心下发的相关联的云应用服务中心时，将更新数据的相关信息发送至对应的云应用服务中心，或者当接收到所述DBRange管理中心下发的更新数据的云应用服务中心时与该云应用服务中心建立数据交互获得当前更新的数据。

摘要： 提供了信息处理设备、数据分割方法和数据分割程序。一种信息处理设备包括操作单元以及控制单元，该控制单元在显示单元上显示用于沿时间轴表示在时间上连续的数据的内容的数据图像。在此，当通过操作单元执行用于垂直于时间轴切割数据图像的姿势操作时，控制单元可以根据所述姿势操作所切割的位置而在时间轴上的位置处分割数据。

摘要： 本发明提供了一种数据分割方法，包括：用一个预设长度的窗口从待编码的数据流中选取部分待编码的数据；从窗口内的数据中随机选取一个数据段，或者从待编码的数据流中顺序选取部分待编码的数据作为一个数据段，所述数据段大于第一预定长度：以及，用所述数据段到第一数据库中匹配相应的记录，如果匹配成功，确定数据分割点，将所述窗口顺序向后移动相应的长度；否则，将所述窗口顺序向后移动第二预定长度。可以避免数据段找到以前进行的大量重复的比较运算，尤其是采用窗口的动态调整移动步长，更能够快速在数据库中定位所述数据段以及提高数据流的分割速度，本发明还提供了一种数据分割装置。

摘要： 本申请公开了点云分割模型的训练方法、点云数据分割方法及相关装置。该方法包括：获取训练点云；其中，训练点云中的数据点按照体素进行分类得到对应的真实体素，每一真实体素标注有真实信息；将训练点云输入至点云分割模型，得到点云分割模型输出的预测体素、以及预测体素对应的检测信息；确定至少一体素对，每一体素对包括对应的一预测体素和真实体素；根据体素对的真实信息和检测信息之间的差异，调整点云分割模型的网络参数。通过上述方式，能够减少体素特征向数据点特征的转换，减少转换过程中的损失，减少计算量，从而提升点云分割模型的分割准确性。