大规模数据集

摘要： 人工智能随着大数据、云计算和物联网技术的蓬勃发展,已广泛渗透到科学研究、数字经济、健康与医疗卫生等各大领域,给人类生产生活带来了极大的便利.机器学习的模型训练和推理预测都依赖于大规模数据集,而这些数据中可能包含着用户的敏感或隐私信息.针对人工智能中日益加剧的数据安全与隐私保护需求,国内外学者获得了一系列重要研究成果.然而,如何在保护用户数据安全的同时,实现人工智能技术的高可用性和高效性仍然是学术界和工业界广泛关注的具有挑战性的研究课题.

摘要： 人工智能随着大数据、云计算和物联网技术的蓬勃发展,已广泛渗透到科学研究、数字经济、健康与医疗卫生等各大领域,给人类生产生活带来了极大的便利.机器学习的模型训练和推理预测都依赖于大规模数据集,而这些数据中可能包含着用户的敏感或隐私信息.针对人工智能中日益加剧的数据安全与隐私保护需求,国内外学者获得了一系列重要研究成果.然而,如何在保护用户数据安全的同时,实现人工智能技术的高可用性和高效性仍然是学术界和工业界广泛关注的具有挑战性的研究课题.

摘要： 针对传统方法在检测离群点时常因冗余数据的干扰而导致检测用时较长、检测准确率偏低的问题,设计了基于神经网络的大规模数据集离群点检测算法.采用核主成分分析方法对大规模数据集进行降维处理,去除其中存在的冗余数据,利用神经网络在误差函数的基础上实现对离群点的检测.结果表明:该算法的检测时间始终低于0.4 min,且检测准确率始终保持在90%以上,说明该算法能够快速、准确地检测大规模数据集中的离群点.

摘要： 针对基于密度的噪声应用空间聚类算法(density based spatial clustering of applications with noise,DBSCAN)计算复杂度较高以及无法聚类多密度数据集等问题,提出了一种网格聚类算法和DBSCAN相结合的融合聚类算法(G_FDBSCAN)。利用网格划分技术将数据集划分为稀疏区域和密集区域,分而治之,降低计算的时间复杂度和采用全局参数引起的聚类误差;改进传统的DBSCAN聚算法得到FDBSCAN,将密集区域中网格聚类的结果作为一个整体参与后续的聚类,在网格划分基础上进行邻域检索,减少邻域检索和类扩展过程中对象的无效查询和重复查询,进一步减少时间开销。理论分析和实验测试表明,改进后的算法与DBSCAN算法、DPC算法、KMEANS算法、BIRCH算法和CBSCAN算法相比,在聚类结果接近或达到最优的情况下,聚类效率分别平均提升了24倍、11倍、2倍、3倍和1倍。

摘要： 随着大数据、云计算和物联网技术的蓬勃发展,人工智能已广泛渗透到科学研究、数字经济、健康与医疗卫生等各大领域,给人类生产生活带来了极大的便利.机器学习的模型训练和推理预测都依赖于大规模数据集,而这些数据中可能包含着用户的敏感或隐私信息.针对人工智能中日益加剧的数据安全与隐私保护需求,国内外学者获得了一系列重要研究成果.然而,如何在保护用户数据安全的同时,实现人工智能技术的高可用性和高效性仍然是学术界和工业界广泛关注的具有挑战性的研究课题.

摘要： 在研究柔性作业车间调度问题(FJSP)中为模拟实际大型生产车间的柔性作业车间调度情景,设计了基于传统基准实例的大规模FJSP数据集.针对大规模FJSP数据集,提出了以最大完工时间、机器最大负荷、机器总负荷为优化指标构建多目标柔性作业车间调度模型,在求解时为避免算法陷入局部最优,提出了一种多种群NSGA-Ⅱ改进算法(IMNSGA-Ⅱ),该算法优化了种群初始化方法与交叉策略,对不同种群中机器部分的基因采取不同的交叉方式.在生成的大规模FJSP数据集中验证了算法的有效性和可行性.

摘要： 针对自然界中植物数据规模大且分布不平衡导致的识别困难的问题,提出一种基于显著特征和全局特征融合的植物识别方法.通过多层特征融合方法改进VGG19网络以提取植物的全局特征,并对全局特征进行显著特征提取得到图像的显著特征,将显著特征和全局特征进行自适应加权特征融合得到融合特征,对融合特征进行分类识别.在PlantCLEF2016数据集上的实验结果表明,该方法的准确率可达到81％,验证了其在大规模且分布不平衡的植物识别中可行有效.

摘要： 许多人对大数据可能还有陌生感、距离感,其实身处高度发达的信息时代,大数据离我们真的很近,它渗透于每个行业、每个工作领域,已经成了我们日常生产、生活的重要因素。在大数据时代,通过对信息数据的不断挖掘和应用,能给各行业的发展带来新的机遇和变革。总的来说,大数据就是一种信息资产,在一定时期内能够被梳理、挖掘和使用的海量信息。大数据的价值也体现在对大规模数据集合的处理能获取有价值的信息。

摘要： 离群点检测在数据处理中具有重要研究意义,其检测方法大致可以分为基于统计、基于距离、基于密度和基于聚类的方法.为了及时掌握当前基于聚类技术的离群点检测方法的研究现状,通过归纳与整理,将具有代表性的基于聚类的离群点检测方法进行了介绍和归类,将其主要分为静态数据集中的检测方法、数据流中的检测方法、大规模数据中的检测方法和其他方法等四大类.对每类方法所解决的问题、算法思想、应用场景以及各自的优缺点进行了详细的归纳和分析,指出目前存在的问题以及未来发展方向.

摘要： 针对目前眼动跟踪方法难以适用于智能手机、平板电脑等便携式设备的问题,提出一种基于大规模数据集的眼动跟踪方法.首先,通过众包法构建大规模数据集;然后,使用该数据集训练一个深度神经网络,用于端对端的预测.最后,训练一个更小更快的网络进行优化,使所提方法在移动设备上的运行具有一定的实时性.实验结果表明,与其他类似方法相比,所提方法具有更好的跟踪鲁棒性以及数据泛化能力.在移动设备中的运行速度可达10～15帧/s.在未校正的情况下,该方法在手机和平板电脑中的预测误差分别是1.71 cm和2.53 cm.校正后,误差分别降至1.34 cm和2.12 cm.

摘要： 对大规模结构化半结构化数据集分布式存储环境下索引结构的建立进行了研究,提出了一种基于聚簇索引与分布式B+树的混合索引结构.该结构对数据集的输入,存储及查询等操作进行了定义,并分析了索引服务器与客户端的通信模型建立.由于对记录的主关键字与其他属性进行了不同处理,在各种记录检索情况下具有良好的性能.

摘要： 在超高维大样本数据的处理上，已有文献报道坐标下降线性SVM分类器有优越性。但是坐标下降算法应用于最小二乘支持向量机分类器（LS-SVM）设计还未见报道。本文提出了坐标下降l2范数LS-SVM分类算法。该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题。在高维小样本数据集，大样本数据集，中等规模数据集上的实验验证了提出算法的有效性。

摘要： 在超高维大样本数据的处理上，已有文献报道坐标下降线性SVM分类器有优越性。但是坐标下降算法应用于最小二乘支持向量机分类器（LS-SVM）设计还未见报道。本文提出了坐标下降l2范数LS-SVM分类算法。该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题。在高维小样本数据集，大样本数据集，中等规模数据集上的实验验证了提出算法的有效性。

摘要： 在超高维大样本数据的处理上，已有文献报道坐标下降线性SVM分类器有优越性。但是坐标下降算法应用于最小二乘支持向量机分类器（LS-SVM）设计还未见报道。本文提出了坐标下降l2范数LS-SVM分类算法。该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题。在高维小样本数据集，大样本数据集，中等规模数据集上的实验验证了提出算法的有效性。

摘要： 在超高维大样本数据的处理上，已有文献报道坐标下降线性SVM分类器有优越性。但是坐标下降算法应用于最小二乘支持向量机分类器（LS-SVM）设计还未见报道。本文提出了坐标下降l2范数LS-SVM分类算法。该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题。在高维小样本数据集，大样本数据集，中等规模数据集上的实验验证了提出算法的有效性。

摘要： 在超高维大样本数据的处理上，已有文献报道坐标下降线性SVM分类器有优越性。但是坐标下降算法应用于最小二乘支持向量机分类器（LS-SVM）设计还未见报道。本文提出了坐标下降l2范数LS-SVM分类算法。该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题。在高维小样本数据集，大样本数据集，中等规模数据集上的实验验证了提出算法的有效性。

摘要： 在超高维大样本数据的处理上，已有文献报道坐标下降线性SVM分类器有优越性。但是坐标下降算法应用于最小二乘支持向量机分类器（LS-SVM）设计还未见报道。本文提出了坐标下降l2范数LS-SVM分类算法。该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题。在高维小样本数据集，大样本数据集，中等规模数据集上的实验验证了提出算法的有效性。

摘要： 对支持向量分类机中的一些基本方法做出详细的介绍,并进一步研究了方法的求解与改进.并通过对标准支持向量机的改造考虑了一种改进的方法,并进一步进行了相关的理论分析,通过数据实验验证了这种方法比传统的分类机在运算速度上有提高,特别是在处理较大规模的哪数据集时运算时间的效果更明显.

摘要： 对支持向量分类机中的一些基本方法做出详细的介绍,并进一步研究了方法的求解与改进.并通过对标准支持向量机的改造考虑了一种改进的方法,并进一步进行了相关的理论分析,通过数据实验验证了这种方法比传统的分类机在运算速度上有提高,特别是在处理较大规模的哪数据集时运算时间的效果更明显.

摘要： 对支持向量分类机中的一些基本方法做出详细的介绍,并进一步研究了方法的求解与改进.并通过对标准支持向量机的改造考虑了一种改进的方法,并进一步进行了相关的理论分析,通过数据实验验证了这种方法比传统的分类机在运算速度上有提高,特别是在处理较大规模的哪数据集时运算时间的效果更明显.

摘要： 根据本发明的一个或多个实施例，一种计算机实现的方法包括创建用于多区域数据存储系统的混合索引，其中第一区域具有被组织用于事务处理的数据，并且第二区具有被组织用于分析处理的数据。混合索引中的每个索引条目包括索引键，该索引键包括相等列、开始时间戳列和元组序列号列。该方法还包括构建要被包括在混合索引中的索引运行，该索引运行包括多个索引条目。通过扫描来自第一区域的数据块来选择列、计算要被包括在混合索引中的索引条目的元组序列号值、以及使用要被包括在索引运行中的列根据预定顺序对索引条目进行排序，来创建索引运行。

摘要： 本发明适用信息技术领域，提供了一种大规模数据集的频繁项集挖掘方法、装置、设备及介质，该方法包括：估算样本容量，从大规模数据集中采集样本容量大小的样本数据集，挖掘样本数据集中的闭频繁项集并计算大规模数据集对应的最大长度约束，以生成大规模数据集对应的缩减数据集，通过缩减数据集构建大规模数据集的噪声FP‑Tree，将隐私预算平均分配给噪声FP‑Tree的每一层，通过噪声FP‑Tree和噪音阈值选出候选集合，通过几何机制噪音增加候选集合的隐私保护，再从候选集合中选出预预设数量个频繁项集，从而减小了大规模数据集频繁项集挖掘的计算强度，保证了数据挖掘的隐私性，同时降低了全局敏感度、提高了数据和挖掘结果的可用性。

摘要： 本发明公开了一种基于图论方法的大规模数据集离群数据挖掘方法，的方法删减图中的边，通过多次迭代后图中度为0的节点对应的样本即为本方法筛选的离群数据。所述无环图为基于距离的无向图，图中节点为数据集中的样本，边的权值为两个节点对应样本之间的距离。本发明分类方法可应用于各种离群数据挖掘的应用中，适用于搜寻全局离群数据。

摘要： 本发明提供一种适用于大规模数据集的统计参量确定方法及系统，能够提高求解统计参量的效率。所述方法包括：获取待处理的数据集，将所述数据集中的数据样本分成若干区间，并统计每个区间的数据样本的数目；利用预先设置的包含未知参量的概率密度函数计算所述数据集中任一数据样本在每个区间的统计概率；根据统计得到的每个区间的数据样本的数目及计算得到的所述数据集中任一数据样本在每个区间的统计概率，计算似然函数作为目标函数；通过粒子群优化算法求解所述目标函数的最大值，当所述目标函数取最大值时，得到所述未知参量的值。本发明适用于大数据求解统计参量技术领域。

摘要： 本发明公开了一种面向大规模数据集的相关向量机分类方法，该方法针对传统相关向量机对较大数据集的性能降低问题，结合集成学习的思想，对方法的弱分类器获取方式进行改进，解决了方法运行过程中可能的数据局部不均衡问题，然后利用Spark分布式计算平台的特点将大规模数据集分类任务分布到集群的各个子节点上，从而有效提升模型训练的速度，实现相关向量机对大规模数据集的良好支持，通过集成学习中弱分类器的组合策略，将每个子节点得到的弱分类器结合，保证最终模型的准确率。对于大规模数据集的分类，本发明方法具有良好的效果。

摘要： 本发明公开了一种单机的大规模数据集的聚类挖掘方法，主要包含三个步骤：一是解决读取大规模数据集时容易发生的内存泄露问题；二是充分利用硬件优势以及“分而治之”的算法思想将大数据问题转化为容易解决的小数据问题；三是基于聚类挖掘算法构建适当的挖掘模型，依次完成小数据的聚类挖掘工作，最后将各挖掘结果进行合并得到最终结果。该发明公开的方法通过设计存储方式、扩展虚拟设备等方式有效地解决了大数据挖掘时常见的内存限制和运行效率的问题，实现了在不利用网络集群的情况下，于一台独立正常工作的物理机上完成GB规模数据集的聚类挖掘工作。

摘要： 本发明适用信息技术领域，提供了一种大规模数据集的频繁项集挖掘方法、装置、设备及介质，该方法包括：估算样本容量，从大规模数据集中采集样本容量大小的样本数据集，挖掘样本数据集中的闭频繁项集并计算大规模数据集对应的最大长度约束，以生成大规模数据集对应的缩减数据集，通过缩减数据集构建大规模数据集的噪声FP‑Tree，将隐私预算平均分配给噪声FP‑Tree的每一层，通过噪声FP‑Tree和噪音阈值选出候选集合，通过几何机制噪音增加候选集合的隐私保护，再从候选集合中选出预预设数量个频繁项集，从而减小了大规模数据集频繁项集挖掘的计算强度，保证了数据挖掘的隐私性，同时降低了全局敏感度、提高了数据和挖掘结果的可用性。

摘要： 本发明公开了一种基于图论方法的大规模数据集离群数据挖掘方法，的方法删减图中的边，通过多次迭代后图中度为0的节点对应的样本即为本方法筛选的离群数据。所述无环图为基于距离的无向图，图中节点为数据集中的样本，边的权值为两个节点对应样本之间的距离。本发明分类方法可应用于各种离群数据挖掘的应用中，适用于搜寻全局离群数据。

摘要： 本发明公开了一种非对称模式下基于大规模数据集的隐私保护交集计算方法及装置，致力于解决拥有大规模数据集的服务器端与拥有小规模数据集的客户端的PSI问题，本发明采用布隆过滤器存储数据，ElGamal密码体制对数据进行加密，具有良好的安全性以及效率。在保护双方用户的信息安全的前提下，实现了用户双方进行数据集合之间的交集运算，并且服务器的实际运行时间不会随着服务器数据集大小的增加而增加，客户端的完整运行时间和实际运行时间主要取决于客户端的数据集大小，不会随服务器的数据集大小的增加而明显增加，当服务器数据集规模很大时，客户端依然具有很快的速率。并且当服务器数据量越来越大时，该方法的优势会越来越明显。

摘要： 本发明公开了一种大规模数据集的Skyline查询方法，应用于Skyline查询技术领域，包括以下步骤：基于用户终端发送的查询信息从传感器网络中获取用于查询Skyline的原始数据集；对原始数据集进行剪枝处理，基于预设的消除策略消除非Skyline数据，得到预处理数据集；对预处理数据集中的数据基于数据属性创建索引，得到与数据属性具有索引关系的子空间数据集；基于查询信息获取目标属性，基于索引关系在子空间数据集中提取具有目标属性的待查询数据集；对待查询数据集中的数据进行Skyline查询，将查询结果发送至用户终端。本发明同时公开了一种大规模数据集的Skyline查询系统。本发明能够有效减少大规模数据集中Skyline查询的运算量，提高查询系统的反应时间。