分布式数据挖掘

摘要： 随着互联网的发展和云计算技术的广泛应用,许多数据存储在不同的服务器上,分布式数据挖掘技术应运而生.智能agent在各自的站点上得到部分挖掘结果,分布式数据挖掘可以将这些部分的挖掘结果聚合成为全局的结果.文中主要处理的是分布式数据挖掘过程中的分类问题,针对一些特征的数据分别存储于不同的数据源上,提出了一种基于判断聚合模型的分类算法.该算法中每一个agent要对一个案例属于某一个目标类的可能性进行判断,然后利用判断聚合模型将这些agent的判断进行聚合,形成全局的分类结果.基于判断聚合模型的分类算法将逻辑和社会选择理论的技术应用于解决分布式数据挖掘的分类问题,这种新的算法不需要大规模地传输和转化数据,节省了传输成本,提高了分类效率,同时有效地保护了数据的安全性.

摘要： 频繁模式挖掘是一种非常有效地从数据中获取知识的方法，但是随着大数据时代的来临，现有算法及其计算环境的运算速度、内外存容量面临严峻挑战。针对以上问题，紧密结合 MapReduce 模型提供的高效分布式编程和运行框架，在深入分析 H-mine 频繁模式挖掘算法的基础上，通过对 H-mine 算法频繁模式挖掘过程的并行化改进，提出了一种新颖的基于 MapReduce 模型的 H-mine 算法（简称 MRH-mine）。MRH-mine 算法实现了对 H-mine 算法在分布式运行环境下的改造，实验表明该算法在面对数据大规模增长的情况下具有良好的性能和扩展性。%Frequent pattern mining is a very effective knowledge acquisition method from the data,but with the advent of the era of big data,the existing algorithm and its computing environments computation speed and storage capacity is facing severe challenges.Fortunately,MapReduce model provides an efficient framework for distributed programming and operation frame-work.Based on depth analysis of the H-mine algorithms and parallelizing H-mine algorithms,this paper proposed a novel Ma-pReduce-based H-mine algorithm (it call the parallel algorithm MRH-mine).MRH-mine algorithm achieve the transformation of H-mine algorithm in the distributed operation environment,experimental results show that in the face of massive data growth,MRH-mine algorithm have a good performance and scalability.

摘要： 云计算平台下网络数据的海量发展,迫切需要数据挖掘技术满足用户需求.而面向服务的云数据挖掘技术不同于一般网格的分布式数据挖掘框架,需要利用有效机制完成对分布式数据挖掘应用的设计和运行,并从关键技术、关键部件描述中有效解决海量数据挖掘中的海量数据存储、挖掘算法、数据处理的互操作性等问题.

摘要： Aging community intelligent community management system based on the information analysis includes the Kinect indoor monitor,the ZigBee sensor nodes and the aging community cloud server.The system analyzes information of the indoor environment and the elderly living by using distributed data mining(DDM), and offers proposals to the elderly to ensure them health.The system has feasibility in the future.%基于信息分析的养老社区智能管理系统主要由养老社区室内Kinect视频监控、ZigBee传感器节点和养老社区终端云服务器构成，文章通过分布式数据挖掘技术对室内环境和老年人起居生活信息进行处理和分析，并及时进行反馈，保证老年人的身体健康。本系统可行性强，在未来具有良好的发展前景。

摘要： 多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题.针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究.采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题.而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行.最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好.

摘要： 运用基于大数据处理架构的Naive Bayes分类方法提出了暂态电能质量评估方法, 将数据来源扩展至电网运行监测数据、 电力用户数据和公共信息数据等方面, 并将评估结果按严重程度分为暂态正常状态、 短时电压暂降状态、短时深度电压暂降状态、 短时电压失压状态. 基于MapReduce架构, 设计分布式Naive Bayes算法实现状态分类. 在分类器训练阶段, 对海量历史数据进行分布式学习, 周期性地生成评估规则库并部署到所有评估节点. 在状态评估阶段, 各评估节点基于流处理框架快速生成实时评估样本, 并根据当前规则库实时地得出评估结果. 试验结果表明, 所提出的基于大数据分析的暂态电能质量评估方法是可行, 在准确率和处理速度上都取得了较好的效果.

摘要： 随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境.为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益.然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生.介绍了DDM的定义与框架、适用场景和研究挑战.根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关.DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM.当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等.当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量.进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的“分割式”挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题.针对结果质量问题,探讨本体与数据挖掘的结合.作为语义网的基础,本体能为对象语义距离度量提供有效支持.当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法.通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标.

摘要： According to the disadvantage of association rules Apriori algorithm that repeatedly scanning the database and produce a large number of candidate frequent item sets, an improved algorithm was proposed. It was achieved by MapReduce. Improved Apriori algorithm only needs to scan the entire database once, and then it can get the collection of all frequent item sets. The simulation results show that, with the increase in the number of nodes, the improved algorithm in execution time is less than the original algorithm; and the more increase with the number of nodes the more expand is achieved with this advantage. It explained that in heterogeneous cluster environment, MapReduce of the Apriori algorithm can improve the efficiency of mining association rules. The improved algorithm of association rules were applied in distributed educational decision support system, through the actual data mining, it was proved that the method is effective for educational decision - making.%针对关联规则Apriori算法多次重复扫描数据库和产生大量候选频繁项集的缺点,对其进行改进,并在MapReduce模型上得以实现.改进的Apriori算法只需要对整个数据库扫描一次,即可得到所有频繁项集的集合.仿真实验结果表明,随着节点数目的增多,改进算法比原算法执行时间要短,并且这种优势随着节点数目的增加而扩大,说明在异构集群环境下,MapReduce模型的Apriori算法能够提高关联规则挖掘的执行效率.将改进的分布式关联规则算法在分布式教育决策支持系统中应用,通过对实际数据的挖掘,证明了该方法对教育决策的有效性.

摘要： 许多数据挖掘应用中涉及的预测模型庞大并且数据集复杂。这样的应用程序急需创新的算法。该算法不仅需要有效的预测精度,而且需要有效的运行于分布式计算系统中并在合理的时间内产生结果。本文重点介绍多关系数据的预测模型,首先举例说明设计这些数据的应用模型,然后描述一个基于并行同步聚类(SCOAL)的总体框架,该框架适用于分而治之的方法进行数据分析。最终将论证基于并行同步聚类的框架在应用Map-Reduce的情况下可以有效的实现并行化。

摘要： 网络通信量和数据存储量激增导致的成本提升严重制约了分布式数据挖掘应用的推广，agent技术的出现能够很好地解决这一问题。首先介绍了agent技术和分布式数据挖掘等相关技术；然后将agent 引入到分布式数据挖掘模型的设计中，提出了一种基于agent的分布式数据挖掘模型，并对其中的核心组件功能及工作流程进行了分析。该模型的应用能够降低分布式数据挖掘应用系统的构建成本，提高分布式数据挖掘的智能性和异步处理能力。

摘要： 分布式数据挖掘通过并行的挖掘算法，可以对分布在不同物理节点上的数据进行分析，不需要将大规模数据集集中起来，扩展了数据挖掘技术的应用范围。首先分析了分布式数据挖掘DDM要解决的问题，介绍了分布式数据挖掘的研究现状，剖析了采用面向服务架构SOA的原因，然后探讨了面向服务的分布式数据挖掘系统方面的成果，最后对面向服务的分布式数据挖掘在网络中心战中传感器网络中的应用作了展望。

摘要： 简要分析了现有的网络入侵检测技术存在的一些问题.在此基础上,提出了一种基于分布式数据挖掘技术的网络入侵检测系统模型,讨论了模型中各个功能部件的结构和关键技术.采用多Agent技术设计了一个基于该模型的网络入侵检测原型系统.对实现不同功能的多类Agent进行了设计.论文还介绍了原型系统的实现技术.通过一个模拟分布式攻击仿真实验,检验了该模型的合理性和原型系统的性能.实验结果表明,该模型可在一定程度上提高入侵检测系统对分布式攻击的检测能力.

摘要： 随着现代社会信息化的加速,数据和数据库的使用量迅猛上升,要求广泛应用能够并行且及时得出结果的分布式数据挖掘方法.文中针对分布式数据挖掘在不同服务器间的数据传输代价最小化这一问题,提出了相应的分布式数据挖掘体系结构、任务分配模型及其算法.并利用遗传算法对任务分配算法的结果进行进一步优化.结果表明,文中所提出的分布式数据挖掘体系结构、任务分配模型及其算法对于求解数据传输代价最小化问题是有效的.

摘要： 本文介绍了分布式数据挖掘的研究背景,从结点的同构和异构性、系统模型、分布式数据挖掘算法以及应用实例四个方面综述了研究现状.

摘要： 大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性。

摘要： 大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性。

摘要： 大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性。

摘要： 大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性。

摘要： 大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性。

摘要： 一种用于复杂网络的分布式知识数据挖掘装置和方法，该装置采用分布式计算平台，由控制单元、计算单元和人机交互单元三部件组成，其创新关键是将数据挖掘中繁杂的聚类算法所需的计算量分配在不同的服务器完成，提高数据挖掘的效率。还能针对不同知识数据运用不同准则计算知识数据的关系度及其权值，使得其结果更加可信。且在知识数据挖掘过程中采用二级聚类模式：第一级聚类结果较为粗略，但计算复杂度很低；第二级聚类的计算复杂度较高，但结果更为精准；本发明将二者有效结合，比传统一级聚类模式在时间复杂度和聚类精准度上都得到很大的改善。本发明采用可视化直观展示网络结构及动态演化过程，为学科发展、热点研究领域的预测提供参考。

摘要： 一种用于复杂网络的分布式知识数据挖掘装置和方法，该装置采用分布式计算平台，由控制单元、计算单元和人机交互单元三部件组成，其创新关键是将数据挖掘中繁杂的聚类算法所需的计算量分配在不同的服务器完成，提高数据挖掘的效率。还能针对不同知识数据运用不同准则计算知识数据的关系度及其权值，使得其结果更加可信。且在知识数据挖掘过程中采用二级聚类模式：第一级聚类结果较为粗略，但计算复杂度很低；第二级聚类的计算复杂度较高，但结果更为精准；本发明将二者有效结合，比传统一级聚类模式在时间复杂度和聚类精准度上都得到很大的改善。本发明采用可视化直观展示网络结构及动态演化过程，为学科发展、热点研究领域的预测提供参考。

摘要： 本发明属于电网故障诊断技术领域，特别是涉及一种基于数据挖掘的分布式发电孤岛检测改进方法，采用机器学习中的元学习方式确定孤岛检测的阈值，包括：步骤1，采用RELIEF算法在分类前识别孤岛检测的关键特征，所述关键特征中包括稳态量特征和暂态量特征；步骤2，基于基学习器和元学习器进行分类算法，实施分布式发电孤岛检测。步骤2包括：步骤21，数据流挖掘：采用增量方式，兼顾算法的时间和空间效率；步骤22，元学习：利用不同分类器的互补性提高数据挖掘和机器学习的适应性；步骤23，在线自学习：采用滑动数据窗和多分类器集成方法实现在线自学习，保持分类精度始终维持在较高水平。

摘要： 本发明公开了一种基于分布式计算的中医古籍大数据挖掘分析系统，包括：数据输入模块、数据加工模块、数据清洗模块、数据挖掘分析模块、数据处理模块。数据输入模块，用于输入中医古籍数据；数据加工模块，用于对中医古籍数据进行分段，获得中医古籍的段落数据；数据清洗模块，用于对段落数据进行标准化处理，获得标准化数据；数据挖掘分析模块，用于对标准化数据的术语词进行特征提取，统计术语词的出现频次；数据处理模块，用于对挖掘分析模块提供可行性支持。该系统在传统古籍数据挖掘的基础上集成了Storm分布式平台，同时融入了各算法可视化模块，通过专业化词表解决了古籍挖掘盲目性以及数据量大时算法运行时间长的问题。

摘要： 本发明提出了一种基于大数据挖掘分析的分布式故障监测方法，其特征在于，包括以下步骤：由至少一个传感器构成传感数据监测组，所述传感器用于获取当前监测区域对应的传感数据；由至少一组传感数据监测组构成边缘监测网络，所述边缘监测网络中包含用于存储对应传感数据的服务器；根据预设的监测时间段，定时开启传感器对输电线路上的数据进行采集；预设边缘网络的存储空间，当存储空间超过预设值时，将边缘网络服务器中的数据传输至云端；当监测到故障发生，通过无线传输技术将故障信息实时传输至监测终端。通过概率分析和间断性的监测时间设置，以及采用低功耗的硬件，可以极大程度的降低了功耗的需求，延长供电电池的使用寿命。

摘要： 本发明提供一种基于云计算分布式网络视频数据挖掘采集系统，包括互联网大平台，互联网大平台连接有数据采集模块，数据采集模块连接有数据预处理模块，数据预处理模块连接有管理调度模块，管理调度模块连接有终端设备，本发明：通过设有的数据采集模块，爬虫或开放API采集数据将爬取的信息传至接收数据并通过发送请求发送到资源解析处，资源解析将信息中的时间、音频、视屏和位置信息进行分类别收集，解析后的信息发送到统计站进行统计，敏感信息剔除后保留在存储箱内部，设有的数据预处理模块，将获取的数据进行解码处理，管理调度模块将处理后的数据进行分类统计，最终分布存储。

摘要： 本发明公开了一种基于数据去重的分布式数据挖掘与统计方法，分布式服务器集群遍历数据包所有数据，并根据用户配置的数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别判断数据是否重复，若不重复则保留，否则删除重复多余的数据。本发明通过分布式处理原始数据，从而大大的降低数据包的数量级别，大大降低了用户配置复杂挖掘条件的难度，强化了数据挖掘的针对性，大幅提升了数据挖掘的效率。

摘要： 本发明一种智能电网海量数据流的分布式数据挖掘方法，其特点是它包含有：将海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；将各数据子流分别发送至各数据预处理器；各数据预处理器分别进行数据预处理；对预处理后的数据采用若干个数据挖掘器进行数据流挖掘；将若干个数据挖掘器挖掘得出的各个模式，采用一模式整合器按所述序列进行整合；输出整合后的模式结果。由于数据预处理与数据挖掘的并行处理，大大提高了海量数据流挖掘的效率，能有效满足智能电网中海量数据流挖掘的实时性要求。

摘要： 本发明提供一种基于Spark分布式数据挖掘算法封装与调参方法，对spark机器学习算法抽象出四类通用参数，基于算法配置，完成抽象参数针对性赋值；根据数据存储、算法设置和应用场景，将同一种算法的数据输入参数、算法参数和算法输出参数设置为不同形式；将不同算法运行评估结果存储为算法执行结果表，对抽象参数不同赋值后，监控算法每次调用记录及其评估结果后自定义辅助输出；通过监控辅助输出对算法完成调参，获取运行效果。本发明将算法的调参与输入数据、硬件条件、软件环境相分离，通过配置完善算法实体；算法可自定义算法并将其封装打包，支持算法包及其信息的新增与修改；在算法打包时，对其输出结果进行自定义封装。

摘要： 本发明公开了一种面向分布式数据挖掘工作流的任务调度系统，涉及数据挖掘领域，包括功能模块、搜索模块、控件模块、画布模块，各个模块在所述系统的用户界面包括功能模块对应的功能区，搜索模块对应的搜索区，控件模块对应的控件区，画布模块对应的画布区；针对传统的数据挖掘任务调度技术存在的问题，本发明设计了一个面向基于工作流的分布式数据挖掘任务的调度系统，针对数据挖掘工作流任务中并行子任务总完成时间这个指标，设计了一种长任务优先(LTF)调度算法，并使用分布式技术使数据挖掘任务分布式进行，大大提高了数据挖掘任务的执行效率。