流数据

摘要： 5G通讯技术的迅猛发展使工业物联网得到了全面提升,工业物联网数据规模将越来越大、数据维度也越来越高,如何高效利用流聚类进行工业物联网数据挖掘工作是一个亟需解决的问题.提出了一种基于工业物联网数据流自适应聚类方法.该算法利用微簇之间的高密性,计算各微簇节点的局部密度峰值以自适应产生宏簇数;采用引力能量函数对微集群进行递归在线更新;并且去除边缘相交微簇之间的计算以达到降低维护宏簇所需的计算量.理论分析和实验对比表明所提出的方法跟当前主流的流聚类算法相比有着更高质量的聚类效果.

摘要： 针对现代数据仓库系统中常见的需接收大量流数据,且其与磁盘上已有的数据做连接后再入库的场景进行了探讨。通过合理设置磁盘分页和应用缓存模块,分散磁盘I/O压力,在已有研究的基础上提出了一种具有更高效率的数据接收方案,并引入一致性哈希函数将其扩展到分布式环境,提出一种应用于分布式环境的D-CACHEJOIN算法。通过理论计算算法的成本模型,并使用服从Zipfian分布的数据进行模拟实验。实验结果表明,在接近现实的实际应用场景下,所提算法拥有比现有算法更高的效率,同时能够快速方便地扩展到分布式环境。

摘要： 当前,无线传感器网络在社会生产、生活领域得到了广泛的应用,展现出了广阔的应用前景。在网络技术处于高速发展的时代背景下,无线传感器网络终端设备呈现出了多元化、智能化的特征,多流数据多宿主传输则成为了5G网络下无线传感器网络数据传输机制研究中的重要内容。

摘要： 通过铺设人脸识别、人流监控镜头,实现对商圈人流数据的获取、统计与监控,开发商圈数据统计分析、线上服务中心等子应用,不断提升商圈智慧化管理水平。

摘要： 直方图是一种被广为应用的统计数据发布形式,其潜在的隐私泄露风险是当前数据隐私保护领域的关注点.该文针对流数据的直方图发布问题,提出一种符合差分隐私保护要求的方法.其主要特点包括:(1)将w-事件引入流数据的直方图发布加噪机制以确保其满足差分隐私保护需求;(2)采用卡尔曼滤波方式对加噪后的流数据进行后置处理以改善数据效用;(3)通过指数平滑法改进卡尔曼滤波方式避免相邻数据之间的突变性.论文以UCI的两个真实数据集为基础进行流数据直方图模拟发布实验,结果表明该文方法在不同差分隐私预算约束、不同窗口大小情形下均具有明显优势,可在相同隐私保护水平下获得更高的数据可用性.

摘要： 随着信息时代化的快速发展,进一步扩大了大数据的规模。目前情况来看,对流数据管理与科学化处理是云基础是主要应用于的方面。此外,云计算环境中运用的各种资源都以服务作为主要使用模式,纵观传统流数据系统的发展,由于受到快速发展时代的影响,进而使得数据的各种多元性结构表现出极高的复杂性。因此,传统模式对于解决发展过程中存在的问题较为困难,但云计算技术可以提高流数据服务的品质,因此云计算已成为未来发展的基石。本文在接下来的部分,将会主要对云计算下背景下流数据集成和服务展开详细分析。

摘要： 随着网络数据结构的快速应用,对网络包中试飞数据的完整性越来越重视,研究网络包中试飞数据缺失值填充方法。在卸载分流数据完成后对网络包数据预处理后的物理量进行填充,首先根据网络包中试飞数据参数的类型特点,利用心跳字来查找缺失值所在的时间点;然后对不同类型的参数采取不同的填充方法,对于int16类型、Uint16类型和float类型的参数利用基于统计的处理方法来进行缺失值填充,对于bool型或者byte型的参数,先判断缺失值时间点的前后数值是否相同,若不相同,则分别使用基于相关性系数分类的聚类处理方法和基于极限学习机的分类方法来进行缺失值填充;最后提出了两个网络包中试飞数据缺失值填充算法,并对其分析对比。

摘要： 流数据作为一种新型数据,在各个领域均有应用,其快速、大量及持续不断的特点使得单遍精准扫描成为在线学习算法的必备特质.在流数据不断产生过程中,往往会发生概念漂移,目前对于概念漂移节点检测的研究相对成熟,然而实际问题中学习环境因素朝不同方向发展往往会导致流数据中概念漂移类别的多样性,这给流数据挖掘及在线学习带来了新的挑战.针对这个问题,提出一种基于时序窗口的概念漂移类别检测(concept drift class detection based on time window,CD-TW)方法.该方法借助栈和队列对流数据进行存取,借助窗口机制对流数据进行分块学习.首先创建2个分别加载历史数据和当前数据的基础节点时序窗口,通过比较二者所包含数据的分布变化情况来检测概念漂移节点.然后创建加载漂移节点后部分数据的跨度时序窗口,通过分析该窗口中数据分布的稳定性检测漂移跨度,进而判断概念漂移类别.实验结果表明该方法不仅能够精确定位概念漂移节点,同时在漂移类别判断方面也表现出良好性能.

摘要： 网络攻击尤其是APT攻击普遍使用被攻陷设备作为跳板,利用下级被控设备执行攻击行为,攻击者身份则隐藏于网络之中.以Mirai为首的僵尸网络通常采用C&C服务器控制受感染的机器人,机器人之间常常存在多级控制关系,因此单个节点的异常检测往往难以解决问题.提出一种僵尸网络多级控制关系可视化分析系统,主要通过流特征筛选控制节点,梳理控制行为,通过图数据库将关系数据导出实现可视化,从而直观发现节点间的多级控制关系,找出跳板节点,从而溯源僵尸网络,找出隐藏的主机节点.

摘要： 概念漂移处理大多采用集成学习策略,然而这些方法多数不能及时提取漂移发生后新分布数据的关键信息,导致模型性能较差。针对这个问题,本文提出一种基于串行交叉混合集成的概念漂移检测及收敛方法(Concept drift detection and convergence method based on hybrid ensemble of serial and cross,SC_ensemble)。在流数据处于平稳状态下,该方法通过构建串行基分类器进行集成,以提取代表数据整体分布的有效信息。概念漂移发生后,在漂移节点附近构建并行的交叉基分类器进行集成,提取代表最新分布数据的局部有效信息。通过串行基分类器和交叉基分类器的混合集成,该方法兼顾了流数据包含的整体分布信息,又强化了概念漂移发生时的重要局部信息,使集成模型中包含了较多“好而不同”的基学习器,实现了漂移发生后学习模型的高效融合。实验结果表明,该方法可使在线学习模型在漂移发生后快速收敛,提高了模型的泛化性能。

摘要： 与传统结构化数据去重计数算法相比,大数据环境下的流数据具有快速、连续和随时间变化等特点.为了适应大数据环境下流数据去重计数的要求,必须对概率估计HyperLogLog算法进行改进,提出基于Storm平台的混合滑动窗口HyperLogLog并行化算法.算法在满足Storm流处理平台要求基础上,通过滑动窗口机制和并行化处理,为提高算法的灵活性和通用性,支持基于元组和时间两种滑动窗口方式.最后通过实验验证该算法的误差和内存开销,结果表明在原有算法标准误差不变的情况下,改进算法比传统HyperLogLog算法具有更小的内存消耗和更高的处理效率.

摘要： 与传统静态数据相比,大数据环境下的流数据具有快速、连续和随时间变化等特点.同时数据流的隐含分布变化会带来概念漂移问题.为了适应大数据环境下流数据分类算法的要求,必须对传统的静态离线数据分类算法进行改进,提出基于Storm平台的P-HT并行化算法.该算法在满足Storm流处理平台要求基础上,通过滑动窗口机制、替代子树机制和并行化处理,提高了算法的灵活性和通用性.最后通过实验验证该算法的有效性和高效性,结果表明在与传统C4.5算法相比计算精度没有降低的情况下,改进的P-HT算法具有更大的吞吐量和更高的处理速度.

摘要： 流数据的海量、无限、分布动态变化且不均衡等特征使得对流数据的在线异常检测成为当前的一个研究热点.本文在分析异常数据的少而不同且更容易通过随机空间的分割而孤立出来的特征,基于在线集成学习理论,提出了一种基于隔离森林的在线流数据异常检测算法.在4个UCI标准数据集上的实验结果表明所提出的方法有效.但该算法中的一些关键参数，如窗口尺寸、集成规模等参数的设置，需要进一步研究以提高算法的性能。其次，在构建隔离树时，属性及其属性值的随机选择没有考虑样本属性值的分布情况，对此也将进一步展开研究。

摘要： FP-growth算法是频繁模式挖掘中的经典算法，常用于静态数据集的挖掘。将FP-growth算法用于流数据方面，前人已经做了一些研究。但是FP-tree的创建需要两遍扫描数据库，在处理流数据方面收到了很大的限制，使用滑动窗口虽然能在一定程度上解决这一问题，但是依然会造成FP-tree生成时的不准确，影响到后续的挖掘。本文提出了一种用于流数据的FP-tree创建算法single-pass scan FP(SPSFP)，单遍扫描数据库即可准确创建出FP-tree。与传统的FP-tree创建算法相比，本文算法仅扫描数据库一遍，并且不需要将整个数据库调入内存。该方法不仅节省了所占用的空间，而且使得准确挖掘流数据中的频繁模式成为了可能，它的时间耗费方面与传统方法相当。

摘要： 随着计算机网络飞速发展,出现了快速的、随时间变化的、大量甚至无限的流数据,它的出现给适用于静态数据的数据库技术和数据挖掘技术带来了新的挑战。对于流数据的异常挖掘,本文选择了基于偏差检测的OLAP数据立方技术,提出了该方法的一个新的应用领域:智能手机的入侵检测,并设计了一个基于多代理和流数据异常挖掘技术的智能手机入侵检测的初步模型。

摘要： 数据流具有快速、大量、连续、随时间变化等特性,使得流数据无法完整地保存在存储介质中.而复杂的聚集计算需要对数据进行多趟扫描来获得精确查询结果,这在数据流的处理上造成了很大的困难.因此在用户接受范围内,使用一趟算法获得一个近似的聚集结果的技术就成为了研究热点.直方图在数据流处理中通常用于保存大纲数据结构.目前许多数据流管理原型系统中多采用直方图、小波变换、数据写生、随机抽样等方法来保存大纲数据. 直方图结构在数据流聚集处理中用于保存大纲数据结构,但是用传统直方图进行聚集计算误差较大,尤其是当数据分布严重偏斜时更为明显.本文针对分布偏斜情况,给出了两种数据集中模型,并针对这两种模型提出了桶内集中直方图聚集算法.该算法可以动态调整每个桶中数据集中区的边界,真实反映了数据集中情况,从而提高聚集查询精度.在以后的工作中,我们希望能将这个算法应用到复杂的相关聚集查询,并实现多个查询的资源共享。

摘要： 流数据相对于传统的静态数据,由于其无限性和动态性,是数据挖掘领域一个研究热点,近似查询技术在海量数据流实时分析领域得到了越来越多的认可,并且得到了广泛的应用.提出了一种综合流式处理和批处理的近似查询模型,利用滑动窗口提供流式近似查询能力,利用改进的分层抽样算法对于数据流产生的海量历史数据,进行分层抽样,最大限度避免偏倚值对于查询结果的影响.实验表明,提出的算法结合了滑动窗口流式分析以及分层抽样技术批处理分析的优点,提高了查询的精度.

摘要： 随着大数据时代的到来,以关系型数据库为代表的传统数据管理技术受到了严峻的挑战.针对大数据的应用特点,产生了一批具有代表性的新型数据管理系统.本文介绍了当前新型数据管理系统的主要架构,总结了典型的图数据、流数据、在线数据分析、众包数据、商业数据管理系统,对国内外研究现状进行了对比,并对未来的发展趋势进行了预测.

摘要： 进入智能电网时代，电力行业将产生海量数据，如何处理好这些数据已成为电力智能化的关键。关联规则挖掘是数据挖掘中的重要方法之一，流数据的关联规则挖掘是新的研究热点。分析了智能电网中数据的特点，探讨了传统的和流数据的关联规则挖掘技术在智能电网中的应用点、应用前景及研究的重点。

摘要： 干预规则挖掘是近年从干预实践中提出的新型数据挖掘任务,旨在利用数据挖掘技术探测干预事件,发现最佳干预时机和力度,提供促进事物向期待状态转化的决策支持。文中以四年的研究实践为背景,介绍干预规则挖掘的研究沿革和现状,给出了干预规则挖掘的任务分类。从三个角度,即干预效果预测、干预方法发现和未知干预探测三方面,介绍干预规则挖掘的研究问题、困难和成果，展望了干预规则挖掘未来研究方向。

摘要： 在复用组合各数据流(DS)时将各数据流组合成各数字中间数据流(ZDS)。组合如此进行，使得各同类数据流(DS)共同组合成一个中间数据流(ZDS)，而各不同类数据流(DS)组合入各不同的中间数据流(ZDS)中。对于这些中间数据流(ZDS)实施用于此中间数据流(ZDS)的差错识别和/或差错纠正的各种措施，最后将这些中间数据流(ZDS)组合成总数据流(GDS)。

摘要： 在用于从经编码的数据流中产生经标记的数据流的方法中，由经编码的数据流的第一数据流段包括经编码的多媒体信息；将经编码的数据流的至少一个第一数据流段标记成经标记的数据流段；和通过对经标记的数据流段的标记表明，经标记的数据流段适于与水印混合。此外本发明包括用于将水印插入到经标记的数据流中的方法以及用于产生经标记的数据流和用于将水印插入到经标记的数据流中的装置。

摘要： 本发明公开了一种数据流复用方法，包括以下步骤：发送端将随机值和目的UDP端口号发送到接收端，并将随机值作为复用报文的复用ID，向接收端发送复用报文；接收端建立接收到的随机值和目的UDP端口号的映射关系，并根据建立的映射关系接收复用报文。本发明还公开了一种发送数据流复用设备、一种接收数据流复用设备以及一种数据流复用系统。本发明通过将随机值作为复用报文中的复用ID，并在发送复用初始化报文时，将该随机值携带于报文中发送到接收端，再建立复用ID与目的UDP的映射关系，提高了数据流复用技术的可靠性和传输效率。

摘要： 在复用组合各数据流(DS)时将各数据流组合成各数字中间数据流(ZDS)。组合如此进行,使得各同类数据流(DS)共同组合成一个中间数据流(ZDS),而各不同类数据流(DS)组合入各不同的中间数据流(ZDS)中。对于这些中间数据流(ZDS)实施用于此中间数据流(ZDS)的差错识别和/或差错纠正的各种措施,最后将这些中间数据流(ZDS)组合成总数据流(GDS)。

摘要： 示出了包括按时间单位在3D视频数据流中编码的编码视图4的集合、4a、4b的3D视频数据流2。3D视频数据流还包括参数集6，参数集6包括具有针对每个编码视图4、4a、4b的条目的第一表10，所述第一表通过索引来指示多个参考视图，其中，在数据流中存在针对所述参考视图的相对相机参数，其中参数集(6)的范围超过了时间单位的范围。

摘要： 本发明描述了用于电子设备之间进行高速、电容性的无线数据传输的装置、方法和系统。发射装置被联接至数据流且包括一个信号准备器和两个发射终端。所述信号准备器向第一发射终端提供所述数据流的副本，且向第二发射终端提供所述数据流的反相形式。每个发射终端发出代表其已经从所述信号准备器接收的信号的电场。通过非导电材料在空间上与所述发射装置分开的接收装置，包括在空间上彼此分开的两个接收终端和一个数据流恢复器。每个接收终端检测对应的发射终端发出的电场，使得在所述第一接收终端上感应出一个接收的重复信号，以及在所述第二接收终端上感应出一个接收的反相信号。这些接收的信号被组合以产生一个接收的数据流。

摘要： 提供一种流数据记录装置，在流数据的记录时，将确定流数据中的缺失区间的位置的位置信息、和在能够取得被包含在缺失区间的PCR的情况下与PCR同步地确定时刻计数器所表示的时刻的时刻修正信息，同流数据对应起来进行记录。在如此地再现同于时刻修正信息及位置信息一起记录的流数据时，通过参照位置信息和时刻修正信息，能够在缺失结束的位置将时刻计数器重新设定为广播系统希望的时刻。

摘要： 本发明的流数据记录装置，将流数据记录到记录介质中，具备：流接收解析单元(101)，从接收数据取得流数据；缺失检测单元(102)，在上述取得的流数据中，检测一部分包的缺失；区间信息生成单元(103)，生成确定包含检测到上述缺失的包的不可接收区间的长度的时间信息、和确定该不可接收区间的流数据的位置的位置信息；记录单元(105)，将上述取得的流数据与所生成的时间信息及位置信息记录到记录介质；由此，即使在流数据的接收时发生了记录的流数据的缺失，也能够从用户指定的搜索时刻正确地再现。

摘要： 提供一种流数据记录装置，在流数据的记录时，将确定流数据中的缺失区间的位置的位置信息、和在能够取得被包含在缺失区间的PCR的情况下与PCR同步地确定时刻计数器所表示的时刻的时刻修正信息，同流数据对应起来进行记录。在如此地再现同于时刻修正信息及位置信息一起记录的流数据时，通过参照位置信息和时刻修正信息，能够在缺失结束的位置将时刻计数器重新设定为广播系统希望的时刻。

摘要： 本发明的流数据记录装置，将流数据记录到记录介质中，具备：流接收解析单元(101)，从接收数据取得流数据；缺失检测单元(102)，在上述取得的流数据中，检测一部分包的缺失；区间信息生成单元(103)，生成确定包含检测到上述缺失的包的不可接收区间的长度的时间信息、和确定该不可接收区间的流数据的位置的位置信息；记录单元(105)，将上述取得的流数据与所生成的时间信息及位置信息记录到记录介质；由此，即使在流数据的接收时发生了记录的流数据的缺失，也能够从用户指定的搜索时刻正确地再现。