日志分析

摘要： 系统日志被用作系统异常检测的主要数据源.现有的日志异常检测方法主要利用从历史日志中提取的日志事件数据构建检测模型,即假设日志数据随时间的推移其分布规律具有稳定性.然而,在实践中,日志数据往往包含以前未出现过的事件或序列.这种不稳定性有两种来源:1)日志发生了概念漂移;2)日志处理过程中引入了噪声.为缓解日志中出现的不稳定问题,设计了基于置信度协同多种算法的异常检测模型EBCAD(Ensemble-Based Confor⁃mal Anomaly Detection).首先,用统计量p值度量日志之间的不一致性,选择多个合适的集成算法作为不一致性度量函数计算不一致性得分进行协同检测;然后,设计了基于置信度的更新机制来缓解日志不稳定问题,将新日志的不一致性得分添加到已有得分集,更新日志异常检测的经验;最后,根据协同检测得到的置信度与预设置信水平大小来判断不稳定日志是否异常.实验结果表明,在HDFS日志数据集中,当不稳定数据注入率从5%增加到20%时,EBCAD模型的F_(1)值仅从0.996降低到0.985;在BGL_100K日志数据集中,当不稳定数据注入率从5%增加到20%时,EBCAD的F_(1)值仅从0.71降低到0.613.证明EBCAD在不稳定日志中可以有效检测到异常.

摘要： 在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战。针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有观察进行了验证和补充。通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议。同时,针对实际应用环境复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。

摘要： 随着信息化程度的不断提高,企业业务往往涉及上百个应用系统,这些系统每天都会产生大量日志,这些日志存储分散、管理混乱。运维人员常常是接到客户的投诉电话后才知道系统出了问题,这种情况严重影响了客户体验。由于原始的基于命令行的解决方式已不能满足企业当前的业务需要,因此研究基于日志的智能分析平台。该智能分析平台通过对日志的归集实现日志的集中管理,便于运维人员对日志进行深度分析和挖掘,实现业务链自动跟踪、快速定位系统故障以及实时预警,提高运维人员的工作效率,达到提高客户体验的最终目的。

摘要： 目的构建适用于现代医院医疗设备精细化管理的医疗设备日志分析体系,提高日志信息有效利用率。方法通过分析医疗设备现有日志在实际应用中面临的难点,针对不同的设备类型,提出相应的日志结构和内容模板。结果标准化的医疗设备日志框架能够有效实现设备使用情况和运行状态的监测与分析,有利于医院采取针对性的措施进行日志信息利用的持续改进,提高医院整体医疗服务保障水平。结论标准化医疗设备日志框架体系具有良好的应用前景,若能形成规范并应用,将会促进整个医疗设备管理与技术保障领域水平的提升。

摘要： 针对现代大型系统中系统日志的异常检测问题,提出了一种基于自动日志分析的异常检测方法(CSCM).该方法通过在预聚类下结合细化分析与多视角的异常提取过程,来实现系统日志的异常检测.首先,引入信息熵以提取日志信息量;其次,基于Canopy预聚类过程提取子集交叠数据,以缩小计算范围;利用谱聚类进行细化分析,并结合预聚类结果以优化初始化问题;最后,通过关联不同视角下的日志分析,分别提出显性与隐性异常对象的定义,基于稀疏簇质心的分析和异常度的计算,识别出异常日志.实验结果表明,提出的检测方法能够准确有效地识别系统日志中的异常值.

摘要： 为了能够更有效地检测出系统日志的异常,该文对现有基于深度学习的日志异常检测算法Deeplog进行了研究和改进,提出一种基于并列门循环单元(Gate recurrent unit,GRU)分类模型的日志异常检测方法。该方法包含模型训练阶段和异常检测阶段。在训练阶段,利用日志模板解析器解析原始日志数据集中的日志模板,进而生成日志模板滑动窗口数据集和相应的日志模板频度向量集,并作为输入训练成并列GRU分类模型;在检测阶段,利用并列GRU分类模型,对进程日志序列进行异常检测。试验结果表明,该文提出的异常检测方法比现有方法在查全率、调和分数等评价指标上均有明显改善和提升。

摘要： Nginx日志详细记录了网站访问信息,可从中了解网站运行实况和用户访问行为,分析Nginx日志,可洞悉业务整体负载情况,帮助优化服务器结构,避免业务安全和运行事故,提升竞争力。基于Elasticsearch,构建日志实时采集、清洗、存储的完整日志处理流程,自主开发Nginx日志分析平台,实现日志实时分析与可视化,并探讨总结了平台自底向上的高可用设计。在实践中应用表明,该平台具有很高的日志分析、业务洞悉能力,能有效指导智能监控运维工作。

摘要： 日志分析是网络安全领域重要的分析手段之一。采用Filebeat和ELK架构方案,对反向代理服务器上的Web日志进行采集、处理、存储与分析,并着重对Web攻击相关日志进行了分析,对网络安全工作起到辅助作用。

摘要： 系统日志是记录系统运行情况的重要信息载体,通过分析日志可以检测出系统中发生的异常。传统基于系统日志的自动化异常检测方法往往仅根据系统日志的单一特征进行分析,异常漏检率较高,且大多为批处理方法,无法对运行中系统产生的日志流进行在线检测。针对上述问题,提出了基于日志混合特征的在线异常检测方法,即MFAD(online anomaly detection method based on mixed features of system logs)。该方法使用层次聚类提取日志的统计特征,并通过高斯混合模型提取日志的序列特征,最后关联统计特征和序列特征构建混合特征检测模型以对日志进行异常检测。实验结果表明,MFAD能够通过日志流对系统进行在线异常检测,响应迅速,并且具有较高的准确性。

摘要： 为在高校数据中心IPv6建设工程中,有效进行IPv6的管理与运维,本文构建了IPv6网络日志采集平台。通过对IPv6网络日志采集平台进行研究与设计,采用大数据技术进行处理与分析,构建支持IPv6网络管理运维的可视化的监控体系,实现高校数据中心IPv6管理与运维效率的提高。

摘要： 为解决用户在线检测算法依赖于流量分析,不便于部署在大型网络的问题,提出了一种基于DNS日志分析的用户在线检测算法.这种算法通过使用DNS日志记录避免了复杂的流量分析,利用用户不使用网络时产生的DNS静默期来识别出用户的上下线时刻和在线时间.使用了清华大学校园网的真实数据进行算法验证,达到90.6％的精确率和96.3％的召回率.进一步研究清华大学校园网络用户在线时长和上下线时间等特征的,结果证实了无线网络用户在线时间短、变化快等特点,而且工作日和周末用户特征明显不同,这些结果表明该算法能够实际应用于大型网络的管理中.

摘要： 日志分析作为数据中心系统和在线服务运维中重要的技术手段,常用于事件追溯、性能优化、入侵检测、用户行为统计等任务中.传统的日志分析手段,通常在单个或少数计算机上通过文件读写和文本解析命令组合完成,其并行程度有限.随着数据量的增长,传统手段的性能瓶颈日益突出.设计和实现了一个并行全文检索计算框架Greppy,使得若干节点在同一命名空间下可对TB级文本日志数据进行关键字检索并达到秒级响应时间,同时具有接近线性的扩展能力.Greppy使用了Data Thinker技术提供内存中计算能力,并融合内外存以提高可扩展性和性价比.通过性能测量和比较,验证了Greppy系统在数据量和节点数同步增长时能保持常数数据检索时间,而随着节点数增加可获得接近线性的加速比.

摘要： 认证系统是校园网的重要组成部分.本文针对校园网产生的日志数据,提出了一种使用日志分析方法来监测校园网安全的认证系统构建方法.该系统使用账号分析、故障预警和系统检测的方法对校园网日志进行分析,能够及时发现认证帐号异常情况,实现网络故障预警和快速处理,从而为校园网的稳定运行提供保障.

摘要： 针对蜜网系统产生的原始告警数量庞大,语义级别低,数据孤立,关联性差.本文提出了一种基于攻击图的蜜网日志分析模型,借鉴决策树分类算法将告警序列划分为多个攻击场景,将攻击场景与经过DFS编码后形成的攻击图序列相结合,将告警信息通过攻击场景映射到攻击图编码序列中的节点,从而将孤立的告警事件进行语义级别的关联.实验结果表明此模型结合了攻击场景和蜜网具体环境,将告警信息按语义级的攻击场景进行关联,减少了冗余告警,降低了误报率,也还原了蜜网系统中的真实攻击场景.

摘要： 针对Web应用系统日志分析工作对技术人员技术要求水平高且花费的时间成本大的问题,文章提出了一种基于Aprior算法的Web日志分析方法,这种方法复杂度较小,不需要频繁的对样本进行训练.实验结果表明该方法对各类Web事件具有较好的识别效果,同时大大降低了对分析人员技术水平的要求和花费的时间成本.

摘要： 由于专业性的特点,科学数据库有着特定的用户群和用户需求.服务器日志文件记录了网站用户的活动行为,在进行过滤和挖掘之后能够得到真实的活动记录,可以用作信息服务的有力评估指标之一.本文以中国数字植物标本馆2009年全年的日志为例,提出了专业日志分析的数据处理和分析流程,初步对在线标本数据访问情况进行了详细的日志分析,并对分析结果和今后的几个工作方向进行了讨论,为其他科学数据库平台的日志分析提供参考和借鉴.

摘要： 就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统。通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据。通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件系统为基底的虚拟机担当Slaves的两种分布式集群环境,并对两者性能做了详细的对比和分析。

摘要： 目的:研究基于民办高校大学生的导航页面使用情况,揭示民办高校大学生典型的网络生活类型及特点. 方法:通过对导航页面设置数据采集点,获得民办高校大学生的点击行为和搜索行为数据,进行统一建模和特征提取后,利用聚类算法将其细分为几个有代表性的群体. 结果:将民办高校大学生划分为6个典型群体,分别为重度视频型、昼学夜玩型、搜索追剧型、沉迷直播型、劳逸结合型、勤奋学习型;民办高校大学生主要用网络看视频与直播,仅有小部分学生利用互联网进行学习. 局限:PC端导航页面行为仅能反映大学生网络生活的一部分,且数据的时间跨度为两个月,不能反映学生在期初和期末的行为差异. 结论:本研究实现了民办高校大学生群体中典型网络生活类型的识别,这将有助于民办高校大学生特点和行为规律的发现和总结,为提升高校服务管理水平提供参考建议.

摘要： 服务器日志分析和部署入侵检测系统是WEB服务器攻击检测的两种常用手段,但单机日志分析性能有限,基于snort的入侵检测系统丢包严重,从而漏掉一系统告警.本文使用Hadoop搭建基于云的WEB服务器日志检测系统,提高攻击检测性能,同时将检测结果和Snort告警进行融合,提高攻击告警的准确性,实验结果表明融合后的系统提高了告警的准确性,同时减少了漏报率.

摘要： 随着基于地理位置服务的不断发展,在线地图应用(WMS)成为了人们生活中不可缺少的一部分。本文在PC端WMS大数据的基础上,以新颖的视角对用户的搜索行为和不同城市的搜索差异进行了测量、分析和理解。本文首先从宏观和微观两个角度对用户搜索时间进行分析,指出WMS数据不同于其他地理信息数据,具备搜索行为前瞻的特性;随后,本文验证了每个城市高频查询兴趣点的查询频次符合Zipf分布,并解释分布参数所蕴含的物理意义;更进一步的,本文用简单直观的方法定量研究了城市之间的流动性和城市的人流模式。为随后的基于WMS数据的进一步挖掘和研究提供了测量基础,并指出了若干有意义的可行方向。

摘要： 提供一种用于在利用者事先不知道机器生成的日志的生成规则的情况下抽出相关高的日志的集合的技术。本发明的一个技术方案涉及日志分析装置，具有：模板保存部，保存与日志消息有关的模板；模板确定部，从所保存的所述模板中确定与从监视对象的主机提供的各日志消息一致的模板；事件候补抽出部，检测确定出的所述模板中的、针对从同一主机提供的日志消息而确定出的模板，将检测出的所述模板的序列抽出而作为事件候补；以及事件抽出部，从所抽出的所述事件候补中抽出频繁出现的模板的序列而作为事件。

摘要： 本发明提供了一种基于时间序列的日志分析方法和日志分析装置，其中，所述日志分析方法包括：配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；解析所述时间模型，得到日志的采集策略和所述分析策略；根据所述采集策略采集与所述待分析的日志类型相对应的日志；基于所述分析策略对采集到的日志之间的关联关系进行分析。本发明的技术方案可以有效地对在时间上存在关联关系的日志进行分析，同时能够提高对日志的分析效率。

摘要： 本发明涉及日志分析装置和日志分析方法，进行恶意软件感染的检测以及组织内部的不正当行为的发现。日志分析装置具有：日志收集部，其收集物理系统日志和信息系统日志，所述物理系统日志是物理的设施管理设备的日志，所述信息系统日志是通过用户的操作来执行信息处理的信息设备的日志；以及日志分析部，其计算物理系统日志和信息系统日志的时间间隔的频率分布，将该频率分布与在信息设备正常的状态下计算出的频率分布进行比较来检测信息设备的异常。

摘要： 提供一种用于在利用者事先不知道机器生成的日志的生成规则的情况下抽出相关高的日志的集合的技术。本发明的一个技术方案涉及日志分析装置，具有：模板保存部，保存与日志消息有关的模板；模板确定部，从所保存的所述模板中确定与从监视对象的主机提供的各日志消息一致的模板；事件候补抽出部，检测确定出的所述模板中的、针对从同一主机提供的日志消息而确定出的模板，将检测出的所述模板的序列抽出而作为事件候补；以及事件抽出部，从所抽出的所述事件候补中抽出频繁出现的模板的序列而作为事件。

摘要： 车辆日志发送装置(10)，具备：车辆日志获得部(110)，获得车辆日志；车辆日志分割加工部(120)，针对获得的车辆日志，利用该车辆日志中包括的ID进行分割，从而生成一个以上的分割日志；现有标识符保存部(150)，存储与针对由车辆日志发送装置(10)与车辆日志分析服务器共享的现有的车辆日志利用该现有的车辆日志中包括的ID进行分割而生成的现有分割日志对应的标识符的列表即现有标识符列表；车辆日志发送要否判断部(140)，针对一个以上的分割日志分别生成标识符，将生成的标识符之中的、与现有标识符列表中存在的标识符对应的分割日志判断为第一分割日志，将与现有标识符列表中不存在的标识符对应的分割日志判断为第二分割日志；以及车辆侧通信部(170)，将与第一分割日志对应的标识符发送到车辆日志分析服务器，将第二分割日志发送到车辆日志分析服务器。

摘要： 本发明提供一种硬盘日志分析方法、硬盘日志分析装置及存储介质。硬盘日志分析方法包括：获取测试指令。根据测试指令，分别采集各硬盘的部件信息。根据测试项目以及各硬盘的部件信息，在多个预置日志采集策略中，分别确定各硬盘对应的日志采集策略。根据各硬盘对应的日志采集策略，采集各硬盘对应的硬盘日志。根据测试项目以及各硬盘的部件信息，在多个预置日志分析策略中，分别确定各硬盘对应的日志分析策略。根据各硬盘对应的日志分析策略，对各硬盘的硬盘日志进行分析，得到各硬盘对应的分析结果。能够针对测试项目以及硬盘的部件信息，对硬盘日志进行针对性的采集和分析，进而体现出不同配置下的硬盘差异，提高测试的准确性。

摘要： 本发明提供了一种DNS日志分析方法、DNS日志分析系统及计算机可读存储介质。本发明提供的DNS日志分析方法包括：步骤S1，定义一个匹配域，并将包含匹配域的流表项插入流表中；步骤S2，数据包输入智能分流器后，统计与包含匹配域的流表项匹配的数据包；步骤S3，在匹配域的可用字段中写入标记；步骤S4，将匹配域的可用字段中写入了标记的流表项与数据包共同输出智能分流器；步骤S5，解码分析服务器根据匹配域中的标记，解析数据包并生成DNS日志。上述DNS日志分析方法，通过标记简化了DNS日志的解析计算，提高了DNS日志解析效率，同时节省了进行DNS日志的解析计算产生大量的服务器资源占用，减少中间缓存和分析设备。

摘要： 本公开提供一种日志分析方法、日志分析装置及电子设备。日志分析方法包括：根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。本公开可以减轻人工分析日志的工作负担，提高日志分析的自动化程度，进而提高语义理解系统的分析效率。

摘要： 本申请公开了一种日志分析方法及日志分析系统，其中，日志分析方法首先对获取的输入关键字进行剔除重复输入关键字的操作，避免了根据重复输入关键字进行检索获得的重复日志数据给分析带来难度的问题；然后对获得的至少一个检索关键字作与操作，获得关键字组合；最后根据关键字组合检索每个子系统的日志数据库，获得检索结果；由于关键字组合由所有的检索关键字作与操作获得，那么在利用该关键字组合进行检索时只会获得符合所有检索关键字的日志数据，这样大大减少了检索出的日志数据，从而降低了日志分析难度。另外，在利用关键字组合检索时，利用分布式云计算系统的特点，分别在每个子系统的日志数据库中进行，降低了每个子系统的检索运算压力。

摘要： 本发明涉及进行恶意软件感染的检测以及组织内部的不正当行为的发现的日志分析装置。日志分析装置具有：日志收集部，其收集物理系统日志和信息系统日志，所述物理系统日志是物理的设施管理设备的日志，所述信息系统日志是通过用户的操作来执行信息处理的信息设备的日志；以及日志分析部，其计算物理系统日志和信息系统日志的时间间隔的频率分布，将该频率分布与在信息设备正常的状态下计算出的频率分布进行比较来检测信息设备的异常。