系统日志

摘要： 针对系统日志类信息譬如系统运行日志、命令行文本输出等信息的分析评估,提出了一种基于微服务的通用性评估方案.该方案中的框架采用微服务构架,单控制节点/多工作节点模式,各个节点都具备相同的能力.节点角色控制节点或工作节点是按需进行配置,工作节点的数量可灵活扩展以支持大数据分析能力,支持TB级的系统日志分析评估.相对于目前流行的ELK等开源技术,本方案除具有类似日志提取、分析和图表呈现等功能外,还设计和实现了基于配置驱动的系统日志的通用性评估模型.该模型采用规则与引擎分离的原则,适用于各种系统日志类信息的处理.基于提出评估方案,采用Spring Boot/Spring Cloud微服务框架实现了一套PON网络健康检查系统.该系统在全球多个PON网络评估服务中得到了很好的应用,极大地提高了服务效率.

摘要： 随着计算机系统的发展,日志已经成为维护计算机系统稳定运行的重要数据来源。系统日志记录了系统运行时的状态和关键点的重要事件信息,可以帮助技术人员定位系统故障并分析其原因,为解决问题提供了数据支持,还可以监控非法操作并为恢复系统提供帮助,因此日志异常检测具有重要意义。但现有研究大多只利用了日志的单一特征进行异常检测,为此,文章设计了一个基于机器学习的日志异常检测系统,实现了日志收集、日志解析、日志特征提取和日志异常检测的完整流程;提出了融合日志时序关系和逻辑关系的机器学习方法,可以更好地利用日志特征,以增加检测结果的准确性。

摘要： 可靠性研究是高性能计算领域的经典问题,随着制程技术与集成工艺的不断发展,当前全系统规模呈指数级快速增长,给可靠性研究尤其是故障分析带来巨大挑战.收集了自主高性能计算系统投产后工作故障日志信息203510247条,时间自2016年1月28日至2016年12月6日.首先使用K-M eans聚类方法对故障进行分类,并分析故障分布特征.接着基于聚类结果设计基于时序的故障分析模型FD-LSTM,使用结构化日志训练后,预测不同故障类型的发生时间和空间,结果表明所提出的FD-LSTM预测模型准确率可达80.56％.本文研究表明,基于日志信息的时序模型FD-LSTM在时间预测和空间预测方面,较之前传统的故障分析模型,在提高故障分析准确度、加强机器运维高效性,乃至增进全系统协同设计合理化等方面都具有现实的指导意义.

摘要： ·NHR-9000系列触摸数据采集控制工作站。12英寸大屏显示、70路全切换输入,具有以太网通信/报警邮件发送、系统日志生成功能。·NHR-3900电能质量分析记录仪。多参数测量与分析、强大的记录与通信功能、全隔离设计、安全可靠。·NHR-PR20系列简易PLC控制器。专业逻辑控制、传统梯形图编程方式、全隔离设计,实现远程监控。·NHR-PR10简易PLC中文一体机。专业逻辑控制、全隔离设计,实现远程监控、中文编程,操作简便。

摘要： 网络运维离不开对系统信息的监控,目前传统运维操作并不能简化这些日常的监控任务.文章通过应用数据访问、数据处理、数据可视化等这些技术获取系统的CPU(中央处理器)、内存、交换分区、磁盘、网卡等信息,并把系统信息记录在日志文件里.设计并实现一种基于Web(网站)的系统信息实时监控,对系统进行24 h不间断的自动监控,减轻系统管理员的工作,提高日常运维效率.

摘要： 情境引领数据,数据驱动分析,分析变革教育。在教育教学发展的过程中,教学情境呈现出由课堂到线上,再由线上到混合情境转变的特征,情境的复合特性显著增强。在这种趋势影响下,伴随智能技术的发展与成熟,在教学中可采集的行为数据,也从观察记录、视频录像等传统形态,拓展为涵盖系统日志、交互文本及人的情感、生理信息等多模态的大数据样式。

摘要： 网络时代背景下,网络安全问题倍受人们的关注,除了外部非法入侵以外,用户的非法操作也会对系统的安全带来严重威胁.应用数据挖掘技术进行系统日志的分析有利于将内部用户的非法操作行为及时检测出来,并以此为依据采取有效的安全防护措施以提升系统运行的安全性.基于此,本文将对基于数据挖掘的系统日志分析展开探讨.

摘要： Retrace是一款专为开发人员设计的云管理工具。必要时,它为开发人员提供了更深刻的代码级应用程序监视方法。它跟踪应用程序执行、系统日志、错误追踪、应用程序和服务器监控,并确保开发人员始终在创建高质量的代码。开发人员可以先于客户生成的代码中发现异常。

摘要： 系统日志是软件系统中检查系统状态的重要来源,系统日志中包含的运行时状态报告以及错误信息被广泛地用于系统运维中。随着现阶段软件系统变得日益庞大和复杂,大型软件系统通常会使用日志分析挖掘技术来自动地从系统日志中发掘系统关键信息,日志数据被用于异常检测、根因分析、行为分析等等应用中。日志数据通常是无结构化的文本数据,在使用数据挖掘算法对日志数据进行训练之前,需要使用日志解析算法对原始日志数据进行结构化处理,本文根据日志数据分析挖掘技术的特点和需求,提出一种基于聚类算法的日志解析算法,可以从原始日志数据中提取消息模板和事件序列,同时提出了一种固定深度的树结构模型对消息模板进行存储以实现新日志消息的快速结构化和异常日志消息的检测。通过在特定系统日志数据上的实验证明本文的日志解析算法具有较高的准确性和通用性。

摘要： LARGE系统是部署在中科院超级计算环境中的日志分析框架,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析.在对环境中系统日志的监控过程中系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合,然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要.本文介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制的概念实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速的效果.实验证明当输入文件较多时该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少了运行时间.此外还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证.

摘要： 大规模机群因其良好的易构建性和可扩展性，已广泛应用于科学计算和商业应用中。通过分析大规模机群系统中的日志，可以预测失效、侦测失效、定位故障根源，提高系统和应用的可靠性和可用性。本文提出了一种基于图挖掘的多维失效分析方法来分析多源的系统日志，以获得更加完整和 准确的失效知识。通过曙光4000A高性能计算机系统中系统日志的多维失效分析，实验结果证明了这种方法的有效性。

摘要： 本文论述了如何将模糊集合理论引入关联规则挖掘并应用于入侵检测系统中,以提高入侵检测系统的性能.并以系统日志信息的挖掘为例,验证了模糊关联规则挖掘应用于入侵检测系统的可行性。

摘要： 本文基于数据挖掘技术,提出了一种对Web服务器的入侵检测方法,应用系统日志作为数据源,对用户及系统正常行为数据进行挖掘、分析,生成异常检测模型,并依据此模型进行检测,实现了频繁模式库更新和新日志的检测.

摘要： 针对青海省人工影响天气业务的特点和需求开发研究"青海省人工影响天气数据库系统".青海省人影数据库系统是根据目前人工影响天气技术的发展趋势和实时业务的需要,采用先进快速的应用程序开发工具,依托数据库系统,开发出来的一个将常规资料和人影专用资料进行收集并存入数据库,可对数据库进行浏览、排序、删除、查询等以及建立系统日志对数据库操作进行记录等,功能齐全、操作简单、技术领先的数据采集和存储系统.

摘要： 随着计算机信息技术的发展,网络泄密日趋严重,不法分子利用现代化高科技手段窃密与传统的窃密形式有很大区别,手段隐秘,证据存留期短,查处难度较大。因此,打击计算机窃密的重要途径和有效方法就是要提高计算机取证技术的水平,从传统的窃密形式出发,采取行之有效的取证方法,利用高科技手段,查处涉嫌失泄密事件。

摘要： 随着计算机信息技术的发展,网络泄密日趋严重,不法分子利用现代化高科技手段窃密与传统的窃密形式有很大区别,手段隐秘,证据存留期短,查处难度较大。因此,打击计算机窃密的重要途径和有效方法就是要提高计算机取证技术的水平,从传统的窃密形式出发,采取行之有效的取证方法,利用高科技手段,查处涉嫌失泄密事件。

摘要： 随着计算机信息技术的发展,网络泄密日趋严重,不法分子利用现代化高科技手段窃密与传统的窃密形式有很大区别,手段隐秘,证据存留期短,查处难度较大。因此,打击计算机窃密的重要途径和有效方法就是要提高计算机取证技术的水平,从传统的窃密形式出发,采取行之有效的取证方法,利用高科技手段,查处涉嫌失泄密事件。

摘要： 随着计算机信息技术的发展,网络泄密日趋严重,不法分子利用现代化高科技手段窃密与传统的窃密形式有很大区别,手段隐秘,证据存留期短,查处难度较大。因此,打击计算机窃密的重要途径和有效方法就是要提高计算机取证技术的水平,从传统的窃密形式出发,采取行之有效的取证方法,利用高科技手段,查处涉嫌失泄密事件。

摘要： 本文结合自己近年来Linux教学与应用实践,针对Linux系统安全设定的一般策略进行探讨,内容主要包括取消不必要的服务、限制远程存取、口令安全与检查、隐藏重要资料、修补安全漏洞、采用安全工具以及经常性的安全检查等.

摘要： 本发明公开了一种系统日志的处理方法和系统日志的处理平台。本发明实施例提供的一种系统日志的处理方法包括：访问生成系统日志的设备，从该设备采集系统日志；将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；将过滤结果发送至服务器侧，由服务器侧对系统日志进行报警处理。

摘要： 本发明涉及一种用于云原生系统日志训练的日志模式提取方法及系统，填补了云原生系统中大量日志有效地抽取为含有语义的词向量日志模式的空白，方法步骤包括：基于云原生系统日志构建领域内的日志单词近反义词词典和领域内的日志变量知识表达；基于领域内日志变量知识和通用规则，对日志进行预处理；基于领域内近反义词词典，对日志中单词进行基于语义的向量化；构建一颗定深日志模式提取树，对该树内部的匹配或处理节点进行定义；对每一条日志进行分析抽取，对抽取的日志模式和对应的日志行ID进行存储，抽取的日志模式是含有语义的词向量数组。本方法的输出结果可以应用于云原生系统中日志分析、故障检测模型的训练及日志的画像构建等。

摘要： 本发明提供了一种系统日志与健康监控关系决定日志告警等级的方法及系统，日志采集引擎从各应用模块采集历史软件系统日志；日志清洗引擎对采集到的历史软件系统日志进行清洗，过滤无效日志并整理日志格式，形成历史日志数据；告警采集引擎从健康监控系统采集各应用模块的历史告警数据；关联引擎根据历史日志数据和历史告警数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；告警等级匹配引擎通过实时日志与日志告警等级模型的匹配决定该实时日志的告警级别。

摘要： 本发明公开了一种嵌入式系统日志记录方法及日志记录系统，修改link配置文件，在bin文件中设置虚拟的地址段，即str的地址段，将日志中的字符串信息放到str的地址段中，将日志中的除字符串信息以外的指令放入iram的地址段，将日志中的数据放入dram的地址段；输出上述字符串信息的虚拟地址和日志中的变量值。本发明将字符串信息放入str的地址段中，而不占用嵌入式系统的ram空间，大大节约了成本；本发明只输出字符串信息的虚拟地址和日志中的变量值，减少了接口数据量，减轻了系统CPU及外设接口的负荷，提高了整个系统的业务执行效率。

摘要： 本发明提供系统日志管理方法和日志服务器，n个局域网的每个局域网中的设备分别通过各自归属的局域网中运行的NAT与日志服务器通信，日志服务器建立n个局域网中的每个局域网与每个局域网各自在运行NAT协议进行通信时所使用的公网IP地址之间的第一对应关系；日志服务器建立端口号集合并将端口号集合中的端口号分配给n个局域网的每个局域网中的设备，并记录端口号与设备之间的第二对应关系；日志服务器接收每个局域网根据NAT协议使用公网IP地址转发的每个局域网中的设备发送的日志报文；日志服务器根据日志报文中的端口号、公网IP地址以及第一对应关系和第二对应关系识别系统日志报文对应的设备。可以兼容网络中存在的部分其他厂商设备。

摘要： 本发明公开了一种系统日志的处理方法和系统日志的处理平台。本发明实施例提供的一种系统日志的处理方法包括：访问生成系统日志的设备，从该设备采集系统日志；将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；将过滤结果发送至服务器侧，由服务器侧对系统日志进行报警处理。

摘要： 本发明提供一种处理系统日志的装置以及处理系统日志的方法。所述的装置包含：缓冲器，用来储存日志；日志寄存器，包含一个比特；以及核心单元，耦接至缓冲器以及日志寄存器，当检测到所述的比特被设定为真时，传输日志至外部电子装置。本发明提供的处理系统日志的装置以及处理系统日志的方法能够增进系统日志处理性能，也可避免重要的日志被舍弃。

摘要： 本发明涉及一种用于云原生系统日志训练的日志模式提取方法及系统，填补了云原生系统中大量日志有效地抽取为含有语义的词向量日志模式的空白，方法步骤包括：基于云原生系统日志构建领域内的日志单词近反义词词典和领域内的日志变量知识表达；基于领域内日志变量知识和通用规则，对日志进行预处理；基于领域内近反义词词典，对日志中单词进行基于语义的向量化；构建一颗定深日志模式提取树，对该树内部的匹配或处理节点进行定义；对每一条日志进行分析抽取，对抽取的日志模式和对应的日志行ID进行存储，抽取的日志模式是含有语义的词向量数组。本方法的输出结果可以应用于云原生系统中日志分析、故障检测模型的训练及日志的画像构建等。

摘要： 本发明提供了一种系统日志与健康监控关系决定日志告警等级的方法及系统，日志采集引擎从各应用模块采集历史软件系统日志；日志清洗引擎对采集到的历史软件系统日志进行清洗，过滤无效日志并整理日志格式，形成历史日志数据；告警采集引擎从健康监控系统采集各应用模块的历史告警数据；关联引擎根据历史日志数据和历史告警数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；告警等级匹配引擎通过实时日志与日志告警等级模型的匹配决定该实时日志的告警级别。

摘要： 本发明公开了一种嵌入式系统日志记录方法及日志记录系统，修改link配置文件，在bin文件中设置虚拟的地址段，即str的地址段，将日志中的字符串信息放到str的地址段中，将日志中的除字符串信息以外的指令放入iram的地址段，将日志中的数据放入dram的地址段；输出上述字符串信息的虚拟地址和日志中的变量值。本发明将字符串信息放入str的地址段中，而不占用嵌入式系统的ram空间，大大节约了成本；本发明只输出字符串信息的虚拟地址和日志中的变量值，减少了接口数据量，减轻了系统CPU及外设接口的负荷，提高了整个系统的业务执行效率。