信息系统日志挖掘与分析

摘要

计算机技术、网络技术、信息技术已经成为各个组织和机构建设中必不可少的组成部分,甚至相当一部分组织和机构把信息化建设看成组织和机构建设的重中之重.因为互联网,信息化都给组织和机构带来了海量的,即时的各种信息,但是不是所有信息是有用的,因此很多组织和机构为了有效的管理这些海量的信息,并使之成为组织和机构有用的信息,现在都在进行IT数据整合的项目,也就通常大家都提到过的数据大集中.同时,随着信息架构与应用系统日渐庞大,现行IT架构中,早已不是单一系统或是单一设备的单纯环境,组织中往往使用许多不同的Log Management对应不同系统、设备与应用的需求,然而除了成本扩张外,每年的维护与人力资源的投资,都是一笔可观的费用成本,既使组织可以暂时获得单一事件或需求上的满足,对于结合异质系统、平台的问题上,却又需要花费大量的人力时间,对于问题解决的时间花费与异质平台问题查找,都无法有效管理与降低成本.因此,在数据大集中背景下,如何使组织和机构的IT数据进行整合,管理,维护,分析并使之再生效益.那就是使用目前大家都耳熟能详的一种技术——搜索.本文将结合于塔里木油田建设的"基于日志的故障定位及分析系统"来阐述信息系统在运行中所产生日志的重要性,从而了解日志数据在日常系统运维中所发挥价值.它通过对系统故障报警进行全面深度分析,深度挖掘与该故障关联的多层应用环境中所有相关日志记录,找出影响故障报警的关键指标,避免故障再次发生,提升应用性能及可用性.大幅提高IT服务水平及风险管理能力.