Web日志

摘要： 随着Web应用的快速发展,Web程序受到越来越多的攻击,而传统的Web程序的误用检测和异常检测分别有着漏报率和误报率高的特点,提出了一种基于Web日志的混合入侵检测方法,首先在OWASP Top10官方平台上获取误用检测的攻击特征向量并在漏洞平台WebGoat上进行已知的漏洞测试,构建误用检测的规则库,然后使用K-Means算法训练正常的Web日志构建用户的正常访问模型,最后在Web日志数据集上对Web混合入侵检测进行测试,实验表明该入侵检测模型能够提高检测率和降低误报率。

摘要： 虽然基本的Web分析工具非常普遍,目前的分析工具只分析页面级别的用户交互,为了加深对用户行为的理解,该研究提出了将Web应用程序与运行时日志相结合的方法.实现对web应用程序的日志以及用户与页面的交互的跟踪,达到了基于大数据的用户行为分析和可视化.

摘要： 为了降低Web日志频繁序列模式挖掘误差,提出基于支持向量机的Web日志频繁序列模式挖掘方法.构建Web日志频繁序列模式检测序列,采用自相关特征分布式融合方法进行序列重组,提取序列模式的统计特征量,对其特征分布值进行信息融合.建立Web日志频繁序列模式融合式调度模型,采用支持向量机分析方法进行Web日志频繁序列模式挖掘的自适应学习与寻优控制,实现Web日志频繁序列模式挖掘.仿真结果表明,采用该方法进行Web日志频繁序列模式挖掘的误差较低,收敛性较好.

摘要： 通过用户浏览网页时的网络日志分析,可发现用户的一些浏览习惯,从而有针对性的对网站进行改进,给用户带来更好的体验。本文通过搭建多个虚拟机对Web日志进行离线分析,通过flume系统收集日志,利用Hadoop文件系统存储,SparkSQL进行离线分析,按照需求进行相应业务的统计的分析。

摘要： 通过用户浏览网页时的网络日志分析,可发现用户的一些浏览习惯,从而有针对性的对网站进行改进,给用户带来更好的体验.本文通过搭建多个虚拟机对Web日志进行离线分析,通过flume系统收集日志,利用Hadoop文件系统存储,SparkSQL进行离线分析,按照需求进行相应业务的统计的分析.

摘要： 为了提高分布式Web日志挖掘能力,提出基于模糊聚类的分布式Web日志挖掘方法.构建分布式Web日志的关联规则分布集,采用模糊信息聚类分析方法进行分布式Web日志关联规则特征聚类处理,提取分布式Web日志性的多重关联特征量,结合重叠性迭代检测方法进行分布式Web日志挖掘过程中的自适应寻优,采用模糊关联规则调度方法进行分布式Web日志挖掘的负载均衡调度.通过计算邻接点的适应度函数,对相似度高的分布式Web日志关联规则进行合并处理,根据模糊信息聚类结果实现分布式Web日志挖掘优化.仿真结果表明,采用该方法进行分布式Web日志挖掘的精度较高,提高了分布式Web日志的推荐和信息检索能力.

摘要： 互联网技术迅速发展,伴随着网上购物或支付消费等生活方式的推广,人们对网络安全的重视程度也随之增加.鉴于此,本次研究将通过用改进的XGBoost异常行为检测模型结构对Web服务器的日志信息数据的分析处理,提取造成智能网络异常的特征类别,并根据处理后数据构建全面的HTTP请求特征属性.实验表明,第二层结构的出现有助于检测入侵的准确性的提高、具有更好的检测效果、在精确度等方面优于其他检测算法.希望此次研究能为我国在智能网络异常分析的发展工作上提供一定的帮助和借鉴.

摘要： Web日志挖掘是Web数据挖掘的重要应用。本文在引入Web个性化服务基础上,详细介绍了两种主要的Web日志挖掘技术,最后简单介绍了Web日志挖掘在电子商务、个性化站点服务、个性化搜索引擎服务及数字图书馆个性化信息服务中的应用。

摘要： 根据用户在访问时间和访问频度上表现出来的兴趣度,可以准确地度量用户的访问兴趣,并挖掘出web日志文件里潜在的用户访问模式.本文提出了一种基于用户访问模式的个性化推荐算法,该算法可以提高个性化推荐准确率和覆盖率。

摘要： 本文首先介绍Web日志挖掘技术、工具和算法,接着介绍了Web日志的预处理、数据挖掘过程,然后介绍了实验结果的分析和应用,最后进行总结,提出存在的不足并进行了展望.

摘要： 本文首先介绍Web日志挖掘技术、工具和算法,接着介绍了Web日志的预处理、数据挖掘过程,然后介绍了实验结果的分析和应用,最后进行总结,提出存在的不足并进行了展望.

摘要： 本文首先介绍Web日志挖掘技术、工具和算法,接着介绍了Web日志的预处理、数据挖掘过程,然后介绍了实验结果的分析和应用,最后进行总结,提出存在的不足并进行了展望.

摘要： 本文首先介绍Web日志挖掘技术、工具和算法,接着介绍了Web日志的预处理、数据挖掘过程,然后介绍了实验结果的分析和应用,最后进行总结,提出存在的不足并进行了展望.

摘要： 针对用户删除Cookie导致的Web日志用户标志不准确的情况，提出了一种基于支持向量机的用户标志修正算法。首先训练一个分类器判断两个会话是否属于同一个用户，然后计算两个不同标志用户之间的相似度，最后将日志进行分组，发现所有删除Cookie的用户并进行标志的修正。通过实验验证了算法的有效性.

摘要： 针对用户删除Cookie导致的Web日志用户标志不准确的情况，提出了一种基于支持向量机的用户标志修正算法。首先训练一个分类器判断两个会话是否属于同一个用户，然后计算两个不同标志用户之间的相似度，最后将日志进行分组，发现所有删除Cookie的用户并进行标志的修正。通过实验验证了算法的有效性.

摘要： 针对用户删除Cookie导致的Web日志用户标志不准确的情况，提出了一种基于支持向量机的用户标志修正算法。首先训练一个分类器判断两个会话是否属于同一个用户，然后计算两个不同标志用户之间的相似度，最后将日志进行分组，发现所有删除Cookie的用户并进行标志的修正。通过实验验证了算法的有效性.

摘要： 针对用户删除Cookie导致的Web日志用户标志不准确的情况，提出了一种基于支持向量机的用户标志修正算法。首先训练一个分类器判断两个会话是否属于同一个用户，然后计算两个不同标志用户之间的相似度，最后将日志进行分组，发现所有删除Cookie的用户并进行标志的修正。通过实验验证了算法的有效性.

摘要： 本发明提供一种WEB日志NAT前后关联方法及系统，包括如下步骤：获取NAT前和NAT后的网络流量；对NAT前和NAT后的数据包进行IP/TCP协议解析，获取网络五元组信息；以五元组为key，在TCP流数据库中检索该TCP流存在状态；检查TCP flag位，在TCP流结束了计算最终哈希值H，和五元组一起生成最终日志并存储到日志数据库。本发明的方法可以在任何场景下，既不需依赖于NAT设备，也不需要针对每个应用定制化开发，就能够实现对被NAT分割的日志的准确合并，是一个简洁的方法，来实现对被分割日志的正确合并，从而为大数据分析提供精准的数据源，能实现不消耗大量的计算资源，在实际的环境下不需要与其它系统集成的目的。

摘要： 本发明提供一种从Web访问日志提取Web资产的方法，通过对Web中间件的访问日志进行分析，提取Web应用的资产信息，包括文件目录结构、文件类型、动态文件函数签名信息、静态文件大小；并根据Web应用的资产信息，对Web应用资产情况进行刻画，构建出树状存储结构即资产目录，从而还原出Web应用的文件目录结构、文件类型、动态文件函数签名信息、静态文件大小。与现有技术对Web访问日志的分析聚焦在用户访问行为、网站运行状态等分析不同，本发明通过从Web访问日志提取Web应用资产，利用提取的Web资产信息可分析出网站使用的组件，有利于尽早发现Web应用可能存在的风险，而且通过比对不同Web应用的资产信息，能够计算网站的相似性，具有重要的现实意义。

摘要： 本发明公开了一种基于Web日志的Web攻击阶段分析方法及系统。本方法为：1)获取待检测网站的访问日志文件并对其进行解析，得到该待检测网站的源日志数据；2)对所述源日志数据进行攻击检测，得到该待检测网站受到的攻击事件；3)根据该待检测网站受到的攻击事件构建攻击事件图，以图的形式记录和存储检测出的攻击事件的详细信息；4)基于所述攻击事件图，获取各所述攻击事件之间的关联关系；5)根据所述关联关系将同属一个多步Web攻击过程的各攻击事件进行聚合，还原多步Web攻击的攻击场景，确定各个攻击场景的攻击阶段并评估攻击的危害程度。本发明能分担应急响应中的分析工作，使其只着重关注攻击阶段较深入、重要的攻击事件。

摘要： 本公开实施例提供一种Java Web应用的日志输出方法和装置，涉及数据分析技术领域，包括：对运行中的Java程序进行监听，得到监听信息，若监听信息表征监听到Java程序中的连接点的程序，则从Java Web应用的Spring框架中获取与连接点对应的通知，连接点用于指示预先设置的Java程序的日志输出的位置，通知用于指示日志输出的时间和内容，连接点和通知被配置于Java Web应用的Spring框架中，根据连接点的程序和通知生成并输出日志，实现了日志输出的自动化，尤其实现了在庞大的计算机应用中，日志输出的有效性和可靠性，大大提高了日志输出的效率，节约了人力资源和成本的技术效果。

摘要： 本发明提供一种WEB日志NAT前后关联方法及系统，包括如下步骤：获取NAT前和NAT后的网络流量；对NAT前和NAT后的数据包进行IP/TCP协议解析，获取网络五元组信息；以五元组为key，在TCP流数据库中检索该TCP流存在状态；检查TCP flag位，在TCP流结束了计算最终哈希值H，和五元组一起生成最终日志并存储到日志数据库。本发明的方法可以在任何场景下，既不需依赖于NAT设备，也不需要针对每个应用定制化开发，就能够实现对被NAT分割的日志的准确合并，是一个简洁的方法，来实现对被分割日志的正确合并，从而为大数据分析提供精准的数据源，能实现不消耗大量的计算资源，在实际的环境下不需要与其它系统集成的目的。

摘要： 本发明提供了一种Web中间件类型容器的日志备份清理方法及装置，可用于大数据技术领域，该装置包括：获取预先配置的Web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。Web中间件类型容器的日志备份清理方法，用以实现对Web中间件类型容器的日志备份清理，准确率高，效率高。

摘要： 本发明公开了基于日志文件的web服务器监控方法及系统，属于web服务器技术领域，要解决的技术问题为如何通过以对web服务器的日志文件进行统计分析的方式监控web服务器的运行情况。包括如下步骤：配置Apache配置文件；通过nginx的log_format属性设置日志文件的与自定义属性；配置日志轮询方式；通过预配值的加密方法对需要统计的信息加密，将加密信息加入请求信息中自定义的header头中；通过Apache软件轮询日志文件并读取日志文件，将读取的日志文件以及加密信息传入数据库中；通过数据库中配置的解密方法对加密信息进行解密、得到需要统计的信息，对日志文件进行统计分析。

摘要： 本发明提供了一种基于web的网络设备日志流量分析方法及装置，应用于云端服务器，基于web终端日志流量管理，实现实时的日志收集，日志分析，和日志报警、流量收集、流量分析、流量报警。能够高效的查看相关的网络设备日志，流量，及日志和流量数据包的具体内容，及时了解相关数据。同时实时的错误和阀值报警让使用者在有重大网络波动下能第一时刻了解网络状态。实时保存的数据，为其他项目的开展提供了支撑。

摘要： 为提高对网络DNS服务器日志分析的能力，本发明综合多种技术，创新性的提出了构建面向域名解析系统的知识图谱。首先，应用域名解析、权威域名服务器、别名解析、自治系统等原理设计了基于aiohttp和dig技术相结合的自动化爬虫模型，构建了相应的领域知识库；其次基于该知识库设计了面向域名解析系统的知识图谱原型并完成了知识图谱的构建，其节点规模达近500万；最后，基于该知识图谱辅助完成web日志异常行为识别模型的构建。通过实验和实际应用反馈，该知识图谱在网络服务器日志异常行为检测与分析的过程中起到了关键作用，提高了web日志异常行为模型的识别率。

摘要： 本发明公开了一种基于web日志的入侵研判方法及系统，研判方法包括：根据默认分割符和默认引用符将原始日志切割为字段；自动识别字段格式，进行字段格式的快速匹配，解析并存储入库；分批读取入库的日志，进行日志匹配规则检测；更新日志进行并写入回库；对日志进行聚合，生成web攻击事件，判定该入侵者是否攻击成功；根据web攻击时间和研判结果以及人工确认的该次入侵的影响范围，生成和提交防护和处理报告。本发明，通过对web日志进行切割、统一解析、规则匹配检测以及日志聚合，实现对攻击者IP的入侵研判，本发明采用自动检测和人工确认相结合的方式，具有效率高、结果准确性高、日志解析力度高、便于二次分析使用的优点，大大提高了web分析的效率。