基于WEB访问日志的异常检测技术研究
在网络技术不断进步地推动下，互联网不断地扩大其作为通讯和商业媒介的影响力，更在互联网企业创造新兴商业渠道中扮演极为重要的角色。互联网业务需求的迅速增加激励着企业和各国政府发展国际化的复杂信息网络，网络技术与WEB服务呈现多样化。然而，黑客技术不断进化以及系统安全防护功能不足导致了近两年网络安全事件频发，网络攻击数量不断上升，网络攻击检测已成为一个备受关注的研究课题，检测和阻止网络攻击的技术研究工作需要更加深入地展开。 今天的商用入侵检测系统主要是基于签名的，用于检测已被识别的攻击行为，这样的系统需要频繁地更新规则库和签名库，耗时长且不能够检测未知攻击。服务器内部署的大部分检测系统之间缺乏联动机制，并且缺少对大规模数据有效分析的能力，使得数据分析难度和耗费时间不断增加。因此面向应用层的异常检测技术被广泛研究，通过分析正常行为的特征模式，构建正向安全模型，可以有效识别恶意攻击行为，由于该类技术不是基于已有专家知识构建的，因此对于挖掘未知的刚络攻击手段、跟踪新型的木马行为以及挖掘新型的网络漏洞都有着重要的意义。 本文的工作以自主研究课题“基于海量日志的WEB行为安全模型研究”中提出的“WEB日志安全智能分析系统”为基础，该系统主要通过建立多层次的WEB访问模型对异常行为进行分析研究，挖掘海量访问日志数据之间潜在的关系。本文主要介绍并研究了多种类型的检测方式，探讨了各种方法和系统的优势及不足，然后利用数据挖掘的思想挖掘用户行为模式。实现了日志数据分析子系统中的IP/UA(User Agent)特征分析和攻击频繁模式挖掘两个模块的功能，最终通过特征检测达到识别用户的异常行为，并对异常进行了类别的划分。 为了满足功能测试和项目自身的需求，项目组搭建了以Hadoop加ELK为基础的大数据分析平台。收集了某大型网站群的历史WEB访问日志，使用较流行的ElasticSearch平台达到口志数据存储、管理以及查询的目的，利用分布式编程模型对大规模访问日志进行分布式处理和计算，以求达到支撑历史数据批量分析和实时流量数据分析的需求。本文的工作是批量分析历史数据，测试集选取了2013年8月份全部日志数据，测试模块为IP/UA特征分析模块和攻击频繁模式挖掘模块。测试结果表明:Hadoop分布式系统能够有效地完成日志数据处理并显著缩短处理时间;IP/UA特征分析能够识别假冒知名爬虫的、使用可疑UA的或UA含有异常字符的用户;攻击频繁模式挖掘的结果总结后形成了四类异常模式，可以用于判别新用户实例是否存在异常和异常类型。
计算机网络;日志数据;异常检测技术;用户行为
中国海洋大学
硕士
计算机技术
秦勃
2015
中文
TP393.08
61
2016-01-27（万方平台首次上网日期，不代表论文的发表时间）