日志审计与分析

本书共分为7章，分别介绍了日志、日志审计和日志收集与分析系统的相关基础知识，日志收集阶段的对象和方式，日志存储阶段的存储策略和方法，事件过滤和归一化使用的方法及效果，关联分析中的实时关联分析、事件关联分析、告警响应分析和实时统计分析，查询与报表等日志的处理方式，最后结合具体案例对背景需求和解决方案进行了讨论和解读，帮助读者更好地掌握日志审计与分析。
本书既适合网络空间安全、信息安全等相关专业的学生作为课程教材和参考资料，也适合负责网络安全运维的网络管理人员和对网络空间安全感兴趣的读者作为基础读物。

第5章第5章关 联 分 析


5.15.1概述计算机技术和Internet的迅猛发展，加速了全球信息化进程，互联网正在走进千家万户，在人们的日常工作和生产生活中扮演着不可或缺的角色。网络用户正在以指数级增长，网络的规模也越来越大，与此同时，针对网络的恶意攻击活动越来越多。如何有效地保证网络的正常运行已经成为十分紧迫的问题。为了防止恶意入侵给网络造成破坏，造成资源的丢失，网络管理人员非常迫切需要能够准确、及时地了解整个网络的当前状态及未来的安全趋势，及时发现攻击和危害行为，并进行应急响应，以便对网络的安全设置和资源配置制定出合理的应急策略，达到事前预防、纵深防御的目的，即需要对网络安全状态进行及时的评估和对未来发展态势进行预测，及时了解网络的状况。网络安全态势评估和预测越来越受到人们的关注，成为网络安全管理领域研究中的热点问题，而关联分析则是快速定位故障和入侵的一种有效手段。
关联分析又称关联挖掘，就是在关系数据或其他信息载体中，查找存在于对象集合之间的关联、相关性或因果结构，是一种在大型数据库中发现变量之间关系的方法。关联的含义是指将所有系统中的事件以统一格式综合到一起进行观察。
在网络安全领域中，关联分析是指对网络全局的安全事件数据进行自动、连续分析，根据用户定义的、可配置的规则识别网络威胁和复杂的攻击模式，从而确定事件真实性、进行事件分级并对事件进行有效响应。关联分析可以用来提高安全操作的可靠性，减少漏报警、误报警现象，以及在海量信息中提高分析的实时性，并为安全管理和应急响应提供技术手段。现有的安全事件的关联分析研究工作可分为如下几类。
1. 聚合分析
告警聚合分析过程的主要目的是减少告警数量，采用相似度关联算法以及聚类、分类等算法对原始告警进行处理，其功能包含两个方面： 一是把同一安全事件导致的多条告警融合为一条告警记录，大大减少告警数量；二是关联不同网络安全设备针对同一安全事件报告的重复告警。通过分析安全事件之间的关联关系，对同类和相似安全事件进行合并，从而减少安全事件的数量，去除重复和冗余信息。
2. 交叉关联
交叉关联（Cross Correlation）主要是结合背景知识（如网络拓扑信息、漏洞信息和主机配置信息等）提高告警的质量，主要用于攻击确认和风险评估。在“提高告警质量”方面，主要涉及IDS误告警的去除以及告警风险的评估。由于是分析安全事件和其他背景知识、漏洞信息之间的关联关系，所以称为交叉关联。日志审计与分析第5章关联分析3. 多步攻击关联
由于现在大部分攻击，尤其是危害巨大的攻击都是多步攻击，而安全事件通常都是一个单独的攻击行为，因此从众多安全事件中找到一个多步攻击对应的多个攻击步骤，并将它们关联起来也是安全事件关联分析研究领域的一个重要研究内容。多步攻击关联又可称为攻击场景构建，主要研究攻击步骤之间的关联关系。
4. 其他
安全事件关联分析的研究中还有一些问题，例如，体系结构、总体构架、时间一致性问题、数据格式等，可将这些分析方法综合归结为其他的关联分析方法类。
本章主要介绍关联性分析方面的知识，包括实时关联分析、事件关联方式。除此之外，还介绍与关联分析目的相关的告警方面的知识以及可视化的日志实时统计分析。5.25.2实时关联分析随着网络及其应用的发展，传统的集中分析日志的安全防护策略已无法实时解决新兴的实时威胁，如何准确而又快速地找到系统遭受的安全问题显得格外重要。对于有危害性的网络行为，应该及时主动采取相应的措施，以减少进一步的网络安全事件，避免网络系统遭受到进一步的威胁。例如，某个节点发出很多安全事件或者某个节点不断受到攻击，因此应该高度重视并检查该节点的情况。对有危害的网络行为的响应类似于传染病的防护（隔离或清除传染源、切断传播路径以及保护易感人群）： 隔离或清除传染源，即隔离或清除有危害的网络行为源；切断传播途径，即切断攻击的传播通路，使之不能到达攻击目标；保护易感人群，即对网络节点进行升级、加固等，尽可能使之对攻击具有抵抗力。网络安全事件的实时性关联分析是解决这种现状的关键手段之一。除此之外，当前网络安全管理者还面临如下挑战。
（1） 安全设备和网络应用产生安全事件数量巨大，漏报警、误报警现象严重。一台IDS一天产生的安全事件数量成千上万，真正存在威胁的安全事件淹没在误报信息中，难以识别。大量冗余告警日志的存储严重影响了关联性分析的时效性。
（2） 安全事件之间存在的横向和纵向方面（如不同空间来源、时间序列等）的关系未得到综合分析，因此漏报严重。一个攻击活动之后常常接着另一个攻击活动，前一个攻击活动为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源的安全事件其实是一次协作攻击，这些都缺乏有效的综合分析。
（3） 安全管理者缺乏对整个网络安全态势的全局实时感知能力。
充分利用多种安全设备的检测能力生成大量的日志数据，这些数据集中处理的致命弱点是待分析的数据量巨大，那些庞大冗余或独立分散的安全事件显然不能直接作为响应依据。上述问题的根本解决途径是网络安全事件关联实时处理。传统的安全日志审计系统先将不同信息源日志融合完毕后存入数据库，再对数据库中的日志信息进行关联性分析，发掘出日志之间的关系，找到真正的外部入侵和内部违规。但是，传统的日志审计系统无法进行实时性分析，它必须等到不同信息源的日志存入数据库后方可进行分析，对网络系统日志的存储能力要求非常高，同时这也将大大降低发现安全隐患的时效性。
相比于传统的关联性分析，实时关联性分析可以在存储已处理日志的同时进行关联性分析。经过收集和处理后的日志信息，一方面将日志存入数据库，另一方面同步在内存中进行实时关联性分析。关联分析的实时性确保了日志被及时审计，同时能够快速发现并定位安全隐患。但是，从实时性上看，关联分析的整个过程不能间断，这对系统的实时性要求较高。除此之外，普通日志存入数据库较容易，但如果是关联引擎实时将报警存入数据库中，则比较复杂。例如，一个关联规则需要在1s内通过SQL语句获取10条数据，那么关联引擎就需要实时在1s内进行10次磁盘存取，这导致对磁盘读写频率以及吞吐率的要求较高，所以告警关联分析在确保实时性的同时，也要注意对数据库吞吐率的重视。网络安全中的关联反馈如图51所示。
图51网络安全中的关联反馈
5.35.3事件关联方式实时关联分析的核心是基于安全监测、告警和相应技术的事件关联分析引擎。在关联规则的驱动下，事件关联分析引擎能够进行多种方式的事件关联，包括递归关联、统计关联、时序关联、跨设备事件关联等。本节主要介绍这几种典型的事件关联方式。
5.3.1递归关联
递归在数学与计算机科学中的含义是指在函数定义中使用函数自身的方法。递归还较常用于描述以自相似方法重复事物的过程。例如，当两面镜子相互之间近似平行时，镜中嵌套的图像是以无限递归的形式出现的，也可以理解为自我复制的过程。递归关联指的是以递归的方式进行关联性分析，即自身与自身发生关联。递归关联是同一类实体之间的一种关联。和普通关联一样，递归关联也可以分为3种表达形式： 一对一递归关联、一对多递归关联和多对多递归关联。
一对一递归关联是指对象之间是一对一的关系。例如，图52给出的一对一递归关联示例图表示的含义是两个人是一对一的关联关系，但是对象都出自于人类这一个大的集合中，相同对象之间产生了递归的关联，这个案例就是最简单的一对一关联关系。
一对多递归关联的含义是同一个类对象中存在一个实体对应关联多个实体。图53是一个典型的一对多递归关联的实例，一个消费者购买某件商品，如果该商品给消费者带来良好的用户体验，此消费者会将该商品推荐给身边同为消费者的其他人，这就是一个典型的一对多的递归关联案例。
多对多递归关联指的是实体中关联的关系是多对多，如图54所示。例如，在医院中，同一科室的医生面对不同的病人是多对多的关联关系，有时医生本人也因为自身身体的不适去就医，这就产生医生这一类中的递归关联关系。
图52一对一关联
图53一对多关联
图54多对多关联

网络空间安全重点规划丛书编审委员会顾问委员会主任： 沈昌祥（中国工程院院士）
特别顾问： 姚期智（美国国家科学院院士、美国人文及科学院院士、中国科学院院士、“图灵奖”获得者）
何德全（中国工程院院士）蔡吉人（中国工程院院士）
方滨兴（中国工程院院士）吴建平（中国工程院院士）
王小云（中国科学院院士）
主任： 封化民
副主任： 韩臻李建华张焕国冯登国
委员： （按姓氏拼音为序）
蔡晶晶曹珍富陈克非陈兴蜀杜瑞颖杜跃进
段海新范红高岭宫力谷大武何大可
侯整风胡爱群胡道元黄继武黄刘生荆继武
寇卫东来学嘉李晖刘建伟刘建亚马建峰
毛文波潘柱廷裴定一钱德沛秦玉海秦志光
卿斯汉仇保利任奎石文昌汪烈军王怀民
王劲松王军王丽娜王美琴王清贤王新梅
王育民吴晓平吴云坤徐明许进徐文渊
严明杨波杨庚杨义先俞能海张功萱
张红旗张宏莉张敏情张玉清郑东周福才
左英男
丛书策划： 张民21世纪是信息时代，信息已成为社会发展的重要战略资源，社会的信息化已成为当今世界发展的潮流和核心，而信息安全在信息社会中将扮演极为重要的角色，它会直接关系到国家安全、企业经营和人们的日常生活。 随着信息安全产业的快速发展，全球对信息安全人才的需求量不断增加，但我国目前信息安全人才极度匮乏，远远不能满足金融、商业、公安、军事和政府等部门的需求。要解决供需矛盾，必须加快信息安全人才的培养，以满足社会对信息安全人才的需求。为此，教育部继2001年批准在武汉大学开设信息安全本科专业之后，又批准了多所高等院校设立信息安全本科专业，而且许多高校和科研院所已设立了信息安全方向的具有硕士和博士学位授予权的学科点。
信息安全是计算机、通信、物理、数学等领域的交叉学科，对于这一新兴学科的培养模式和课程设置，各高校普遍缺乏经验，因此中国计算机学会教育专业委员会和清华大学出版社联合主办了“信息安全专业教育教学研讨会”等一系列研讨活动，并成立了“高等院校信息安全专业系列教材”编审委员会，由我国信息安全领域著名专家肖国镇教授担任编委会主任，指导“高等院校信息安全专业系列教材”的编写工作。编委会本着研究先行的指导原则，认真研讨国内外高等院校信息安全专业的教学体系和课程设置，进行了大量前瞻性的研究工作，而且这种研究工作将随着我国信息安全专业的发展不断深入。系列教材的作者都是既在本专业领域有深厚的学术造诣、又在教学第一线有丰富的教学经验的学者、专家。
该系列教材是我国第一套专门针对信息安全专业的教材，其特点是：
① 体系完整、结构合理、内容先进。
② 适应面广：能够满足信息安全、计算机、通信工程等相关专业对信息安全领域课程的教材要求。
③ 立体配套：除主教材外，还配有多媒体电子教案、习题与实验指导等。
④ 版本更新及时，紧跟科学技术的新发展。
在全力做好本版教材，满足学生用书的基础上，还经由专家的推荐和审定，遴选了一批国外信息安全领域优秀的教材加入到系列教材中，以进一步满足大家对外版书的需求。“高等院校信息安全专业系列教材”已于2006年年初正式列入普通高等教育“十一五”国家级教材规划。2007年6月，教育部高等学校信息安全类专业教学指导委员会成立大会暨第一次会议在北京胜利召开。本次会议由教育部高等学校信息安全类专业教学指导委员会主任单位北京工业大学和北京电子科技学院主办，清华大学出版社协办。教育部高等学校信息安全类专业教学指导委员会的成立对我国信息安全专业的发展起到重要的指导和推动作用。2006年教育部给武汉大学下达了“信息安全专业指导性专业规范研制”的教学科研项目。2007年起该项目由教育部高等学校信息安全类专业教学指导委员会组织实施。在高教司和教指委的指导下，项目组团结一致，努力工作，克服困难，历时5年，制定出我国第一个信息安全专业指导性专业规范，于2012年年底通过经教育部高等教育司理工科教育处授权组织的专家组评审，并且已经得到武汉大学等许多高校的实际使用。2013年，新一届“教育部高等学校信息安全专业教学指导委员会”成立。经组织审查和研究决定，2014年以“教育部高等学校信息安全专业教学指导委员会”的名义正式发布《高等学校信息安全专业指导性专业规范》（由清华大学出版社正式出版）。
日志审计与分析出版说明2015年6月，国务院学位委员会、教育部出台增设“网络空间安全”为一级学科的决定，将高校培养网络空间安全人才提到新的高度。2016年6月，中央网络安全和信息化领导小组办公室（下文简称中央网信办）、国家发展和改革委员会、教育部、科学技术部、工业和信息化部及人力资源和社会保障部六大部门联合发布《关于加强网络安全学科建设和人才培养的意见》（中网办发文\[2016\]4号）。为贯彻落实《关于加强网络安全学科建设和人才培养的意见》，进一步深化高等教育教学改革，促进网络安全学科专业建设和人才培养，促进网络空间安全相关核心课程和教材建设，在教育部高等学校信息安全专业教学指导委员会和中央网信办资助的网络空间安全教材建设课题组的指导下，启动了“网络空间安全重点规划丛书”的工作，由教育部高等学校信息安全专业教学指导委员会秘书长封化民校长担任编委会主任。本规划丛书基于“高等院校信息安全专业系列教材”坚实的工作基础和成果、阵容强大的编审委员会和优秀的作者队伍，目前已经有多本图书获得教育部和中央网信办等机构评选的“普通高等教育本科国家级规划教材”“普通高等教育精品教材”“中国大学出版社图书奖”和“国家网络安全优秀教材奖”等多个奖项。
“网络空间安全重点规划丛书”将根据《高等学校信息安全专业指导性专业规范》（及后续版本）和相关教材建设课题组的研究成果不断更新和扩展，进一步体现科学性、系统性和新颖性，及时反映教学改革和课程建设的新成果，并随着我国网络空间安全学科的发展不断完善，力争为我国网络空间安全相关学科专业的本科和研究生教材建设、学术出版与人才培养做出更大的贡献。
我们的Email地址是： zhangm@tup.tsinghua.edu.cn，联系人： 张民。

“网络空间安全重点规划丛书”编审委员会没有网络安全，就没有国家安全；没有网络安全人才，就没有网络安全。
从更多、更快、更好地培养网络安全人才出发，如今，许多学校都在下大工夫、花大本钱，聘请优秀老师，招收优秀学生，着力培养一流的网络安全人才。
网络空间安全专业建设需要体系化的培养方案、系统化的专业教材和专业化的师资队伍。优秀教材是网络空间安全专业人才的关键。但是，这是一项十分艰巨的任务。原因有二： 其一，网络空间安全的涉及面非常广，至少包括密码学、数学、计算机、操作系统、通信工程、信息工程、数据库、硬件等多门学科。因此，其知识体系庞杂、难以梳理；其二，网络空间安全的实践性很强，技术发展更新非常快，对环境和师资要求也很高。
“日志审计与分析”是网络空间安全和信息安全专业的基础课程，通过日志各知识点的介绍掌握日志审计与分析。本书涉及的知识面宽，共分为7章。
第1章介绍日志基本知识，第2章介绍日志收集，第3章介绍事件归一化，第4章介绍日志存储，第5章介绍关联分析，第6章介绍查询与报表，第7章介绍典型案例。
本书既可作为网络空间安全、信息安全等相关专业的教材和参考资料，也可作为网络安全研究人员的入门基础读物。随着新技术的不断发展，今后将不断更新本书中的内容。
在本书的编写过程中，得到了360企业安全集团的裴智勇、翟胜军、杨进国，北京邮电大学雷敏等专家、学者的鼎力支持，在此对他们的工作表示衷心感谢！
由于作者水平有限，书中难免存在疏漏和不妥之处，欢迎读者批评指正。

作者2018年12月