网络异常流量与行为分析

前　　言
随着网络技术的发展，大量未知、新型网络攻击层出不穷，越来越多的网络攻击行为具有协同性、主机群性和隐蔽性，同时涌现出试图躲避安全设备检测的方法和技术，使网络流量的结构、组成和规模呈现出复杂性、动态性和关联性，网络监控的难度剧增。传统特征库的防火墙、入侵检测系统采用的安全防御技术，由于其原理是必须在了解攻击特征的前提下才能进行有效防御，因此，这些检测技术难以应对与防御恶意变种、未知威胁以及新型攻击，迫切需要采取全新的威胁分析与检测技术。因此，网络行为分析作为网络安全威胁检测的重要研究课题，越来越受到学术界和产业界的关注。网络行为异常检测是指在一段时间内建立一个正常网络行为基线，确认正常网络行为的相关参数定义后，将任何背离这些参数的行为都标记为异常。近年来，该领域的研究工作成果显著，但仍然存在一些问题。如目前的研究多从单一网络行为层面出发，较难完整揭示异常发生的原因和本质，导致检测能力较差，不能全面地为异常处理提供支撑；异常检测的训练数据难于获取；异常检测系统适应能力差，各类异常检测系统容易被攻击者绕过；尤其是网络行为呈现的潜在社会化关系，没有考虑网络交互过程对网络行为主体关系和属性的影响，导致网络主机群事件难以形式化描述和检测。因此，探索出行之有效的网络行为分析的异常流量检测方法，对了解网络情况、提升网络管理和监测的能力，具有重要的理论和现实意义。
本书首先系统地总结了网络行为分析的相关研究背景和进展，重点针对“整体” “个体”“主机群”网络行为的研究现状进行了对比和总结，分析了网络行为特征和异常检测方法在检测率、运行效率、全面性和新型异常行为的识别能力等方面的不足。
其次，针对这些不足，结合图论、特征工程、数据挖掘以及大数据分析等技术，以网络流量作为切入点，将图结构、属性以及动态变化的信息引入模型中，通过对用户行为特征的理解、分析和建模，从宏观到微观、由整体到局部，系统地研究了整体网络行为、网络个体行为和主机群行为，定义了更为有效的网络行为特征集、异常检测模型及其并行化算法，并进行了实验和异常案例分析。
本书的主要研究内容如下。
一、面向整体网络行为的研究：针对IP地址之间的全部网络活动体现的网络行为开展研究工作，从宏观角度研究所有网络行为主体的网络行为，定义了一种整体网络行为的异常检测方法。
在现有研究中，传统的行为特征具有较好的检测率，被研究者广泛采用；然而，网络异常造成的影响往往是多方面的，通信模式异常尤其值得注意，由于其不会影响网络正常运行而被研究者所忽视。研究发现，当异常发生时，各个特征值都或多或少地呈现出相关性，各类特征值对异常检测的贡献能力存在较大差异。某些网络异常表现在流量负载强度的特征值上，另一些网络异常则表现在通信模式的特征值上，而且相同类型的特征值呈现出较强的相关性。基于上述分析，本研究还采用了流量图，并定义了整体网络行为特征抽取方法。
在时序数据的异常检测研究中，基于时间序列的异常检测方法因算法时间和空间复杂度较高，对各个维度上特征值的稳定性有较高的要求。因此，为了解决异常检测算法直接应用于流量数据适配度不高，以及多维特征的异常检测算法性能较低等问题，本研究定义了历史时间取点法，利用不同时刻的多维特征值序列构成的检测向量之间的变化、相对变化和趋势变化来优化检测率。
在网络流量数据上，从检测能力和运行效率两个方面进行了分析，检测结果表明，本研究方法比采用传统特征的检测方法的效果更好、运行效率更高。本研究还在不同数据集中进行了实验对比和结果分析，结果表明基于通信模式抽取的特征集对异常检测有积极贡献，并与传统特征互补，能够有效提高异常检测率。
二、面向网络个体行为的研究：将网络行为汇聚到主机，从而开展网络个体行为的研究工作，从微观角度纵深研究网络个体行为，定义了一种网络个体行为异常检测方法。
研究发现，基于网络行为分析的异常检测方法比基于规则库的检测方法更具发现未知异常和新型攻击的优势，但通常只能在网络异常发生时发出告警，无法为安全管理员提供更加详细的异常信息、解释异常现象导致无法采取针对性的安全管控措施来抑制该异常带来的影响。宏观的整体网络行为是微观的全体网络个体行为网络活动的集中体现，但不是简单的叠加。研究发现对网络个体行为进行细粒度的分析，可以为网络行为研究提供更全面的分析视图。
鉴于网络个体行为同一时刻不同特征值之间关系、不同时刻特征值之间关系都存在相关性，首先定义了Graphlet方法，对特征值之间的关系进行量化，利用图节点属性、Graphlet属性构建网络个体行为特征集，将正常情况下的特征向量视为网络个体行为轮廓的基线。其次，分析发现网络个体行为特征在正常情况下不同时间窗口的特征向量之间、不同天同一时刻特征向量之间存在的相似性，以及在异常发生时特征向量都或多或少地呈现出差异性。进而定义了异常检测算法，利用了特征向量时间上的相似性、网络个体行为之间的相似性和受害可疑度来提高检测率。
在多个数据集

本书首先系统地总结了网络行为分析的相关研究背景和*新进展，重点针对“整
体”“个体”“主机群”网络行为的研究现状进行了对比和总结，分析了网络行为特征
和异常检测方法在检测率、运行效率、全面性和新型异常行为的识别能力等方面的
不足。其次，针对这些不足，结合图论、特征工程、数据挖掘以及大数据分析等技术，
以网络流量作为切入点，将图结构、属性以及动态变化的信息引入模型中，通过对用
户行为特征的理解、分析和建模，从宏观到微观、由整体到局部，系统地研究了整体
网络行为、网络个体行为和主机群行为，定义了更为有效的网络行为特征集、异常检
测模型及其并行化算法，并进行了实验和异常案例分析。

目　　录
前言
第1章　引言1
1.1　研究背景及意义1
1.2　国内外研究现状5
1.2.1　基于CiteSpace的用户行为画像
建模相关文献可视化分析6
1.2.2　网络行为异常检测的研究现状11
1.2.3　整体网络行为研究现状12
1.2.4　网络个体行为研究现状13
1.2.5　主机群行为研究现状15
1.2.6　图分析技术在网络行为研究中的
应用现状17
1.2.7　发展动态分析21
1.3　研究工作23
1.4　本书结构27
第2章　网络行为分析的网络流量
异常检测框架29
2.1　研究框架设计29
2.1.1　网络行为分析的研究思路29
2.1.2　网络行为分析的研究框架33
2.2　网络流量采集37
2.3　Spark数据分析原理38
2.3.1　Spark工作机理38
2.3.2　Spark Streaming41
2.3.3　Spark GraphX44
2.4　基于Spark的网络行为分析
平台的搭建48
2.4.1　Spark作业运行环境48
2.4.2　Spark作业顶层程序流程49
2.4.3　Spark大数据分析技术平台搭建50
2.4.4　Spark开发环境搭建52
2.5　本章小结57
第3章　整体网络行为异常检测研究58
3.1　问题分析和解决思路59
3.1.1　问题分析59
3.1.2　研究内容60
3.1.3　研究思路61
3.2　整体网络行为构建方法和定义63
3.2.1　流数据形式化表征64
3.2.2　流量图形式化表征67
3.2.3　整体网络行为特征集和抽取算法71
3.3　整体网络行为异常检测方法研究73
3.3.1　时序数据历史时间取点法73
3.3.2　时序异常检测方法75
3.3.3　异常检测算法79
3.4　Spark并行化设计80
3.5　异常案例分析182
3.6　异常案例分析294
3.7　异常案例分析399
3.7.1　一维数据分析104
3.7.2　二维数据关系分析105
3.7.3　时序分析方法109
3.7.4　特征值统计分析112
3.7.5　异常案例分析117
3.8　本章小结122
第4章　网络个体行为异常检测研究124
4.1　问题分析和解决思路125
4.1.1　问题分析125
4.1.2　研究内容127
4.1.3　研究思路128
4.2　网络个体行为轮廓构建的
方法和定义129
4.2.1　网络个体行为特征向量130
4.2.2　网络个体行为特征集和
抽取算法135
4.3　网络个体行为的异常检测方法137
4.4　Spark并行化设计142
4.5　异常案例分析1142
4.6　异常案例分析2152
4.7　异常案例分析3159
4.8　本章小结173
第5章　主机群行为异常检测研究175
5.1　问题分析和解决思路176
5.1.1　问题分析176
5.1.2　研究内容178
5.1.3　研究思路179
5.2　主机群行为演化事件识别的
方法和定义181
5.2.1　主机群行为识别181
5.2.2　动态图演化事件的定义183
5.3　主机群行为的异常检测算法188
5.4　Spark并行化设计189
5.5　异常案例分析1191
5.6　异常案例分析2206
5.7　本章小结212
第6章　总结和展望213
6.1　总结213
6.2　展望215
参考文献217

本书首先系统地总结了网络行为分析的相关研究背景和*新进展，重点针对“整
体”“个体”“主机群”网络行为的研究现状进行了对比和总结，分析了网络行为特征
和异常检测方法在检测率、运行效率、全面性和新型异常行为的识别能力等方面的
不足。其次，针对这些不足，结合图论、特征工程、数据挖掘以及大数据分析等技术，
以网络流量作为切入点，将图结构、属性以及动态变化的信息引入模型中，通过对用
户行为特征的理解、分析和建模，从宏观到微观、由整体到局部，系统地研究了整体
网络行为、网络个体行为和主机群行为，定义了更为有效的网络行为特征集、异常检
测模型及其并行化算法，并进行了实验和异常案例分析。