Zeek实战——快速构建流量安全能力

能够编写、出版一本专业类书籍是我参加工作后的夙愿，但时光荏苒如白驹过隙，一转眼人已到中年。刚入行时自己相关经验尚浅。入行10年以后，虽然技术积累已足，但又忙于工作及生活，无暇静下心来进行积淀。终于在2020年的下半年，我结束了在外漂泊的工作状态，回到了家人身边。同时，我感觉自己在当前工作岗位上已是驾轻就熟，不至于经常陷入加班“救火”或“填坑”的恶性循环之中。遂决定开始实现自己的愿望。
我在入行之初从事的是操作系统底层的开发工作，有动力深入了解编程语言的原理和机制。次接触Zeek是因为其内建了一套专用的编程语言，也就是本书中将会介绍到的Zeek脚本。我希望通过研究如何自建一套编程语言来更深入地了解已有编程语言的内在原理。转做信息安全工作后，在需要使用流量分析工具时我又想到了Zeek。终，Zeek不仅成为了我的常用工具之一，还成为了我研究代码结构的一个常用范例。本书终将主题定为“快速构建流量安全能力”而不是“如何自建编程语言”，一方面是我期望本书能够给尽量多的读者带来更具实质意义的帮助；另一方面则是因为我深感编程语言这一领域实在过于艰深，如果想有所建树的话自己还需精进。
在以何种形式呈现本书内容这一问题上我犹豫了很久。种选择是“由内向外”，直接通过解构Zeek的核心功能来展示其相关特性，然后在已经了解这些特性的基础上再介绍如何搭建流量分析体系。这种方式由深到浅，要求读者在阅读本书之前必须对Zeek已经有了一定了解且有更深入去了解的兴趣。使用这种方式固然可以让本书的内容看起来更“高大上”，但对于绝大部分读者来说没那么友好。第二种选择是“由外向内”，先讲解Zeek的基本使用，进而对其关键特性进行介绍，然后在此基础上开始介绍如何搭建流量分析体系，后才深入Zeek的核心功能。这种方式由浅入深，即便是没接触过Zeek的读者也可以通过本书前几章内容快速了解并判断Zeek是不是有利于解决其所面临的问题。当然，这样的方式会让本书看起来比较普通，而且由于需要花篇幅去介绍Zeek的基本使用，有些我认为Zeek在架构、功能设计上的精彩之处也只能被删减。因为我编写本书的目的是想要更多人了解并应用Zeek，所以终采用了第二种方式。鉴于此，本书在内容上分为3个部分: 第1部分主要阐述流量分析的作用与意义，使读者对流量分析形成一个基本概念；第2部分主要介绍Zeek的基本使用方法，并通过示例展示如何在实际场景中应用Zeek，使Zeek能够在读者的手中快速发挥作用，并使读者有动力去深入了解、学习Zeek；第3部分对充分使用Zeek所需要掌握的内容进行介绍，包括Zeek脚本、Zeek框架等。
本书终能够出版得益于很多人的支持。首先要感谢我的父母、妻子和孩子们，是他们让我免于烦琐的家庭事务，能够专心完成本书。其次要感谢清华大学出版社的编辑，在本书出版过程中给出了很多专业意见，这些意见也让我受益良多。其他需要感谢的朋友实在无法一一列出，只能在此统一致谢。
由于作者水平有限，书中不当之处在所难免，欢迎广大同行和读者批评指正。同时，希望本书能起到抛砖引玉的作用。之前的事实证明，开源软件并非触手可及。所以对于好的开源软件，我们只能通过“吃透”才能将其真正变成自己的东西。囿于国内目前稍显有些浮躁的行业氛围，有“吃透”想法的同行短期内可能获得不了任何实际支持，但请不要放弃，我相信随着行业的进一步成熟，您所了解的东西一定能够发挥作用并能从中受益。
本书配套源代码可以扫描下方二维码获取。
源代码
高勇2022年10月

本书深入介绍流量安全分析工具Zeek，内容涵盖环境搭建、工具安装、基础应用和Zeek脚本编程等多个方面。同时，本书还结合网络安全工作中的实际需求向读者展示以Zeek为基础快速搭建一套相对完整的流量分析体系的过程。 全书共分3部分: 第1部分（第1章）着重介绍网络流量分析在网络安全工作中的重要意义，以及一个完整流量分析体系的大致框架；第2部分（第2～5章）为基础篇，着重介绍Zeek的基本功能及使用方法，并在第5章中通过6个示例向读者展示Zeek在实际场景中的运用；第3部分（第6～8章）为进阶篇，重点介绍使用Zeek时需要了解的脚本编程内容及相关功能框架，并在第8章中通过示例向读者展示如何将一个流量分析目标终落地成可运行的Zeek脚本。 本书适合作为信息安全从业人员、流量分析相关工作者的工具书，同时可供对Zeek或流量分析领域感兴趣的开发人员、广大科技工作者和研究人员参考。

高勇，CISA、CISSP、CISP、PMP、ISO27001LA认证专家，先后在华为、平安等头部企业从事信息安全工作，当前主要聚焦在金融数据安全领域。同时也是一个Geek，热衷于钻研各种安全技术，并乐此不疲。

第1章网络流量与网络安全第1章网络流量与网络安全1
1.1网络与安全1
1.2流量与网络3
1.3流量分析4
1.4经验与总结7
基础篇
第2章Zeek介绍112.1Zeek是什么11
2.2Zeek的特点13
2.2.1部署使用14
2.2.2内置功能15
2.2.3开发语言15
2.3Zeek的功能架构16
2.4Zeek的应用场景18
2.5Zeek的版本与相关资源21
2.6经验与总结21
第3章搭建环境23
3.1本书运行环境23
3.1.1安装VirtualBox24
3.1.2创建虚拟机26
3.1.3安装Ubuntu Desktop操作系统26
3.1.4优化运行环境30
3.1.5配置网络34
3.2从外部源安装Zeek39
3.3从源代码安装Zeek42
3.4运行Zeek42
3.5经验与总结44
第4章认识与使用Zeek45
4.1目录结构45
4.2zeek命令与zeekctl命令52
4.2.1zeek命令52
4.2.2zeekctl命令56
4.3分析日志（logging）58
4.3.1日志的功能60
4.3.2日志的存储63
4.4conn.log日志文件64
4.4.1uid字段65
4.4.2orig、resp与local等字段72
4.4.3conn_state与history字段73
4.5加载脚本76
4.6zeekcut工具77
4.7zeekygen工具80
4.8btest框架82
4.9经验与总结87
第5章基础应用示例88
5.1发现网络资产88
5.2网络扫描93
5.3SSH暴力破解96
5.4SQL注入99
5.5文件解析102
5.6可视化分析108
5.7经验与总结118
Zeek实战——快速构建流量安全能力目录进阶篇
第6章Zeek脚本1216.1“Hello World！”程序121
6.2基本语法122
6.3运算符（operator）124
6.3.1算术运算符124
6.3.2逻辑运算符124
6.3.3关系运算符125
6.3.4位运算符125
6.3.5赋值运算符126
6.3.6其他运算符126
6.4数据类型（types）127
6.4.1int、count、double数据类型127
6.4.2bool数据类型130
6.4.3enum数据类型130
6.4.4string数据类型133
6.4.5time、interval数据类型135
6.4.6pattern数据类型137
6.4.7port、addr、subnet数据类型138
6.4.8set、vector、table数据类型139
6.4.9record数据类型147
6.4.10file数据类型148
6.4.11opaque数据类型149
6.4.12function、event、hook数据类型150
6.4.13any数据类型155
6.5声明（declarations）155
6.5.1module、export声明155
6.5.2global、local声明158
6.5.3const声明160
6.5.4option声明160
6.5.5type声明161
6.5.6redef声明161
6.5.7function、event、hook声明162
6.6语句（statements）163
6.6.1add、delete语句163
6.6.2print语句163
6.6.3event、schedule语句164
6.6.4for、while、next语句165
6.6.5if、else、switch、fallthrough语句168
6.6.6when语句170
6.6.7break语句172
6.6.8return语句172
6.7属性（attributes）173
6.7.1&redef属性173
6.7.2&priority属性173
6.7.3&log属性173
6.7.4&optional属性173
6.7.5&default属性173
6.7.6&add_func、&delete_func属性174
6.7.7&create_expire、&read_expire、&write_expire、&expire_func属性175
6.7.8&on_change属性177
6.7.9&raw_output属性178
6.7.10&error_handler属性179
6.7.11&type_column属性179
6.7.12&backend、&broker_store、&broker_allow_complex_type属性179
6.7.13&deprecated属性179
6.8指令（directives）179
6.8.1@DIR、@FILENAME指令179
6.8.2@deprecated指令180
6.8.3@load、@loadplugin、@loadsigs、@unload指令180
6.8.4@prefixes指令181
6.8.5@if、@ifdef、@ifndef、@else、@endif指令181
6.8.6@DEBUG指令183
6.9模块、命名空间与作用域183
6.9.1全局模块184
6.9.2符号的作用域185
6.9.3符号检索的顺序187
6.10常用数据结构188
6.10.1GLOBAL::conn_id结构188
6.10.2GLOBAL::endpoint结构189
6.10.3GLOBAL::connection结构189
6.11经验与总结190
第7章Zeek框架192
7.1日志框架（Log::）192
7.1.1日志流193
7.1.2过滤器194
7.1.3输出端195
7.1.4代码示例195
7.2输入框架（Input::）197
7.2.1读取至table类型197
7.2.2读取至Files::框架200
7.2.3读取至event事件200
7.2.4数据来源201
7.3配置框架（Config::）202
7.4统计框架（SumStats::）206
7.4.1基础概念及使用方法206
7.4.2关键数据结构及接口208
7.5通知框架（Notice::）211
7.5.1基础使用方法212
7.5.2添加action214
7.5.3Weird::模块216
7.6文件框架（Files::）217
7.6.1文件视角217
7.6.2分析器222
7.6.3本地文件分析225
7.7情报框架（Intel::）227
7.7.1形成情报数据227
7.7.2查询情报的逻辑229
7.7.3命中之后的行为229
7.7.4代码示例229
7.8特征框架（Signatures::）231
7.8.1基本功能232
7.8.2特征语法234
7.9经验与总结239
第8章进阶应用示例242
8.1常用资源242
8.2分析目标243
8.3规划脚本243
8.4实现功能244
8.5经验与总结247

本书深入介绍流量安全分析工具Zeek，内容涵盖环境搭建、工具安装、基础应用和Zeek脚本编程等多个方面。同时，本书还结合网络安全工作中的实际需求向读者展示以Zeek为基础快速搭建一套相对完整的流量分析体系的过程。 全书共分3部分: 第1部分（第1章）着重介绍网络流量分析在网络安全工作中的重要意义，以及一个完整流量分析体系的大致框架；第2部分（第2～5章）为基础篇，着重介绍Zeek的基本功能及使用方法，并在第5章中通过6个示例向读者展示Zeek在实际场景中的运用；第3部分（第6～8章）为进阶篇，重点介绍使用Zeek时需要了解的脚本编程内容及相关功能框架，并在第8章中通过示例向读者展示如何将一个流量分析目标终落地成可运行的Zeek脚本。 本书适合作为信息安全从业人员、流量分析相关工作者的工具书，同时可供对Zeek或流量分析领域感兴趣的开发人员、广大科技工作者和研究人员参考。

高勇，CISA、CISSP、CISP、PMP、ISO27001LA认证专家，先后在华为、平安等头部企业从事信息安全工作，当前主要聚焦在金融数据安全领域。同时也是一个Geek，热衷于钻研各种安全技术，并乐此不疲。

本书对Zeek这一流量安全分析工具进行了深入介绍，涵盖环境搭建、工具安装、基础使用、Zeek脚本编程等多个方面。在进行介绍的同时，本书还结合网络安全工作中的实际需求向读者展示了如何以Zeek为基础快速搭建起一套相对完整的流量分析体系。全书共分3部分：第1部分(第1章)着重介绍了网络流量分析在网络安全工作中的重要意义，以及一个完整流量分析体系的大致框架；第2部分(第2-5章)为基础篇，着重介绍了Zeek这一流量分析工具的基本功能及使用方法，并在第5章通过6个示例向读者展示了Zeek在实际场景中的运用，第3部分(第6-8章)为进阶篇，重点介绍了使用Zeek需要了解的脚本编程内容及相关功能框架，并在最后1章中通过示例向读者展示如何将一个流量分析目标最终落地成可运行的Zeek脚本。