日志管理与分析（第2版）

本书基于主流日志管理与分析系统的设计理念，完善、透彻地对日志分析各流程模块的原理与实现进行了系统性讲解，综合介绍了日志分析技术在数据治理、智能运维、可观测性、SIEM、UEBA、SOAR等IT运维及安全复杂场景中的应用，并汇总了各行业优秀的解决方案。第1～3章介绍了日志分析的基本概念、日志管理相关的法律法规及规范要求、日志管理与分析系统的组成部分及技术选型建议。第4～10章分别针对日志采集、字段解析、日志存储、日志分析、日志数据搜索处理语言SPL、日志告警、日志可视化等日志分析中重要的实现步骤进行了具体阐述。第11～14章介绍了日志平台兼容性与扩展性，日志分析在运维数据治理、智能运维与可观测性等近年热门场景中的应用。第15～17章介绍了SIEM、NTA、UEBA及SOAR等安全相关内容。第18章总结列举了日志管理与分析技术方案在金融、能源、运营商等各关键行业的解决方案。

本书基于主流日志管理与分析系统的设计理念，完善、透彻地对日志分析各流程模块的原理与实现进行了系统性讲解，综合介绍了日志分析技术在数据治理、智能运维、可观测性、SIEM、UEBA、SOAR等IT运维及安全复杂场景中的应用，并汇总了各行业优秀的解决方案。第1～3章介绍了日志分析的基本概念、日志管理相关的法律法规及规范要求、日志管理与分析系统的组成部分及技术选型建议。第4～10章分别针对日志采集、字段解析、日志存储、日志分析、日志数据搜索处理语言SPL、日志告警、日志可视化等日志分析中最重要的实现步骤进行了具体阐述。第11～14章介绍了日志平台兼容性与扩展性，日志分析在运维数据治理、智能运维与可观测性等近年热门场景中的应用。第15～17章介绍了SIEM、NTA、UEBA及SOAR等安全相关内容。第18章总结列举了日志管理与分析技术方案在金融、能源、运营商等各关键行业的解决方案。

北京优特捷信息技术有限公司（简称“日志易”）是工业和信息化部认定的专精特新“小巨人”企业，拥有信创自研的日志搜索引擎Beaver与搜索处理语言SPL（Search Processing Language），技术自主可控。日志易致力于日志管理与分析技术的开发、实践与推广，已经帮助数百家大型企业加速推进数字化转型。本书作者团队成员包括日志易创始人&CEO陈军、技术负责人黎吾平、运维产品负责人&行业专家饶琛琳、安全产品负责人施泽寰等。日志易创始人&CEO陈军，前高德地图技术副总裁，曾任职Cisco、Google、腾讯等国际知名公司，拥有20余年IT及互联网研发管理经验，在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验，发明了4项网络及分布式系统美国专利。日志易创始人&CEO陈军，前高德地图技术副总裁，曾任职Cisco、Google、腾讯等国际知名公司，拥有20余年IT及互联网研发管理经验，在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验，发明了4项网络及分布式系统美国专利。

目 录 
第1章 走近日志 001 
1.1 什么是日志 002 
1.1.1 日志的概念 002 
1.1.2 日志生态系统 002 
1.1.3 日志的作用 003 
1.2 日志数据 004 
1.2.1 日志环境与日志类型 004 
1.2.2 日志语法 005 
1.2.3 日志管理规范 007 
1.2.4 日志使用误区 008 
1.3 云日志 008 
1.4 日志使用场景 009 
1.4.1 故障排查 009 
1.4.2 运维监控 010 
1.4.3 安全审计 010 
1.4.4 业务分析 011 
1.4.5 物联网 013 
1.5 日志未来展望 013 
第2章 日志管理 015 
2.1 日志管理相关法律 016 
2.2 日志管理要求 016 
2.3 日志管理中存在的问题 017 
2.4 日志管理的好处 018 
2.5 日志归档 021 
第3章 日志管理与分析系统 022 
3.1 日志管理与分析系统的基本功能 023 
3.1.1 日志采集 023 
3.1.2 数据清洗 023 
3.1.3 日志存储 024 
3.1.4 日志告警 024 
3.1.5 日志分析 024 
3.1.6 日志可视化 025 
3.1.7 日志智能分析 025 
3.1.8 用户与权限管理 025 
3.1.9 系统管理 025 
3.2 日志管理与分析系统技术选型 026 
3.2.1 日志分析的基本工具 026 
3.2.2 开源 自研 028 
3.2.3 商业产品 028 
3.3 小结 031 
第4章 日志采集 032 
4.1 日志采集方式 033 
4.1.1 Agent采集 033 
4.1.2 Syslog 034 
4.1.3 抓包 035 
4.1.4 接口采集 035 
4.1.5 业务埋点采集 035 
4.1.6 Docker日志采集 036 
4.2 日志采集常见问题 037 
4.2.1 事件合并 037 
4.2.2 高并发日志采集 038 
4.2.3 深层次目录采集 038 
4.2.4 大量小文件日志采集 039 
4.2.5 其他日志采集问题 039 
4.3 小结 040 
第5章 字段解析 041 
5.1 字段的概念 042 
5.2 通用字段 042 
5.2.1 时间戳 043 
5.2.2 日志来源 043 
5.2.3 执行结果 043 
5.2.4 日志优先级 043 
5.3 字段抽取 044 
5.3.1 日志语法 044 
5.3.2 字段抽取方法 045 
5.3.3 常用日志类型的字段抽取 047 
5.4 schema on write与schema on read 048 
5.5 字段解析常见问题 049 
5.5.1 字段存在别名 049 
5.5.2 多个时间戳 049 
5.5.3 特殊字符 049 
5.5.4 封装成标准日志 050 
5.5.5 类型转换 050 
5.5.6 敏感信息替换 050 
5.5.7 HEX转换 050 
5.6 小结 051 
第6章 日志存储 052 
6.1 日志存储形式 053 
6.1.1 普通文本 053 
6.1.2 二进制文本 054 
6.1.3 压缩文本 056 
6.1.4 加密文本 057 
6.2 日志存储方式 057 
6.2.1 数据库存储 057 
6.2.2 分布式存储 060 
6.2.3 文件检索系统存储 061 
6.2.4 云存储 063 
6.3 日志物理存储 064 
6.4 日志留存策略 064 
6.4.1 空间策略维度 065 
6.4.2 时间策略维度 065 
6.4.3 起始位移策略维度 065 
6.5 日志搜索引擎 065 
6.5.1 日志搜索概述 066 
6.5.2 实时搜索引擎 066 
6.6 小结 067 
第7章 日志分析 068 
7.1 日志分析现状 069 
7.1.1 对日志的必要性认识不足 069 
7.1.2 缺乏日志分析专业人才 069 
7.1.3 日志体量大且分散，问题定位难 069 
7.1.4 数据外泄 069 
7.1.5 忽略日志本身的价值 070 
7.2 日志分析解决方案 070 
7.2.1 数据集中管理 070 
7.2.2 日志分析维度 071 
7.3 常用分析方法 072 
7.3.1 基线 072 
7.3.2 聚类 072 
7.3.3 阈值 073 
7.3.4 异常检测 073 
7.3.5 机器学习 073 
7.4 日志分析案例 074 
7.4.1 Linux系统日志分析案例 074 
7.4.2 运营分析案例 075 
7.4.3 交易监控案例 077 
7.4.4 VPN异常用户行为监控案例 077 
7.4.5 高效运维案例 078 
7.5 SPL简介 079 
7.6 小结 081 
第8章 SPL 082 
8.1 SPL简介 083 
8.2 SPL学习经验 083 
8.3 小试牛刀 084 
8.3.1 基本查询与统计 088 
8.3.2 统计命令 089 
8.3.3 分时统计 091 
8.3.4 重命名 092 
8.4 图表的使用 093 
8.4.1 可视化：体现数据趋势的图表 093 
8.4.2 快速获取排名 094 
8.5 数据整理 095 
8.5.1 赋值与计算 095 
8.5.2 只留下需要的数据 101 
8.5.3 过滤项 101 
8.5.4 利用表格 102 
8.5.5 排序突出重点 104 
8.5.6 去冗余 105 
8.5.7 限量显示 106 
8.5.8 实现跨行计算 107 
8.5.9 只留下想要的字段 108 
8.6 关联分析 109 
8.6.1 数据关联与子查询 109 
8.6.2 关联 112 
8.6.3 数据对比 113 
8.7 小结 115 
第9章 日志告警 116 
9.1 概述 117 
9.2 监控设置 117 
9.3 告警监控分类 120 
9.3.1 命中数统计类型的告警监控 121 
9.3.2 字段统计类型的告警监控 121 
9.3.3 连续统计类型的告警监控 122 
9.3.4 基线对比类型的告警监控 122 
9.3.5 自定义统计类型的告警监控 123 
9.3.6 智能告警 124 
9.4 告警方式 124 
9.4.1 告警发送方式 124 
9.4.2 告警抑制和恢复 126 
9.4.3 告警的插件化管理 127 
9.5 小结 127 
第10章 日志可视化 128 
10.1 概述 129 
10.2 可视化分析 129 
10.2.1 初识可视化 129 
10.2.2 图表与数据 130 
10.3 图表详解 131 
10.3.1 序列类图表 132 
10.3.2 维度类图表 136 
10.3.3 关系类图表 140 
10.3.4 复合类图表 143 
10.3.5 地图类图表 145 
10.3.6 其他图表 146 
10.4 日志可视化案例 151 
10.4.1 MySQL性能日志可视化 151 
10.4.2 金融业务日志可视化 155 
10.5 小结 158 
第11章 日志平台兼容性与扩展性 159 
11.1 RESTful API 160 
11.1.1 RESTful API概述 160 
11.1.2 常见日志管理API类型 161 
11.1.3 API设计案例 162 
11.2 日志App 163 
11.2.1 日志App概述 163 
11.2.2 日志App的作用和特点 163 
11.2.3 常见日志App类型 164 
11.2.4 典型日志App案例 167 
11.2.5 日志App的发展 171 
第12章 运维数据治理 172 
12.1 运维数据治理背景 173 
12.2 运维数据治理方法 175 
12.2.1 元数据管理 176 
12.2.2 主数据管理 176 
12.2.3 数据标准管理 176 
12.2.4 数据质量管理 177 
12.2.5 数据模型及服务 177 
12.2.6 数据安全 177 
12.2.7 数据生命周期 177 
12.3 运维数据治理工具 178 
12.3.1 工具定位 178 
12.3.2 整体架构 178 
12.3.3 数据接入管理 179 
12.3.4 数据标准化管理 179 
12.3.5 数据存储管理 182 
12.3.6 数据应用与服务 184 
第13章 智能运维 186 
13.1 概述 187 
13.2 异常检测 187 
13.2.1 单指标异常检测 188 
13.2.2 多指标异常检测 193 
13.3 根因分析 195 
13.3.1 相关性分析 195 
13.3.2 事件关联关系挖掘 197 
13.4 日志分析 197 
13.4.1 日志预处理 198 
13.4.2 日志模式识别 199 
13.4.3 日志异常检测 199 
13.5 告警收敛 200 
13.6 趋势预测 202 
13.7 故障预测 203 
13.7.1 故障预测的方法 203 
13.7.2 故障预测的落地与评估 204 
13.8 智能运维对接自动化运维 205 
13.9 智能运维面临的挑战 206 
第14章 可观测性 207 
14.1 概述 208 
14.1.1 可观测性的由来 208 
14.1.2 可观测性与监控 208 
14.1.3 可观测性的三大支柱 209 
14.2 实现可观测性的方法 210 
14.2.1 数据模型 211 
14.2.2 数据来源 211 
14.3 可观测性应用场景 215 
14.3.1 运维监控 215 
14.3.2 链路追踪 217 
14.3.3 指标探索 219 
14.3.4 故障定位 220 
14.4 小结 221 
第15章 SIEM 222 
15.1 概述 223 
15.2 信息安全建设中存在的问题 223 
15.3 日志分析在SIEM中的作用 224 
15.4 日志分析与安全设备分析的异同 224 
15.5 SIEM功能架构 225 
15.6 SIEM适用场景 226 
15.7 用户行为分析 234 
15.8 流量分析 240 
15.8.1 流量协议介绍 240 
15.8.2 流量分析功能 241 
15.8.3 从WebLogic RCE漏洞到挖矿 241 
15.9 小结 249 
第16章 UEBA 250 
16.1 深入理解用户行为 251 
16.1.1 背景介绍 251 
16.1.2 数据源 252 
16.1.3 标签画像 254 
16.2 行为分析模型 255 
16.2.1 分析方法 255 
16.2.2 机器学习模型 257 
16.3 应用场景 261 
16.3.1 数据泄露 261 
16.3.2 离职分析 261 
16.3.3 合规分析 261 
16.3.4 失陷账户 262 
16.4 小结 265 
第17章 安全编排、自动化与响应 266 
17.1 SOAR简介 267 
17.2 SOAR架构与功能 268 
17.2.1 技术架构 268 
17.2.2 剧本与组件的定义 269 
17.2.3 剧本与组件的使用 269 
17.3 SOAR与SIEM的关系 271 
17.3.1 SOAR与SIEM关联使用 273 
17.3.2 SOAR与SIEM信息同步 274 
17.4 应用场景 276 
17.4.1 自动化封禁场景 276 
17.4.2 DNS网络取证分析场景 277 
17.5 小结 279 
第18章 行业解决方案 280 
18.1 概述 281 
18.2 银行行业解决方案 281 
18.2.1 行业背景 281 
18.2.2 行业当前挑战 281 
18.2.3 整体建设思路 282 
18.2.4 项目整体收益 286 
18.3 证券行业解决方案 286 
18.3.1 行业背景 286 
18.3.2 行业当前挑战 286 
18.3.3 整体建设思路 287 
18.3.4 项目整体收益 289 
18.4 保险行业解决方案 290 
18.4.1 行业背景 290 
18.4.2 行业当前挑

本书基于主流日志管理与分析系统的设计理念，完善、透彻地对日志分析各流程模块的原理与实现进行了系统性讲解，综合介绍了日志分析技术在数据治理、智能运维、可观测性、SIEM、UEBA、SOAR等IT运维及安全复杂场景中的应用，并汇总了各行业优秀的解决方案。第1～3章介绍了日志分析的基本概念、日志管理相关的法律法规及规范要求、日志管理与分析系统的组成部分及技术选型建议。第4～10章分别针对日志采集、字段解析、日志存储、日志分析、日志数据搜索处理语言SPL、日志告警、日志可视化等日志分析中重要的实现步骤进行了具体阐述。第11～14章介绍了日志平台兼容性与扩展性，日志分析在运维数据治理、智能运维与可观测性等近年热门场景中的应用。第15～17章介绍了SIEM、NTA、UEBA及SOAR等安全相关内容。第18章总结列举了日志管理与分析技术方案在金融、能源、运营商等各关键行业的解决方案。

北京优特捷信息技术有限公司（简称“日志易”）是工业和信息化部认定的专精特新“小巨人”企业，拥有信创自研的日志搜索引擎Beaver与搜索处理语言SPL（Search Processing Language），技术自主可控。日志易致力于日志管理与分析技术的开发、实践与推广，已经帮助数百家大型企业加速推进数字化转型。本书作者团队成员包括日志易创始人&CEO陈军、技术负责人黎吾平、运维产品负责人&行业专家饶琛琳、安全产品负责人施泽寰等。日志易创始人&CEO陈军，前高德地图技术副总裁，曾任职Cisco、Google、腾讯等国际知名公司，拥有20余年IT及互联网研发管理经验，在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验，发明了4项网络及分布式系统美国专利。日志易创始人&CEO陈军，前高德地图技术副总裁，曾任职Cisco、Google、腾讯等国际知名公司，拥有20余年IT及互联网研发管理经验，在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验，发明了4项网络及分布式系统美国专利。