日志管理与分析（第2版）

图书标准信息

• 作者 日志易
• 出版社 电子工业出版社
• 出版时间 2023-02
• 版次 1
• ISBN 9787121448218
• 定价 118.00元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 352页

【内容简介】

本书基于主流日志管理与分析系统的设计理念，完善、透彻地对日志分析各流程模块的原理与实现进行了系统性讲解，综合介绍了日志分析技术在数据治理、智能运维、可观测性、SIEM、UEBA、SOAR等IT运维及安全复杂场景中的应用，并汇总了各行业优秀的解决方案。第1～3章介绍了日志分析的基本概念、日志管理相关的法律法规及规范要求、日志管理与分析系统的组成部分及技术选型建议。第4～10章分别针对日志采集、字段解析、日志存储、日志分析、日志数据搜索处理语言SPL、日志告警、日志可视化等日志分析中最重要的实现步骤进行了具体阐述。第11～14章介绍了日志平台兼容性与扩展性，日志分析在运维数据治理、智能运维与可观测性等近年热门场景中的应用。第15～17章介绍了SIEM、NTA、UEBA及SOAR等安全相关内容。第18章总结列举了日志管理与分析技术方案在金融、能源、运营商等各关键行业的解决方案。

【作者简介】

北京优特捷信息技术有限公司（简称“日志易”）是工业和信息化部认定的专精特新“小巨人”企业，拥有信创自研的日志搜索引擎Beaver与搜索处理语言SPL（Search Processing Language），技术自主可控。日志易致力于日志管理与分析技术的开发、实践与推广，已经帮助数百家大型企业加速推进数字化转型。本书作者团队成员包括日志易创始人&CEO陈军、技术负责人黎吾平、运维产品负责人&行业专家饶琛琳、安全产品负责人施泽寰等。日志易创始人&CEO陈军，前高德地图技术副总裁，曾任职Cisco、Google、腾讯等国际知名公司，拥有20余年IT及互联网研发管理经验，在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验，发明了4项网络及分布式系统美国专利。日志易创始人&CEO陈军，前高德地图技术副总裁，曾任职Cisco、Google、腾讯等国际知名公司，拥有20余年IT及互联网研发管理经验，在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验，发明了4项网络及分布式系统美国专利。

【目录】

目    录

第1章  走近日志001

1.1  什么是日志002

1.1.1  日志的概念002

1.1.2  日志生态系统002

1.1.3  日志的作用003

1.2  日志数据004

1.2.1  日志环境与日志类型004

1.2.2  日志语法005

1.2.3  日志管理规范007

1.2.4  日志使用误区008

1.3  云日志008

1.4  日志使用场景009

1.4.1  故障排查009

1.4.2  运维监控010

1.4.3  安全审计010

1.4.4  业务分析011

1.4.5  物联网013

1.5  日志未来展望013

第2章  日志管理015

2.1  日志管理相关法律016

2.2  日志管理要求016

2.3  日志管理中存在的问题017

2.4  日志管理的好处018

2.5  日志归档021

第3章  日志管理与分析系统022

3.1  日志管理与分析系统的基本功能023

3.1.1  日志采集023

3.1.2  数据清洗023

3.1.3  日志存储024

3.1.4  日志告警024

3.1.5  日志分析024

3.1.6  日志可视化025

3.1.7  日志智能分析025

3.1.8  用户与权限管理025

3.1.9  系统管理025

3.2  日志管理与分析系统技术选型026

3.2.1  日志分析的基本工具026

3.2.2  开源+自研028

3.2.3  商业产品028

3.3  小结031

第4章  日志采集032

4.1  日志采集方式033

4.1.1  Agent采集033

4.1.2  Syslog034

4.1.3  抓包035

4.1.4  接口采集035

4.1.5  业务埋点采集035

4.1.6  Docker日志采集036

4.2  日志采集常见问题037

4.2.1  事件合并037

4.2.2  高并发日志采集038

4.2.3  深层次目录采集038

4.2.4  大量小文件日志采集039

4.2.5  其他日志采集问题039

4.3  小结040

第5章  字段解析041

5.1  字段的概念042

5.2  通用字段042

5.2.1  时间戳043

5.2.2  日志来源043

5.2.3  执行结果043

5.2.4  日志优先级043

5.3  字段抽取044

5.3.1  日志语法044

5.3.2  字段抽取方法045

5.3.3  常用日志类型的字段抽取047

5.4  schema on write与schema on read048

5.5  字段解析常见问题049

5.5.1  字段存在别名049

5.5.2  多个时间戳049

5.5.3  特殊字符049

5.5.4  封装成标准日志050

5.5.5  类型转换050

5.5.6  敏感信息替换050

5.5.7  HEX转换050

5.6  小结051

第6章  日志存储052

6.1  日志存储形式053

6.1.1  普通文本053

6.1.2  二进制文本054

6.1.3  压缩文本056

6.1.4  加密文本057

6.2  日志存储方式057

6.2.1  数据库存储057

6.2.2  分布式存储060

6.2.3  文件检索系统存储061

6.2.4  云存储063

6.3  日志物理存储064

6.4  日志留存策略064

6.4.1  空间策略维度065

6.4.2  时间策略维度065

6.4.3  起始位移策略维度065

6.5  日志搜索引擎065

6.5.1  日志搜索概述066

6.5.2  实时搜索引擎066

6.6  小结067

第7章  日志分析068

7.1  日志分析现状069

7.1.1  对日志的必要性认识不足069

7.1.2  缺乏日志分析专业人才069

7.1.3  日志体量大且分散，问题定位难069

7.1.4  数据外泄069

7.1.5  忽略日志本身的价值070

7.2  日志分析解决方案070

7.2.1  数据集中管理070

7.2.2  日志分析维度071

7.3  常用分析方法072

7.3.1  基线072

7.3.2  聚类072

7.3.3  阈值073

7.3.4  异常检测073

7.3.5  机器学习073

7.4  日志分析案例074

7.4.1  Linux系统日志分析案例074

7.4.2  运营分析案例075

7.4.3  交易监控案例077

7.4.4  VPN异常用户行为监控案例077

7.4.5  高效运维案例078

7.5  SPL简介079

7.6  小结081

第8章  SPL082

8.1  SPL简介083

8.2  SPL学习经验083

8.3  小试牛刀084

8.3.1  基本查询与统计088

8.3.2  统计命令089

8.3.3  分时统计091

8.3.4  重命名092

8.4  图表的使用093

8.4.1  可视化：体现数据趋势的图表093

8.4.2  快速获取排名094

8.5  数据整理095

8.5.1  赋值与计算095

8.5.2  只留下需要的数据101

8.5.3  过滤项101

8.5.4  利用表格102

8.5.5  排序突出重点104

8.5.6  去冗余105

8.5.7  限量显示106

8.5.8  实现跨行计算107

8.5.9  只留下想要的字段108

8.6  关联分析109

8.6.1  数据关联与子查询109

8.6.2  关联112

8.6.3  数据对比113

8.7  小结115

第9章  日志告警116

9.1  概述117

9.2  监控设置117

9.3  告警监控分类120

9.3.1  命中数统计类型的告警监控121

9.3.2  字段统计类型的告警监控121

9.3.3  连续统计类型的告警监控122

9.3.4  基线对比类型的告警监控122

9.3.5  自定义统计类型的告警监控123

9.3.6  智能告警124

9.4  告警方式124

9.4.1  告警发送方式124

9.4.2  告警抑制和恢复126

9.4.3  告警的插件化管理127

9.5  小结127

第10章  日志可视化128

10.1  概述129

10.2  可视化分析129

10.2.1  初识可视化129

10.2.2  图表与数据130

10.3  图表详解131

10.3.1  序列类图表132

10.3.2  维度类图表136

10.3.3  关系类图表140

10.3.4  复合类图表143

10.3.5  地图类图表145

10.3.6  其他图表146

10.4  日志可视化案例151

10.4.1  MySQL性能日志可视化151

10.4.2  金融业务日志可视化155

10.5  小结158

第11章  日志平台兼容性与扩展性159

11.1  RESTful API160

11.1.1  RESTful API概述160

11.1.2  常见日志管理API类型161

11.1.3  API设计案例162

11.2  日志App163

11.2.1  日志App概述163

11.2.2  日志App的作用和特点163

11.2.3  常见日志App类型164

11.2.4  典型日志App案例167

11.2.5  日志App的发展171

第12章  运维数据治理172

12.1  运维数据治理背景173

12.2  运维数据治理方法175

12.2.1  元数据管理176

12.2.2  主数据管理176

12.2.3  数据标准管理176

12.2.4  数据质量管理177

12.2.5  数据模型及服务177

12.2.6  数据安全177

12.2.7  数据生命周期177

12.3  运维数据治理工具178

12.3.1  工具定位178

12.3.2  整体架构178

12.3.3  数据接入管理179

12.3.4  数据标准化管理179

12.3.5  数据存储管理182

12.3.6  数据应用与服务184

第13章  智能运维186

13.1  概述187

13.2  异常检测187

13.2.1  单指标异常检测188

13.2.2  多指标异常检测193

13.3  根因分析195

13.3.1  相关性分析195

13.3.2  事件关联关系挖掘197

13.4  日志分析197

13.4.1  日志预处理198

13.4.2  日志模式识别199

13.4.3  日志异常检测199

13.5  告警收敛200

13.6  趋势预测202

13.7  故障预测203

13.7.1  故障预测的方法203

13.7.2  故障预测的落地与评估204

13.8  智能运维对接自动化运维205

13.9  智能运维面临的挑战206

第14章  可观测性207

14.1  概述208

14.1.1  可观测性的由来208

14.1.2  可观测性与监控208

14.1.3  可观测性的三大支柱209

14.2  实现可观测性的方法210

14.2.1  数据模型211

14.2.2  数据来源211

14.3  可观测性应用场景215

14.3.1  运维监控215

14.3.2  链路追踪217

14.3.3  指标探索219

14.3.4  故障定位220

14.4  小结221

第15章  SIEM222

15.1  概述223

15.2  信息安全建设中存在的问题223

15.3  日志分析在SIEM中的作用224

15.4  日志分析与安全设备分析的异同224

15.5  SIEM功能架构225

15.6  SIEM适用场景226

15.7  用户行为分析234

15.8  流量分析240

15.8.1  流量协议介绍240

15.8.2  流量分析功能241

15.8.3  从WebLogic RCE漏洞到挖矿241

15.9  小结249

第16章  UEBA250

16.1  深入理解用户行为251

16.1.1  背景介绍251

16.1.2  数据源252

16.1.3  标签画像254

16.2  行为分析模型255

16.2.1  分析方法255

16.2.2  机器学习模型257

16.3  应用场景261

16.3.1  数据泄露261

16.3.2  离职分析261

16.3.3  合规分析261

16.3.4  失陷账户262

16.4  小结265

第17章  安全编排、自动化与响应266

17.1  SOAR简介267

17.2  SOAR架构与功能268

17.2.1  技术架构268

17.2.2  剧本与组件的定义269

17.2.3  剧本与组件的使用269

17.3  SOAR与SIEM的关系271

17.3.1  SOAR与SIEM关联使用273

17.3.2  SOAR与SIEM信息同步274

17.4  应用场景276

17.4.1  自动化封禁场景276

17.4.2  DNS网络取证分析场景277

17.5  小结279

第18章  行业解决方案280

18.1  概述281

18.2  银行行业解决方案281

18.2.1  行业背景281

18.2.2  行业当前挑战281

18.2.3  整体建设思路282

18.2.4  项目整体收益286

18.3  证券行业解决方案286

18.3.1  行业背景286

18.3.2  行业当前挑战286

18.3.3  整体建设思路287

18.3.4  项目整体收益289

18.4  保险行业解决方案290

18.4.1  行业背景290

18.4.2  行业当前挑