大数据及人工智能产教融合系列丛书日志管理与分析

图书标准信息

• 作者 日志易学院 著
• 出版社 电子工业出版社
• 出版时间 2021-03
• 版次 1
• ISBN 9787121406324
• 定价 70.00元
• 装帧 平装
• 开本 16开
• 页数 198页

【内容简介】

本书结合日志易团队的多年经验，依照主流的日志管理系统设计理念，对日志分析的原理与实现步骤进行了系统性讲解。第1~3章分别介绍了日志分析的基本概念、日志管理相关的法律法规及规范要求、日志管理与分析系统的组成部分及技术选型建议。第4~9章分别针对日志采集、字段解析、日志存储、日志分析、日志告警、日志可视化等日志分析中最重要的实现步骤进行了具体阐述。第10~13章介绍了日志平台兼容性与扩展性、智能运维与SIEM相关的内容。

【作者简介】

日志易学院由北京优特捷信息技术有限公司创办，成员主要是优特捷公司技术骨干，专家团成员包括日志易创始人陈军、技术负责人黎吾平、产品负责人&运维专家饶琛琳等。日志易学院致力于研究、推广机器数据分析技术、实践智能运维理论与大数据安全分析场景。日志易学院名称来源于优特捷公司的核心产品“日志易平台”，该平台为日志管理与分析需求提供了完整的解决方案，技术国内领先，核心引擎自主可控，已成为数百家企业提升智能运维和安全运营能力的基础支撑平台。

【目录】

第1章  走近日志001
1．1  什么是日志002
1．1．1  日志的概念002
1．1．2  日志生态系统002
1．1．3  日志的作用003
1．2  日志数据004
1．2．1  日志环境与日志类型005
1．2．2  日志语法006
1．2．3  日志管理规范009
1．2．4  日志使用误区009
1．3  云日志010
1．4  日志使用场景011
1．4．1  运维监控011
1．4．2  安全审计012
1．4．3  业务分析013
1．4．4  物联网015
1．5  日志未来展望016
第2章  日志管理017
2．1  概述018
2．2  日志管理相关法律018
2．3  日志管理要求019
2．4  日志管理中存在的问题019
2．5  日志管理的好处020
2．6  日志归档024
第3章  日志管理与分析系统025
3．1  日志管理与分析系统的基本功能026
3．1．1  日志采集026
3．1．2  数据清洗027
3．1．3  日志存储027
3．1．4  日志告警027
3．1．5  日志分析028
3．1．6  日志可视化028
3．1．7  日志智能分析028
3．1．8  用户与权限管理029
3．1．9  系统管理029
3．2  日志管理与分析系统技术选型030
3．2．1  日志分析的基本工具030
3．2．2  开源+自研032
3．2．3  商业产品032
3．3  小结035
第4章  日志采集036
4．1  日志采集方式037
4．1．1  Agent采集037
4．1．2  Syslog038
4．1．3  抓包039
4．1．4  接口采集039
4．1．5  业务埋点采集040
4．1．6  Docker日志采集040
4．2  日志采集常见问题041
4．2．1  事件合并042
4．2．2  高并发日志采集043
4．2．3  深层次目录采集043
4．2．4  大量小文件日志采集044
4．2．5  其他日志采集问题044
4．3  小结045
第5章  字段解析046
5．1  字段的概念047
5．2  通用字段048
5．2．1  时间戳048
5．2．2  日志来源048
5．2．3  执行结果049
5．2．4  日志优先级049
5．3  字段抽取049
5．3．1  日志语法050
5．3．2  字段抽取方法050
5．3．3  常用日志类型的字段抽取052
5．4  schema on write与schema on read054
5．5  字段解析常见问题055
5．5．1  字段存在别名055
5．5．2  多个时间戳055
5．5．3  特殊字符055
5．5．4  封装成标准日志056
5．5．5  类型转换056
5．5．6  敏感信息替换056
5．5．7  HEX转换057
5．6  小结057
第6章  日志存储058
6．1  概述059
6．2  日志存储形式059
6．2．1  普通文本059
6．2．2  二进制文本060
6．2．3  压缩文本063
6．2．4  加密文本064
6．3  日志存储方式064
6．3．1  数据库存储064
6．3．2  分布式存储067
6．3．3  文件检索系统存储069
6．3．4  云存储071
6．4  日志物理存储073
6．5  日志留存策略073
6．5．1  空间策略维度074
6．5．2  时间策略维度074
6．5．3  起始位移策略维度074
6．6  日志搜索引擎074
6．6．1  日志搜索概述075
6．6．2  实时搜索引擎075
6．7  小结077
第7章  日志分析078
7．1  概述079
7．2  日志分析现状079
7．2．1  对日志的必要性认识不足079
7．2．2  缺乏日志分析专业人才079
7．2．3  日志体量大且分散，问题定位难080
7．2．4  数据外泄080
7．2．5  忽略日志本身的价值080
7．3  日志分析解决方案080
7．3．1  数据集中管理080
7．3．2  日志分析维度081
7．4  常用分析方法082
7．4．1  基线082
7．4．2  聚类083
7．4．3  阈值083
7．4．4  异常检测083
7．4．5  机器学习084
7．5  日志分析案例085
7．5．1  Linux系统日志分析案例085
7．5．2  运营分析案例086
7．5．3  交易监控案例088
7．5．4  VPN异常用户行为监控案例088
7．5．5  高效运维案例089
7．6  SPL简介090
7．7  小结092
第8章  日志告警093
8．1  概述094
8．2  监控设置094
8．3  告警监控分类098
8．3．1  命中数统计类型的告警监控098
8．3．2  字段统计类型的告警监控099
8．3．3  连续统计类型的告警监控100
8．3．4  基线对比类型的告警监控100
8．3．5  自定义统计类型的告警监控101
8．3．6  智能告警102
8．4  告警方式102
8．4．1  告警发送方式102
8．4．2  告警抑制和恢复105
8．4．3  告警的插件化管理105
8．5  小结105
第9章  日志可视化106
9．1  概述107
9．2  可视化分析107
9．2．1  初识可视化107
9．2．2  图表与数据109
9．3  图表详解110
9．3．1  序列类图表110
9．3．2  维度类图表116
9．3．3  关系类图表119
9．3．4  复合类图表123
9．3．5  地图类图表125
9．3．6  其他图表127
9．4  日志可视化案例134
9．4．1  MySQL性能日志可视化134
9．4．2  金融业务日志可视化138
9．5  小结140
第10章  日志平台兼容性与扩展性142
10．1  RESTful API143
10．1．1  RESTful API概述143
10．1．2  常见日志管理API类型144
10．1．3  API设计案例145
10．2  日志App147
10．2．1  日志App 概述147
10．2．2  日志App的作用和特点147
10．2．3  常见日志App类型148
10．2．4  典型日志App案例151
10．2．5  日志App的发展155
第11章  智能运维157
11．1  概述158
11．2  异常检测159
11．2．1  单指标异常检测160
11．2．2  多指标异常检测166
11．3  根因分析167
11．3．1  相关性分析168
11．3．2  事件关联关系挖掘170
11．4  日志分析170
11．4．1  日志预处理171
11．4．2  日志模式识别172
11．4．3  日志异常检测172
11．5  告警收敛173
11．6  趋势预测175
11．7  智能运维面临的挑战176
第12章  SIEM177
12．1  概述178
12．2  信息安全建设中存在的问题179
12．3  日志分析在SIEM中的作用179
12．4  日志分析与安全设备分析的异同180
12．5  SIEM功能架构181
12．6  SIEM适用场景182
12．7  用户行为分析191
12．8  小结198
参考文献199