作者简介
郑征,计算机专业毕业,硕士,师从李云飞教授,曾发表论文两篇,获两项实用新型专利。工作多年来一直致力于运维开发及数据分析,从事银行数据库、操作系统、大型软件系统相关的运维及开发工作,擅长Python、Shell、SQL。对自动化运维、监控、调度工具、数据库技术有过细致的研究,是Python语言的狂热爱好者。长期专注于Python运维程序开发,致力于解决运维工作过程中的实际问题,提高运维工作的效率,减轻运维工作的负担。
目录
目 录
目 录
第1章 自动化运维与Python 1
1.1 自动化运维概述 1
1.1.1 自动化运维势在必行 1
1.1.2 什么是成熟的自动化运维平台 2
1.1.3 为什么选择Python进行运维 2
1.2 初识Python 6
1.3 Python环境搭建 6
1.3.1 Windows系统下的Python安装 6
1.3.2 Linux系统下的Python安装 9
1.4 开发工具介绍 13
1.4.1 PyCharm 13
1.4.2 vim 17
1.5 Python基础语法 20
1.5.1 数字运算 20
1.5.2 字符串 22
1.5.3 列表与元组 27
1.5.4 字典 29
1.5.5 集合 31
1.5.6 函数 33
1.5.7 条件控制与循环语句 34
1.5.8 可迭代对象、迭代器和生成器 38
1.5.9 对象赋值、浅复制、深复制 42
1.6 多个例子实战Python编程 46
1.6.1 实战1:九九乘法表 46
1.6.2 实战2:发放奖金的梯度 47
1.6.3 实战3:递归获取目录下文件的修改时间 48
1.6.4 实战4:两行代码查找替换3或5的倍数 49
1.6.5 实战5:一行代码的实现 50
1.7 pip工具的使用 50
第2章 基础运维技能 53
2.1 文本处理 53
2.1.1 Python编码解码 53
2.1.2 文件操作 57
2.1.3 读写配置文件 64
2.1.4 解析XML文件 66
2.2 系统信息监控 73
2.3 文件系统监控 78
2.4 执行外部命令subprocess 80
2.4.1 subprocess.run()方法 80
2.4.2 Popen类 82
2.4.3 其他方法 83
2.5 日志记录 83
2.5.1 日志模块简介 84
2.5.2 logging模块的配置与使用 85
2.6 搭建FTP服务器与客户端 91
2.6.1 搭建FTP服务器 91
2.6.2 编写FTP客户端程序 95
2.7 邮件提醒 96
2.7.1 发送邮件 96
2.7.2 接收邮件 101
2.7.3 将报警信息实时发送至邮箱 103
2.8 微信提醒 108
2.8.1 处理微信消息 108
2.8.2 将警告信息发送至微信 112
第3章 实战多进程 115
3.1 创建进程的类Process 115
3.2 进程并发控制之Semaphore 119
3.3 进程同步之Lock 120
3.4 进程同步之Event 122
3.5 进程优先级队列Queue 124
3.6 多进程之进程池Pool 125
3.7 多进程之数据交换Pipe 126
第4章 实战多线程 129
4.1 Python多线程简介 129
4.2 多线程编程之threading模块 133
4.3 多线程同步之Lock(互斥锁) 136
4.4 多线程同步之Semaphore(信号量) 138
4.5 多线程同步之Condition 139
4.6 多线程同步之Event 140
4.7 线程优先级队列(queue) 142
4.8 多线程之线程池pool 143
第5章 实战协程 145
5.1 定义协程 145
5.2 并发 147
5.3 异步请求 148
第6章 自动化运维工具Ansible 153
6.1 Ansible的安装 153
6.2 Ansible配置 154
6.3 inventory文件 155
6.4 Ansible ad-hoc模式 157
6.5 Ansible playbooks模式 165
第7章 定时任务模块APScheduler 169
7.1 安装及基本概念 169
7.1.1 APScheduler的安装 169
7.1.2 APScheduler涉及的几个概念 169
7.1.3 APScheduler的工作流程 170
7.2 配置调度器 172
7.3 启动调度器 175
7.4 调度器事件监听 179
第8章 执行远程命令的工具Paramiko 182
8.1 介绍几个重要的类 182
8.1.1 通道类 182
8.1.2 传输类 183
8.1.3 SSHClient类 184
8.2 Paramiko的使用 185
8.2.1 安装Paramiko 185
8.2.2 基于用户名和密码的SSHClient方式登录 185
8.2.3 基于用户名和密码的Transport方式登录并实现上传与下载 186
8.2.4 基于公钥密钥的SSHClient方式登录 187
8.2.5 基于公钥密钥的Transport方式登录 188
第9章 分布式任务队列Celery 189
9.1 Celery简介 189
9.2 安装Celery 191
9.3 安装RabbitMQ或Redis 192
9.3.1 安装RabbitMQ 192
9.3.2 安装Redis 193
9.4 第一个Celey程序 194
9.5 第一个工程项目 197
9.6 Celery架构 201
9.7 Celery 队列 202
9.8 Celery Beat任务调度 205
9.9 Celery 远程调用 206
9.10 监控与管理 209
9.10.1 Celery命令行实用工具 209
9.10.2 Web实时监控工具Flower 212
9.10.3 Flower的使用方法 213
第10章 任务调度神器Airflow 217
10.1 Airflow简介 217
10.1.1 DAG 218
10.1.2 操作符——Operators 218
10.1.3 时区——timezone 219
10.1.4 Web服务器——webserver 219
10.1.5 调度器——schduler 220
10.1.6 工作节点——worker 220
10.1.7 执行器——Executor 220
10.2 Airflow安装与部署 220
10.2.1 在线安装 221
10.2.2 离线安装 223
10.2.3 部署与配置(以SQLite为知识库) 223
10.2.4 指定依赖关系 228
10.2.5 启动scheduler 228
10.3 Airflow配置MySQL知识库和LocalExecutor 229
10.4 Airflow配置Redis和CeleryExecutor 236
10.5 Airflow任务开发Operators 238
10.5.1 Operators简介 239
10.5.2 BaseOperator 简介 239
10.5.3 BashOperator的使用 240
10.5.4 PythonOperator的使用 241
10.5.5 SSHOperator的使用 242
10.5.6 HiveOperator的使用 243
10.5.7 如何自定义Operator 244
10.6 Airflow集群、高可用部署 244
10.6.1 Airflow的四大守护进程 245
10.6.2 Airflow的守护进程是如何一起工作的 245
10.6.3 Airflow单节点部署 246
10.6.4 Airflow多节点(集群)部署 246
10.6.5 扩展worker节点 247
10.6.6 扩展Master节点 247
10.6.7 Airflow集群部署的具体步骤 249
第11章 Docker容器技术介绍 251
11.1 Docker概述 251
11.2 Docker解决什么问题 252
11.3 Docker的安装部署与使用 253
11.3.1 安装Docker引擎 253
11.3.2 使用Docker 254
11.3.3 Docker命令的使用方法 255
11.4 卷的概念 258
11.5 数据卷共享 259
11.6 自制镜像并发布 260
11.7 Docker网络 260
11.7.1 Docker的网络模式 261
11.7.2 Docker网络端口映射 262
11.8 Docker小结 262
第12章 主流自动化配置工具 263
12.1 配置引擎CFEngine 263
12.1.1 使用CFEngine的四个理由 263
12.1.2 CFEngine的安装 265
12.1.3 CFEngine的配置 268
12.1.4 CFEngine政策示例 272
12.2 自动化运维工具Chef 275
12.2.1 Chef简介 275
12.2.2 Chef的安装 275
12.2.3 Chef的使用 279
12.3 Puppet 280
12.3.1 Puppet简介 280
12.3.2 Puppet安装和配置 281
12.3.3 Puppet配置语言 282
12.3.4 编写第一个配置文件 284
12.4 SaltStack 286
12.4.1 SaltStack的简介 286
12.4.2 SaltStack的安装与配置 287
12.4.3 SaltStack的使用 293
第13章 开源配置管理平台搭建 299
13.1 open-cmdb 299
13.1.1 open-cmdb功能介绍 300
13.1.2 open-cmdb开发环境部署 301
13.1.3 open-cmdb生产环境部署 305
13.2 蓝鲸配置平台 313
13.2.1 蓝鲸配置平台系统架构 313
13.2.2 蓝鲸配置平台环境快速部署 314
第14章 统一监控平台Zabbix 319
14.1 Zabbix主要功能 319
14.2 Zabbix平台的技术术语 320
14.3 Zabbix的主要模块 321
14.4 Zabbix的安装要求 322
14.5 Zabbix的安装:从安装包进行安装 322
14.6 Zabbix的安装:从容器进行安装 325
第15章 运维开发相关技术 328
15.1 前端开发之Vue.js 328
15.1.1 新手学习Vue.js的先后顺序 328
15.1.2 使用Vue.js实现一个demo 329
15.1.3 使用vue-cli创建工程并部署 336
15.1.4 流行的Vue.js UI库 342
15.1.5 几个开源的Vue.js管理项目 342
15.2 后端接口开发之FastAPI 343
15.2.1 FastAPI的安装 343
15.2.2 编写一个demo 344
15.2.3 安全与中间件 345
15.2.4 SQL与数据库 348
15.2.5 测试与调试 353
15.3 WebSocket开发 358
15.3.1 WebSocket client的实现 358
15.3.2 WebSocket Server的实现 359
15.3.3 实现一个安全的WebSocket 360
15.3.4 基于WebSocket实现一个webshell 361
15.3.5 与主流框架集成的WebSocket 364
第16章 DevOps方法论 365
16.1 什么是DevOps 365
16.2 DevOps成功的关键 366
16.3 DevOps最常用的10个工具 367
16.4 DevOps能为企业带来哪些收益 368
内容摘要
第1章自动化运维与Python随着云计算、自动化及人工智能时代的来临,Python语言也成为当下最热门的语言之一。本章首先从自动化运维的概念展开,介绍自动化运维的趋势、成熟的自动化运维体系构成、自动化运维相关的优秀开源工具;其次介绍了为什么选择Python语言作为自动化运维的必备工具;最后重点讲述Python的安装、开发工具、基础语法及相应的实例。一方面,随着IT技术的飞速发展,软/硬件的设施日益复杂,企业的运维压力随之上升,自动化运维相关的人才供不应求;另一方面,国内Python方面的人才也非常短缺,学习Python及自动化运维,前景自然非常光明。除此之外,学习Python不仅可以做自动化工具,还可以做服务器后台、开发网络爬虫、Web网站等,因此本章关于Python的基础知识对Python初学者也非常有帮助。1.1自动化运维概述在运维技术还不成熟的早期,都是通过手工执行命令管理硬件、软件资源,但是随着技术的成熟及软/硬件资源的增多,运维人员需要执行大量的重复性命令来完成日常的运维工作。而自动化运维就是将这些原本大量重复性的日常工作自动化,让工具或系统代替人工来自动完成具体的运维工作,以解放生产力、提高运维效率、降低运维成本。可以说自动化运维是当下IT运维工作的必经之路。1.1.1自动化运维势在必行自动化运维之所以势在必行,原因有以下几点:(1)手工运维缺点多。传统的手工执行命令管理软/硬件资源易发生操作风险,只要是手工操作,就难免会有失误,一旦执行错误的命令,后果可能是灾难性的。当软/硬件资源增多时,手工配置效率低,而增加运维人员的数量也会导致人力成本变高。(2)传统人工运维难以管理大量的软/硬件资源。试想当机器数目增长到1000台以上时,仅靠人力来维护几乎是非常困难的事情。(3)业务需求的频繁变更。现在的市场瞬息万变,业务唯有快速响应市场的需求才能可持续发展,对工具的需求和变更越来越多,频率也越来越快,程序升级、上线、变更都是需要运维条线来支撑的。同样地,只有借力自动化运维,使用工具才能满足频繁变更的业务需求。帮即,自动化运维的技术己经成熟。自动化运维被广泛关注的一个重要原因就是自动化运维的技术己经非常成熟,技术的成熟为自动化运维提供了智力支持。云计算、大数据一方面刺激着自动化运维的需求,另一方面也助力自动化运维。微服务的软件架构、容器等技术都在推动自动化运维。(5)工具已经到位。关于自动化运维的工具,无论是开源的工具还是企业级的产品,都是应有尽有,实现自动化运维已经势不可挡。1.1.2什么是成熟的自动化运维平台现在成熟的自动化运维平台都具备哪些要素呢?一般来说,有以下几点:(1)需要有支持混合云的配置管理数据库(CMDB)。CMDB存储与管理企业IT架构中设备的各种配置信息,它与所有服务支持和服务交付流程都紧密相连,支持这些流程的运转、发挥配置信息的价值,同时依赖于相关流程来保证数据的准确性。现在更多的企业选择将服务器资源放在云上,无论是公有云还是私有云都提供资源管理接口,利用这些接口构建一个自动化的CMDB,同时增加日志审计功能,通过接口对资源的操作都应该记录,以供后续审计。(<
以下为对购买帮助不大的评价