Python网络爬虫：从入门到精通（附微课）

图书标准信息

• 作者 吕云翔
• 出版社 人民邮电出版社
• 出版时间 2023-07
• 版次 1
• ISBN 9787115611901
• 定价 49.80元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 196页
• 字数 375千字

【内容简介】

本书主要介绍如何使用Python语言进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍Python网络爬虫开发的多个方面，涉及HTTP、HTML、正则表达式、JavaScript、自然语言处理、数据处理与科学计算等不同领域的内容。全书共12章，包括基础篇、进阶篇、提高篇和实战篇4个部分。基础篇包括第1、2、3章，分别为Python基础及网络爬虫、静态网页抓取、数据存储。进阶篇包括第4、5、6章，分别为JavaScript与动态内容、模拟登录与验证码、爬虫数据的分析与处理。提高篇包括第7、8、9章，分别为爬虫的灵活性和多样性、Selenium模拟浏览器与网站测试、爬虫框架Scrapy与反爬虫。实战篇提供了3个实战项目供读者学习参考。本书内容覆盖网络数据抓取与爬虫编程中的主要知识和前沿技术。同时，本书在重视理论基础的前提下，从实用性和丰富度出发，结合实例演示爬虫程序编写的核心流程，将理论与实践结合，力求提高读者的网络爬虫实操技能。
  本书可作为高等院校数据科学、统计学、计算机科学、软件工程等相关专业课程的教材，也可作为Python语言初学者、网络爬虫技术爱好者的参考书。

【作者简介】

吕云翔 比利时布鲁塞尔自由大学应用科学学院应用信息技术专业硕士、经济学院工商管理专业硕士，北京航空航天大学软件学院副教授，硕士生导师。主要研究方向：软件工程、人工智能、大数据。具有多年的软件开发、项目管理、计算机教学经验，对IT行业具有较全面的认识，编著教材多部。曾获得北航教学成果一等奖、二等奖（教材）、三等奖（教材）。

【目录】

目　录

基础篇

第　1章 Python基础及网络爬虫　1

1.1　了解Python语言　1

1.1.1　Python是什么　1

1.1.2　Python的应用现状　2

1.2　配置安装Python开发环境　3

1.2.1　在Windows上安装　3

1.2.2　在Ubuntu和macOS上安装　3

1.2.3　IDE的使用：以PyCharm为例　4

1.2.4　Jupyter Notebook简介　6

1.3　Python基础知识　7

1.3.1　“Hello,World!”与数据类型　7

1.3.2　逻辑语句　12

1.3.3　Python中的函数与类　14

1.3.4　更深入了解Python　16

1.4　互联网、HTTP与HTML　16

1.4.1　互联网与HTTP　16

1.4.2　HTML　17

1.5　Hello Spider　19

1.5.1　编写第 一个爬虫程序　19

1.5.2　对爬虫的思考　21

1.6　分析网站　22

1.6.1　robots.txt与Sitemap简介　22

1.6.2　网站技术分析　24

1.6.3　网站所有者信息分析　25

1.6.4　使用开发者工具检查目标网页　26

章节实训：Python环境的配置与爬虫的运行　28

思考与练习　28

第　2章 静态网页抓取　29

2.1　从抓取开始　29

2.2　正则表达式　30

2.2.1　什么是正则表达式　30

2.2.2　正则表达式的简单使用　31

2.3　BeautifulSoup爬虫　33

2.3.1　安装BeautifulSoup　33

2.3.2　BeautifulSoup的基本用法　35

2.4　XPath与lxml　37

2.4.1　XPath　37

2.4.2　lxml与XPath的使用　38

2.5　遍历页面　40

2.5.1　抓取下一个页面　40

2.5.2　完成爬虫　41

2.6　使用API　42

2.6.1　API简介　42

2.6.2　API使用示例　44

章节实训：哔哩哔哩直播间信息抓取练习　47

思考与练习　47

第3章　数据存储　48

3.1　Python中的文件　48

3.1.1　Python中的文件读写　48

3.1.2　对象序列化　50

3.2　Python中的字符串　50

3.3　Python中的图片　51

3.3.1　PIL与Pillow模块　51

3.3.2　Python与OpenCV简介　53

3.4　CSV文件　54

3.4.1　CSV简介　54

3.4.2　CSV的读写　54

3.5　数据库的使用　56

3.5.1　MySQL的使用　56

3.5.2　SQLite 3的使用　57

3.5.3　SQLAlchemy的使用　58

3.5.4　Redis的使用　59

3.5.5　MongoDB的使用　60

3.6　其他类型的文档　61

章节实训：使用Python　3读写SQLite 3数据库　63

思考与练习　64

进阶篇

第4章　JavaScript与动态内容　65

4.1　JavaScript与AJAX技术　65

4.1.1　JavaScript语言　65

4.1.2　AJAX　68

4.2　抓取AJAX数据　69

4.2.1　分析数据　69

4.2.2　数据提取　72

4.3　抓取动态内容　76

4.3.1　动态渲染页面　76

4.3.2　使用Selenium　76

4.3.3　PyV8与Splash　81

章节实训：抓取人民邮电出版社热销图书信息　83

思考与练习　84

第5章　模拟登录与验证码　85

5.1　表单　85

5.1.1　表单与POST　85

5.1.2　POST发送表单数据　87

5.2　Cookie　89

5.2.1　Cookie简介　89

5.2.2　在Python中Cookie的使用　90

5.3　模拟登录网站　91

5.3.1　分析网站　91

5.3.2　Cookie方法的模拟登录　92

5.4　验证码　94

5.4.1　图片验证码　94

5.4.2　滑动验证　96

章节实训：通过Selenium模拟登录Gitee并保存Cookie　99

思考与练习　99

第6章　爬虫数据的分析与处理　100

6.1　Python与文本分析　100

6.1.1　文本分析简介　100

6.1.2　jieba与SnowNLP　101

6.1.3　NLTK　104

6.1.4　文本分类与聚类　106

6.2　数据处理与科学计算　108

6.2.1　从MATLAB到Python　108

6.2.2　NumPy　108

6.2.3　Pandas　112

6.2.4　Matplotlib　116

6.2.5　Scipy与SymPy　118

章节实训：美国新冠疫情每日新增人数的可视化　119

思考与练习　119

提高篇

第7章　爬虫的灵活性和多样性　120

7.1　爬虫的灵活性——以微信数据抓取为例　120

7.1.1　用Selenium抓取网页版微信数据　120

7.1.2　基于Python的微信API工具　123

7.2　爬虫的多样性　125

7.2.1　在BeautifulSoup和XPath之外　125

7.2.2　在线爬虫应用平台　127

7.2.3　使用urllib　129

7.3　爬虫的部署和管理　134

7.3.1　使用服务器部署爬虫　134

7.3.2　本地爬虫程序的编写　137

7.3.3　爬虫的部署　140

7.3.4　实时查看运行结果　141

7.3.5　使用框架管理爬虫　142

章节实训：基于PyQuery抓取菜鸟教程　144

思考与练习　145

第8章　Selenium模拟浏览器与网站测试　146

8.1　测试　146

8.1.1　什么是测试　146

8.1.2　什么是TDD　146

8.2　Python的单元测试　147

8.2.1　使用unittest　147

8.2.2　其他方法　149

8.3　使用Python网络爬虫测试网站　150

8.4　使用Selenium测试　152

8.4.1　使用Selenium测试常用的网站交互　152

8.4.2　结合Selenium进行单元测试　153

章节实训：使用Selenium抓取百度搜索引擎中关于“爬虫”的结果　154

思考与练习　155

第9章　爬虫框架Scrapy与反爬虫　156

9.1　爬虫框架　156

9.1.1　Scrapy简介　156

9.1.2　安装与学习Scrapy　157

9.1.3　Scrapy爬虫编写　159

9.1.4　其他爬虫框架介绍　161

9.2　网站反爬虫　162

9.2.1　反爬虫策略简介　162

9.2.2　伪装headers　163

9.2.3　代理IP的使用　165

9.2.4　控制访问频率　168

章节实训：使用“反反爬虫”策略抓取某日报网头版的标题内容　168

思考与练习　169

实战篇

第　10章 实战：保存感兴趣的图片　170

10.1　豆瓣网分析与爬虫设计　170

10.1.1　从需求出发　170

10.1.2　处理登录问题　171

10.2　编写爬虫程序　173

10.2.1　爬虫脚本　173

10.2.2　程序分析　176

10.2.3　运行并查看结果　178

第　11章 实战：抓取二手房数据并绘制热力图　179

11.1　数据抓取　179

11.1.1　网页分析　179

11.1.2　代码编写　181

11.1.3　运行并查看结果　183

11.2　绘制热力图　184

第　12章 实战：北京大兴国际机场航班出发时间数据抓取　189

12.1　程序设计　189

12.1.1　网页分析　189

12.1.2　将数据保存到数据库　190

12.2　爬虫编写　191

12.2.1　前置准备　191

12.2.2　代码编写　192

12.2.3　运行并查看结果　195

参考文献　196