从零开始学Scrapy网络爬虫(视频教学版)

图书标准信息

• 作者 张涛 著
• 出版社 机械工业出版社
• 出版时间 2019-09
• 版次 1
• ISBN 9787111634744
• 定价 99.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 283页

【内容简介】

《从零开始学Scrapy网络爬虫》从零开始，循序渐进地介绍了目前流行的网络爬虫框架Scrapy。即使你没有任何编程基础，阅读《从零开始学Scrapy网络爬虫》也不会有压力，因为书中有针对性地介绍了Python编程技术。另外，《从零开始学Scrapy网络爬虫》在讲解过程中以案例为导向，通过对案例的不断迭代、优化，让读者加深对知识的理解，并通过14个项目案例，提高读者解决实际问题的能力。

 

《从零开始学Scrapy网络爬虫》共13章。其中，第1～4章为基础篇，介绍了Python基础、网络爬虫基础、Scrapy框架及基本的爬虫功能。第5～10章为进阶篇，介绍了如何将爬虫数据存储于MySQL、MongoDB和Redis数据库中；如何实现异步AJAX数据的爬取；如何使用Selenium和Splash实现动态网站的爬取；如何实现模拟登录功能；如何突破反爬虫技术，以及如何实现文件和图片的下载。第11~13章为高级篇，介绍了使用Scrapy-Redis实现分布式爬虫；使用Scrapyd和Docker部署分布式爬虫；使用Gerapy管理分布式爬虫，并实现了一个抢票软件的综合项目。

 

《从零开始学Scrapy网络爬虫》适合爬虫初学者、爱好者及高校相关专业的学生阅读，也适合数据爬虫工程师作为参考读物，同时还适合各大院校和培训机构作为教材使用。

 

【作者简介】

张涛  毕业于中国科学技术大学，获硕士学位。目前在科大讯飞从事人工智能教育培训与研究。加入科大讯飞之前，曾经在知名日资企业任职研发经理，负责日本大型证券系统的设计与开发。有7年大学课程改革与教学经验，主要研究方向为Python网络爬虫、数据分析和机器学习。

 

【目录】

（限于篇幅，部分章节只给出了二级目录，完整目录请查看图书）

 

前言

 

第1篇  基础篇

 

第1章  Python基础    2

 

1.1  Python简介  2

 

1.1.1  Python简史       2

 

1.1.2  搭建Python环境      3

 

1.1.3  安装PyCharm集成开发环境   6

 

1.2  Python基本语法  7

 

1.2.1  基本数据类型和运算       7

 

1.2.2  运算符和表达式       8

 

1.2.3  条件判断语句   9

 

1.2.4  循环语句   10

 

1.2.5  字符串       12

 

1.3  Python内置数据结构  14

 

1.3.1  列表   15

 

1.3.2  字典   16

 

1.3.3  元组   17

 

1.3.4  遍历对象集合   17

 

1.4  Python模块化设计      18

 

1.4.1  函数   18

 

1.4.2  迭代器（iterator）    20

 

1.4.3  生成器（Generator）       20

 

1.4.4  类和对象   22

 

1.4.5  文件与异常       23

 

1.5  本章小结      25

 

第2章  网络爬虫基础 26

 

2.1  HTTP基本原理    26

 

2.1.1  URL介绍   27

 

2.1.2  HTTP和HTTPS协议       27

 

2.1.3  HTTP请求（Request）    27

 

2.1.4  HTTP响应（Response）  30

 

2.2  网页基础      32

 

2.2.1  HTML文档       33

 

2.2.2  网页的结构       33

 

2.2.3  节点树及节点之间的关系       34

 

2.3  使用XPath提取网页信息   36

 

2.3.1  XPath介绍 36

 

2.3.2  XPath常用路径表达式    36

 

2.3.3  XPath带谓语的路径表达式    39

 

2.4  本章小结      40

 

第3章  Scrapy框架介绍    41

 

3.1  网络爬虫原理      41

 

3.1.1  爬虫执行的流程       41

 

3.2  Scrapy框架结构及执行流程      42

 

3.2.1  Scrapy框架结构       42

 

3.2.2  Scrapy执行流程       44

 

3.3  Scrapy安装   44

 

3.3.1  使用pip安装Scrapy 44

 

3.3.2  常见安装错误   45

 

3.3.3  验证安装   46

 

3.4  第一个网络爬虫   46

 

3.4.1  需求分析   46

 

3.4.2  创建项目   47

 

3.4.3  分析页面   48

 

3.4.4  实现Spider爬虫功能       49

 

3.4.5  运行爬虫   50

 

3.4.6  常见问题   51

 

3.5  本章小结      52

 

第4章  Scrapy网络爬虫基础    53

 

4.1  使用Spider提取数据  53

 

4.2  使用Item封装数据     64

 

4.3  使用Pipeline处理数据       69

 

4.4  项目案例：爬取链家网二手房信息   75

 

4.5  本章小结      85

 

第2篇  进阶篇

 

第5章  数据库存储    88

 

5.1  MySQL数据库     88

 

5.2  MongoDB数据库 100

 

5.3  Redis数据库 111

 

5.4  本章小结      121

 

第6章  JavaScript与AJAX数据爬取      122

 

6.1  JavaScript简介     122

 

6.2  项目案例：爬取QQ音乐榜单歌曲   122

 

6.3  AJAX简介   129

 

6.4  项目案例：爬取豆瓣电影信息   130

 

6.5  本章小结      135

 

第7章  动态渲染页面的爬取    136

 

7.1  Selenium实现动态页面爬取      136

 

7.2  项目案例：爬取今日头条热点新闻   145

 

7.3  Splash实现动态页面爬取   151

 

7.4  项目案例：爬取一号店中的iPhone手机信息  162

 

7.5  本章小结      168

 

第8章  模拟登录 169

 

8.1  模拟登录解析      169

 

8.2  验证码识别   174

 

8.3  Cookie自动登录  177

 

8.4  项目案例：爬取起点中文网某用户的书架信息      180

 

8.5  本章小结      184

 

第9章  突破反爬虫技术    185

 

9.1  反爬虫技术及突破措施      185

 

9.2  伪装成不同的浏览器   187

 

9.3  使用HTTP代理服务器       192

 

9.4  本章小结      202

 

第10章  文件和图片下载  203

 

10.1  文件下载    203

 

10.2  项目案例：爬取seaborn案例源文件      204

 

10.3  图片下载    212

 

10.4  项目案例：爬取摄图网图片    213

 

10.5  本章小结    221

 

第3篇  高级篇

 

第11章  Scrapy-Redis实现分布式爬虫    224

 

 

 

……