Python3网络爬虫开发实战 第2版
全新正版 极速发货
￥ 60.03 4.3折 ￥ 139.8 全新
库存480件
广东广州
认证卖家担保交易快速发货售后保障
作者崔庆才
出版社人民邮电出版社
ISBN9787115577092
出版时间2021-11
装帧平装
开本16开
定价139.8元
货号1202541381
上书时间2024-09-04
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
崔庆才
微软（中国）软件工程师，北京航空航天大学硕士，主要研究网络爬虫、Web 开发、机器学习等方向。
目录
第1章爬虫基础1
1．1HTTP基本原理1
1．2Web网页基础12
1．3爬虫的基本原理19
1．4Session和Cookie21
1．5代理的基本原理24
1．6多线程和多进程的基本原理26
第2章基本库的使用29
2．1urllib的使用29
2．2requests的使用47
2．3正则表达式63
2．4httpx的使用73
2．5基础爬虫案例实战78
第3章网页数据的解析提取90
3．1XPath的使用90
3．2Beautiful Soup的使用99
3．3pyquery的使用113
3．4parsel的使用124
第4章数据的存储128
4．1TXT文本文件存储128
4．2JSON文件存储130
4．3CSV文件存储134
4．4MySQL存储138
4．5MongoDB文档存储144
4．6Redis缓存存储151
4．7Elasticsearch搜索引擎存储159
4．8RabbitMQ的使用166
第5章Ajax数据爬取174
5．1什么是Ajax174
5．2Ajax分析方法176
5．3Ajax分析与爬取实战179
第6章异步爬虫191
6．1协程的基本原理191
6．2aiohttp的使用201
6．3aiohttp异步爬取实战207
第7章JavaScript动态渲染页面爬取212
7．1Selenium的使用212
7．2Splash的使用226
7．3Pyppeteer的使用242
7．4Playwright的使用257
7．5Selenium爬取实战269
7．6Pyppeteer爬取实战276
7．7CSS位置偏移反爬案例分析与爬取实战282
7．8字体反爬案例分析与爬取实战287
第8章验证码的识别293
8．1使用OCR技术识别图形验证码293
8．2使用OpenCV识别滑动验证码的缺口298
8．3使用深度学习识别图形验证码304
8．4使用深度学习识别滑动验证码的缺口309
8．5使用打码平台识别验证码316
8．6手机验证码的自动化处理324
第9章代理的使用331
9．1代理的设置331
9．2代理池的维护340
9．3付费代理的使用351
9．4ADSL拨号代理的搭建方法357
9．5代理反爬案例爬取实战365
第10章模拟登录373
10．1模拟登录的基本原理373
10．2基于Session和Cookie的模拟登录爬取实战376
10．3基于JWT的模拟登录爬取实战381
10．4大规模账号池的搭建385
第11章JavaScript逆向爬虫397
11．1网站加密和混淆技术简介397
11．2浏览器调试常用技巧413
11．3JavaScript Hook的使用430
11．4无限debugger的原理与绕过440
11．5使用Python模拟执行JavaScript445
11．6使用Node．js模拟执行JavaScript451
11．7浏览器环境下JavaScript的模拟执行454
11．8AST技术简介460
11．9使用AST技术还原混淆代码472
11．10特殊混淆案例的还原480
11．11WebAssembly案例分析和爬取实战490
11．12JavaScript逆向技巧总结498
11．13JavaScript逆向爬取实战505
第12章App数据的爬取530
12．1Charles抓包工具的使用530
12．2mitmproxy抓包工具的使用538
12．3mitmdump实时抓包处理544
12．4Appium的使用551
12．5基于Appium的App爬取实战562
12．6Airtest的使用568
12．7基于Airtest的App爬取实战585
12．8手机群控爬取实战591
12．9云手机的使用594
第13章Android逆向603
13．1jadx的使用603
13．2JEB的使用615
13．3Xposed框架的使用624
13．4基于Xposed的爬取实战案例635
13．5Frida的使用643
13．6SSL Pining问题的解决方案650
13．7Android脱壳技术简介与实战657
13．8利用IDA Pro静态分析和动态调试so文件664
13．9基于Frida-RPC模拟执行so文件680
13．10基于AndServer-RPC模拟执行so文件685
13．11基于unidbg模拟执行so文件692
第14章页面智能解析700
14．1页面智能解析简介700
14．2详情页智能解析算法简介707
14．3详情页智能解析算法的实现714
14．4列表页智能解析算法简介722
14．5列表页智能解析算法的实现727
14．6如何智能分辨列表页和详情页735
第15章Scrapy框架的使用739
15．1Scrapy框架介绍739
15．2Scrapy入门743
15．3Selector的使用754
15．4Spider的使用759
15．5Downloader Middleware的使用766
15．6Spider Middleware的使用775
15．7Item Pipeline的使用781
15．8Extension的使用792
15．9Scrapy对接Selenium795
15．10Scrapy对接Splash801
15．11Scrapy对接Pyppeteer806
15．12Scrapy规则化爬虫813
15．13Scrapy实战827
第16章分布式爬虫840
16．1分布式爬虫理念840
16．2Scrapy-Redis原理和源码解析842
16．3基于Scrapy-Redis的分布式爬虫实现847
16．4基于Bloom Filter进行大规模去重851
16．5基于RabbitMQ的分布式爬虫859
第17章爬虫的管理和部署862
17．1Scrapyd和ScrapydAPI的使用862
17．2Scrapyd-Client的使用867
17．3Gerapy爬虫管理框架的使用869
17．4将Scrapy项目打包成Docker镜像873
17．5Docker Compose的使用878
17．6Kubernetes的使用880
17．7用Kubernetes部署和管理Scrapy爬虫888
17．8Scrapy分布式爬虫的数据统计方案899
17．9基于Prometheus和Grafana的分布式爬虫监控方案904
附录爬虫与法律917
内容摘要
本书介绍了如何利用Python3开发网络爬虫。本书为第2版，相比于第1版，为每个知识点的实战项目配备了针对性的练习平台，避免了案例过期的问题。另外，主要增加了异步爬虫、JavaScript逆向、App逆向、页面智能解析、深度学习识别验证码、Kubernetes运维及部署等知识点，同时也对各个爬虫知识点涉及的请求、存储、解析、测试等工具进行了丰富和更新。本书适合Python程序员阅读。
主编推荐
1.Python 之父 Guido van Rossum 推荐的爬虫入门书，第 1 版销量近 100000 册；
2.微软中国大数据工程师、博客文章过百万的博主静觅力作；
3.新增异步爬虫、JavaScript 逆向、App 逆向、智能网页解析、深度学习识别验证码、Kubernetes 运维及部署等知识点；
4.相比于第一版，为每个知识点的实战项目配备了针对性的练习平台，避免了案例过期的问题。
媒体评论
I am happy to see that Python is so widely used in the Chinese IT community. I hope this book will help more people understand Python and web crawling/scraping.
——Guido van Rossum,Creator of Python, Distinguished Engineer,Microsoft
时代在不断进步，我们需要不断学习，庆才在工作上是这样，在兴趣上也是这样，这本爬虫书充分体现了这一点。第 2 版相比第 1 版内容更加全面，覆盖的知识点更为广泛，也更贴近技术前沿。本书具有通俗易懂的讲解和丰富的案例代码，可以让读者系统地学习爬虫相关的各种知识，我极力推荐大家阅读本书。
——曾文峰，微软亚洲互联网工程院副院长、微软公司全球合伙人
在今天这个数据驱动的人工智能时代，这个有越来越多移动互联网数据来自 App 的时代，主流的数据来源平台几乎都提高了数据采集的风控水平，这导致数据采集的难度越来越大，此时行业中需要一本书来帮助爬虫工程师提高技术水平。崔庆才的这本《Python 3 网络爬虫开发实战（第2版）》是市场上截至目前公开数据采集领域优选的图书之一，这本书能解答数据采集工作中遇到的大部分问题，更难得的是作者还建立了技术讨论群，方便大家交流和提高。
——梁斌 penny，北京八友科技总经理、清华大学博士
作为第 1 版的升级版，本书增加了很多前沿的爬虫相关技术。从爬虫入门到分布式抓取，本书详细介绍了爬虫技术的各个要点，并针对不同场景提出了不同的解决方案。另外，书中的实战案例也在第 1 版的基础上做了重构升级，能帮助读者更好地学习爬虫技术。本书内容通俗易懂，干货满满，强烈推荐给大家！
——宋睿华，中国人民大学高瓴人工智能学院长聘副教授
— 没有更多了 —
以下为对购买帮助不大的评价