消息 首页 搜索 举报
  • Python网络爬虫框架Scrapy从入门到精通
  • Python网络爬虫框架Scrapy从入门到精通
21年品牌 40万+商家 超1.5亿件商品

Python网络爬虫框架Scrapy从入门到精通

全新正版 极速发货

￥ 46.68 5.9折 ￥ 79 全新

库存6件

广东广州
认证卖家担保交易快速发货售后保障

作者张颖

出版社北京大学出版社

ISBN9787301320228

出版时间2021-04

装帧平装

开本16开

定价79元

货号1202319003

上书时间2024-06-06

徐小智的书店
已实名 已认证 进店 收藏店铺
  • 最新上架

   商品详情   

品相描述：全新
商品描述
作者简介
张颖，“清颖设计”微信公众号创始人，现任上海懂得网络科技有限公司技术部主管，从事编程开发十余年，熟悉Python的方方面面，尤其擅长Python爬虫和数据分析。

目录
第1章Scrapy框架简介

1.1Scrapy简介2

1.2关于本书：目标和用途2

1.3进行自动化数据爬取的重要性3

1.4掌握自动化测试的重要性3

1.5合理规划，开发高质量的应用4

1.6网络数据的采集法律与道德约束5

1.7本章小结5

第2章Scrapy网络爬虫知识介绍

2.1爬虫的作用7

2.2爬虫推荐的前端知识9

2.3爬虫经常用的Python语法26

2.4本章小结44

第3章Scrapy开发环境的搭建

3.1安装Python47

3.2数据库的安装50

3.3安装Scrapy56

3.4本章小结60

第4章Scrapy架构及编程

4.1Scrapy架构及目录源码分析62

4.2Scrapy项目的创建和管理67

4.3PyCharm如何调试Scrapy72

4.4Scrapy的组件77

4.5Scrapy的数据流78

4.6数据存储78

4.7Scrapy如何定义中间件80

4.8Scrapy其他方法的使用82

4.9本章小结83

第5章Scrapy进阶

5.1理解Scrapy性能85

5.2编写Spider的逻辑93

5.3Item和Pipeline95

5.4数据库存储98

5.5Scrapy集成随机User-Agent和代理IP100

5.6突破反爬技术102

5.7图片和文件下载103

5.8如何部署爬虫108

5.9计划定时爬取111

5.10本章小结112

第6章实战项目：Scrapy静态网页的爬取

6.1采集需求及网页分析114

6.2数据表的设计115

6.3获取和解析列表、详情页115

6.4数据存储117

6.5数据的导出和展示119

6.6本章小结121

第7章实战项目：Scrapy动态网页的爬取

7.1采集需求及网页分析123

7.2Selenium的安装和使用124

7.3解析网页及代码的实现126

7.4数据的存储128

7.5数据的导出130

7.6本章小结133

第8章实战项目：Scrapy爬取App应用数据

8.1搭建开发环境135

8.2移动自动化工具：UiAutomatorViewer144

8.3AppiumDesktop工具的录制功能147

8.4App应用数据抓取实战项目150

8.5本章小结158

第9章Scrapy的分布式部署与爬取

9.1分布式系统概述及要点160

9.2使用Gerapy管理分布式爬虫162

9.3通过Scrapyd+ScrapydWeb简单高效地部署和监控分布式爬虫项目168

9.4使用Scrapy-Redis实现分布式爬虫174

9.5本章小结195

第10章分布式的实战项目

10.1搭建Redis服务器197

10.2创建主项目及配置Scrapy-Redis197

10.3创建从项目及配置Scrapy-Redis200

10.4部署代理IP池及User-Agent203

10.5执行程序205

10.6本章小结206

第11章用Selenium框架测试网站

11.1网站测试简介208

11.2用Scrapy+Selenium进行前端自动化测试208

11.3本章小结235

第12章用Scrapy+Pandas进行数据分析

12.1Python数据分析概述237

12.2NumPy简介及操作238

12.3Matplotlib简介及操作247

12.4Pandas简介及操作256

12.5实战项目：Scrapy爬取网站并用Pandas进行数据分析267

12.6本章小结284

内容摘要
本书从Python主流框架Scrapy的简介及网络爬虫知识讲起，逐步深入到Scrapy进阶实战。本书从实战出发，根据不同需求，有针对性地讲解了静态网页、动态网页、App应用是如何爬取所需数据，以及Scrapy是如何部署分布式爬取，最后还介绍了用Scrapy+Pandas是如何进行数据分析及数据展示，让读者不但可以系统地学习Scrapy编程的相关知识，而且还能对Scrapy应用开发有更为深入的理解。

本书分为12章，涵盖的主要内容有Scrapy框架简介；Scrapy网络爬虫知识介绍；Scrapy开发环境的搭建；Scrapy架构及编程；Scrapy进阶；实战项目：Scrapy静态网页的爬取；实战项目：Scrapy动态网页的爬取；实战项目：Scrapy爬取App应用数据；Scrapy的分布式部署与爬取；分布式的实战项目；用Selenium框架测试网站；用Scrapy+Pandas进行数据分析。

本书内容通俗易懂，实例典型，实用性强，特别适合学习Python主流框架Scrapy的入门读者和进阶读者阅读，也适合数据分析与挖掘技术的初学者阅读，还适合相关培训机构的师生阅读。

主编推荐
（1）系统：全流程讲解Scrapy的原理和实战，依次击破编程难点。
（2）经典：凝聚笔者十多年的Scrapy使用经验，无私奉献设计秘籍。
（3）深入：浅入深出地介绍爬虫原理、数据爬取、数据保存、数据分析和测试等技术。并且，所有案例都配有对应的代码，拿来就用。

   相关推荐   

—  没有更多了  —

店铺评价
消息 首页 搜索

以下为对购买帮助不大的评价

此功能需要访问孔网APP才能使用
暂时不用
打开孔网APP