微瑕Python网络爬虫基础教程
¥
28.7
4.8折
¥
59.8
全新
库存2件
作者黑马程序员
出版社人民邮电出版社
ISBN9787115589156
出版时间2022-05
版次1
装帧平装
开本16开
纸张胶版纸
定价59.8元
货号2170-9787115589156
上书时间2024-12-10
商品详情
- 品相描述:全新
- 商品描述
-
基本信息
书名:Python网络爬虫基础教程
定价:59.8元
作者:黑马程序员
出版社:人民邮电出版社
出版日期:2022-05-01
ISBN:9787115589156
字数:
页码:
版次:
装帧:平装
开本:16开
商品重量:
编辑推荐
1.本书编写时充分考虑初学者的阅读体验,语言通俗易懂,也非常适合老师教学。2.本书配置了丰富的实践项目,大多由传智项目库提供,项目变动小,降低了因网站变动而导致项目不可用的风险。3.本书涵盖知识点全面,知识细节丰富,系统性强。4.配套资源更丰富、教学服务更周到(免费提供各类教学资源,协助老师答疑解惑,定制教学资源,定期提供各类学习资源)。
内容提要
网络爬虫是一种按照一定的规则,自动请求万维网网站并采集网页数据的程序或脚本。它可以代替人进行信息采集,能够自动采集并高效利用互联网中的数据,因此在市场的应用需求中占据重要位置。本书以Windows为主要开发平台,系统、全面地讲解Python网络爬虫的相关知识。本书的主要内容包括认识网络爬虫、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、提升网络爬虫速度、存储数据、验证码识别、初识网络爬虫框架Scrapy、Scrapy核心组件与CrawlSpider类、分布式网络爬虫Scrapy-Redis。本书可以作为高等院校计算机相关专业程序设计课程的教材、Python网络爬虫的相关培训教材,以及广大编程开发者的网络爬虫入门级教材。
目录
章 认识网络爬虫 0011.1 什么是网络爬虫 0011.2 网络爬虫的应用场景 0021.3 网络爬虫合法性探究 0031.3.1 Robots协议 0031.3.2 防爬虫应对策略 0051.4 网络爬虫的工作原理和流程 0061.4.1 网络爬虫的工作原理 0061.4.2 网络爬虫抓取网页的流程 0081.5 网络爬虫实现技术探究 0091.5.1 网络爬虫的实现技术 0091.5.2 Python实现网络爬虫的流程 0101.6 本章小结 0111.7 习题 011第 2章 网页请求原理 0132.1 浏览器加载网页的过程 0132.2 HTTP基础 0142.2.1 URL简介 0142.2.2 HTTP和HTTPS 0152.2.3 HTTP请求格式 0162.2.4 HTTP响应格式 0172.3 网页基础 0192.3.1 网页开发技术 0192.3.2 网页的结构 0212.3.3 网页的分类 0222.3.4 网页数据的格式 0242.4 HTTP抓包工具——Fiddler 0262.4.1 Fiddler的工作原理 0262.4.2 Fiddler的下载与安装 0272.4.3 Fiddler界面详解 0292.4.4 Fiddler捕获HTTPS页面的设置 0322.4.5 Fiddler的基本使用 0392.5 本章小结 0412.6 习题 041第3章 抓取静态网页数据 0433.1 抓取静态网页的技术 0433.2 发送基本请求 0443.2.1 发送GET请求 0443.2.2 发送POST请求 0463.2.3 处理响应 0473.3 处理复杂请求 0493.3.1 定制请求头 0493.3.2 验证Cookie 0513.3.3 保持会话 0523.3.4 SSL证书验证 0533.4 设置代理服务器 0543.4.1 代理服务器简介 0543.4.2 设置代理服务器 0553.4.3 检测代理IP的有效性 0563.5 处理异常 0573.6 实践项目:抓取黑马程序员论坛的数据 059 项目目标 059 项目分析 060 项目实现 0613.7 本章小结 0633.8 习题 063第4章 解析网页数据 0654.1 解析网页数据的技术 0654.2 正则表达式与re模块 0664.2.1 正则表达式的语法 0664.2.2 re模块的使用 0684.3 XPath与lxml库 0694.3.1 XPath简介 0694.3.2 XPath语法 0704.3.3 XPath开发工具 0734.3.4 lxml库简介 0754.4 Beautiful Soup库 0774.4.1 Beautiful Soup简介 0774.4.2 创建BeautifulSoup类的对象 0784.4.3 通过查找方法选取节点 0804.4.4 通过CSS选择器选取节点 0814.5 JSONPath与jsonpath模块 0834.5.1 JSONPath语法 0834.5.2 jsonpath模块的使用 0854.6 实践项目:采集黑马程序员论坛的帖子 088 项目目标 088 项目分析 089 项目实现 0904.7 本章小结 0934.8 习题 093第5章 抓取动态网页数据 0955.1 抓取动态网页的技术 0955.2 Selenium和WebDriver的安装与配置 0965.3 Selenium的基本使用 0995.3.1 WebDriver类的常用属性和方法 1005.3.2 定位元素 1025.3.3 鼠标操作 1055.3.4 下拉列表框操作 1075.3.5 弹出框处理 1085.3.6 页面切换 1105.3.7 页面等待 1115.4 实践项目:采集集信达平台的短信服务日志信息 114 项目目标 114 项目分析 116 项目实现 1195.5 本章小结 1225.6 习题 123第6章 提升网络爬虫速度 1256.1 网络爬虫速度提升方案 1256.2 多线程爬虫 1266.2.1 多线程爬虫流程分析 1266.2.2 多线程爬虫实现技术 1276.2.3 多线程爬虫基本示例 1306.2.4 多线程爬虫性能分析 1336.3 协程爬虫 1346.3.1 协程爬虫流程分析 1346.3.2 协程爬虫实现技术 1356.3.3 协程爬虫基本示例 1376.3.4 协程爬虫性能分析 1386.4 实践项目:采集黑马头条的评论列表 139 项目目标 139 项目分析 140 项目实现 1416.5 本章小结 1446.6 习题 144第7章 存储数据 1467.1 数据存储的方式 1467.2 存储至MongoDB数据库 1477.2.1 下载与安装MongoDB 1477.2.2 使用Python操作MongoDB 1517.3 存储至Redis数据库 1547.3.1 下载与安装Redis 1547.3.2 使用Python操作Redis 1577.3.3 Redis桌面管理工具 1597.4 实践项目:采集小兔鲜儿网的商品信息 162 项目目标 162 项目分析 164 项目实现 1677.5 本章小结 1707.6 习题 170第8章 验证码识别 1728.1 验证码识别 1728.1.1 字符验证码的识别 1728.1.2 滑动拼图验证码的识别 1818.1.3 点选验证码的识别 1818.2 实践项目:登录黑马头条后台管理系统 188 项目目标 188 项目分析 189 项目实现 1918.3 本章小结 1978.4 习题 197第9章 初识网络爬虫框架Scrapy 1999.1 Scrapy框架简介 1999.2 Scrapy框架架构 2009.3 Scrapy框架运作流程 2019.4 Scrapy框架安装 2039.5 Scrapy框架基本操作 2059.5.1 新建Scrapy项目 2059.5.2 明确采集目标 2069.5.3 制作爬虫 2079.5.4 存储数据 2129.6 实践项目:采集黑马程序员视频库的视频信息 213 项目目标 213 项目分析 213 项目实现 2149.7 本章小结 2169.8 习题 2160章 Scrapy核心组件与CrawlSpider类 21910.1 Spiders组件 21910.2 Item Pipeline组件 22010.3 Downloader Middlewares组件 22210.3.1 内置下载中间件 22310.3.2 自定义下载中间件 22310.3.3 激活下载中间件 22510.4 Settings组件 22510.5 CrawlSpider类 22710.5.1 CrawlSpider类简介 22710.5.2 CrawlSpider类的工作原理 22910.5.3 通过Rule类决定抓取规则 23010.5.4 通过LinkExtractor类提取链接 23110.6 实践项目:采集畅购商城的华为手表信息 232 项目目标 233 项目分析 233 项目实现 23410.7 本章小结 23610.8 习题 2361章 分布式网络爬虫Scrapy-Redis 23811.1 分布式网络爬虫简介 23811.2 Scrapy-Redis架构 24011.3 Scrapy-Redis运作流程 24211.4 Scrapy-Redis开发准备 24211.4.1 安装Scrapy-Redis 24211.4.2 修改配置文件 24311.4.3 测试远程连接 24411.5 Scrapy-Redis的基本操作 24611.5.1 新建Scrapy-Redis项目 24611.5.2 明确采集目标 24711.5.3 制作爬虫 24811.5.4 运行爬虫 24911.5.5 使用管道存储数据 25011.6 实践项目:使用RedisCrawlSpider采集畅购商城的华为手表信息 252 项目目标 252 项目分析 252 项目实现 25211.7 本章小结 25711.8 习题 257
作者介绍
序言
— 没有更多了 —
以下为对购买帮助不大的评价