Python爬虫开发 从入门到实战
¥
9.8
2.0折
¥
49.8
九五品
仅1件
作者谢乾坤 著
出版社人民邮电出版社
ISBN9787115490995
出版时间2018-09
版次1
装帧平装
开本16开
纸张胶版纸
页数262页
字数99999千字
定价49.8元
上书时间2024-07-01
商品详情
- 品相描述:九五品
- 商品描述
-
基本信息
书名:Python爬虫开发 从入门到实战
定价:49.80元
作者:谢乾坤 著
出版社:人民邮电出版社
出版日期:2018-09-01
ISBN:9787115490995
字数:582000
页码:262
版次:1
装帧:平装
开本:16开
商品重量:
编辑推荐
1.基于Pytho3.X讲解,从入门到实战,全面讲解Python爬虫技术。 2.全书重点难点附带微课讲解,书网融合互动学习。 3.案例丰富,重视实践,着重培养读者的实际运用能力。
内容提要
本书较为全面地介绍了定向爬虫的开发过程、各种反爬虫机制的破解方法和爬虫开发的相关技巧。全书共13章,包括绪论、Python基础、正则表达式与文件操作、简单的网页爬虫开发、高性能HTML内容解析、Python与数据库、异步加载与请求头、模拟登录与验证码、抓包与中间人爬虫、Android原生App爬虫、Scrapy、Scrapy应用、爬虫开发中的法律和道德问题等。除、12、13章外的其他章末尾都有动手实践,以帮助读者巩固本章和前面章节所学的内容。针对书中的疑难内容,还配有视频讲解,以便更好地演示相关操作。
目录
章 绪论 11.1 爬虫 21.2 爬虫可以做什么 21.2.1 收集数据 21.2.2 尽职调查 31.2.3 刷流量和秒杀 31.3 爬虫开发技术 4第 2章 Python基础 52.1 Python的安装和运行 62.1.1 在Windows中安装Python 62.1.2 在Mac OS中安装Python 72.1.3 在Linux中安装Python 82.2 Python开发环境 82.2.1 PyCharm介绍与安装 82.2.2 运行代码 92.3 Python的数据结构和控制结构 122.3.1 整数、浮点数和变量 122.3.2 字符串、列表、元组 132.3.3 数据的读取 142.3.4 字典与集合 162.3.5 条件语句 172.3.6 for循环与while循环 192.4 函数与类 212.4.1 函数 212.4.2 类与面向对象编程 282.5 阶段案例——猜数游戏 322.5.1 需求分析 322.5.2 核心代码构建 332.5.3 调试与运行 332.6 本章小结 342.7 动手实践 34第3章 正则表达式与文件操作 353.1 正则表达式 363.1.1 正则表达式的基本符号 363.1.2 在Python中使用正则表达式 383.1.3 正则表达式提取技巧 413.2 Python文件操作 443.2.1 使用Python读/写文本文件 443.2.2 使用Python读/写CSV文件 463.3 阶段案例——半自动爬虫开发 493.3.1 需求分析 493.3.2 核心代码构建 503.3.3 调试与运行 513.4 本章小结 543.5 动手实践 54第4章 简单的网页爬虫开发 554.1 使用Python获取网页源代码 564.1.1 Python的第三方库 564.1.2 requests介绍与安装 564.1.3 使用requests获取网页源代码 574.1.4 结合requests与正则表达式 594.2 多线程爬虫 604.2.1 多进程库(multiprocessing) 604.2.2 开发多线程爬虫 614.3 爬虫的常见搜索算法 624.3.1 深度优先搜索 624.3.2 广度优先搜索 634.3.3 爬虫搜索算法的选择 644.4 阶段案例——小说网站爬虫开发 644.4.1 需求分析 644.4.2 核心代码构建 654.4.3 调试与运行 684.5 本章小结 684.6 动手实践 68第5章 高性能HTML内容解析 695.1 HTML基础 705.2 XPath 715.2.1 XPath的介绍 715.2.2 lxml的安装 715.2.3 XPath语法讲解 735.2.4 使用Google Chrome浏览器辅助构造XPath 775.3 Beautiful Soup4 815.3.1 BS4的安装 815.3.2 BS4语法讲解 825.4 阶段案例——大麦网演出爬虫 855.4.1 需求分析 855.4.2 核心代码构建 855.4.3 调试与运行 865.5 本章小结 875.6 动手实践 87第6章 Python与数据库 886.1 MongoDB 896.1.1 MongoDB的安装 896.1.2 PyMongo的安装与使用 946.1.3 使用RoboMongo执行MongoDB命令 1016.2 Redis 1026.2.1 环境搭建 1026.2.2 Redis交互环境的使用 1036.2.3 Redis-py 1046.3 MongoDB的优化建议 1056.3.1 少读少写少更新 1056.3.2 能用Redis不用MongoDB 1066.4 阶段案例 1076.4.1 需求分析 1076.4.2 核心代码构建 1076.4.3 调试与运行 1086.5 本章小结 1086.6 动手实践 108第7章 异步加载与请求头 1097.1 异步加载 1107.1.1 AJAX技术介绍 1107.1.2 JSON介绍与应用 1107.1.3 异步GET与POST请求 1117.1.4 特殊的异步加载 1137.1.5 多次请求的异步加载 1147.1.6 基于异步加载的简单登录 1177.2 请求头(Headers) 1187.2.1 请求头的作用 1187.2.2 伪造请求头 1197.3 模拟浏览器 1227.3.1 Selenium介绍 1237.3.2 Selenium安装 1247.3.3 Selenium的使用 1247.4 阶段案例 1287.4.1 需求分析 1287.4.2 核心代码构建 1287.4.3 调试与运行 1307.5 本章小结 1317.6 动手实践 131第8章 模拟登录与验证码 1328.1 模拟登录 1338.1.1 使用Selenium模拟登录 1338.1.2 使用Cookies登录 1358.1.3 模拟表单登录 1378.2 验证码 1398.2.1 肉眼打码 1398.2.2 自动打码 1418.3 阶段案例——自动登录果壳网 1448.3.1 需求分析 1448.3.2 核心代码构建 1458.3.3 运行与调试 1468.4 本章小结 1478.5 动手实践 147第9章 抓包与中间人爬虫 1489.1 数据抓包 1499.1.1 Charles的介绍和使用 1499.1.2 App爬虫和小程序爬虫 1569.2 中间人爬虫 1639.2.1 mitmproxy的介绍和安装 1639.2.2 mitmproxy的使用 1649.2.3 使用Python定制mitmproxy 1659.3 阶段案例——Keep热门 1709.3.1 需求分析 1709.3.2 核心代码构建 1709.3.3 调试运行 1729.4 本章小结 1729.5 动手实践 1720章 Android原生App爬虫 17310.1 实现原理 17410.1.1 环境搭建 17510.1.2 使用Python操纵手机 17810.1.3 选择器 18010.1.4 操作 18110.2 综合应用 18810.2.1 单设备应用 18810.2.2 多设备应用(群控) 19110.3 阶段案例——BOSS直聘爬虫 19610.3.1 需求分析 19610.3.2 核心代码构建 19610.3.3 调试与运行 19710.4 本章小结 19710.5 动手实践 1981章 Scrapy 19911.1 Scrapy的安装 20011.1.1 在Windows下安装Scrapy 20011.1.2 在Linux下安装Scrapy 20211.1.3 在Mac OS下安装Scrapy 20211.2 Scrapy的使用 20311.2.1 创建项目 20311.2.2 在Scrapy中使用XPath 20711.3 Scrapy与MongoDB 21311.3.1 items和pipelines的设置 21311.3.2 在Scrapy中使用MongoDB 21511.4 Scrapy与Redis 21811.4.1 Scrapy_redis的安装和使用 21811.4.2 使用Redis缓存网页并自动去重 21811.5 阶段案例——博客爬虫 22011.5.1 需求分析 22011.5.2 核心代码构建 22111.5.3 调试与运行 22611.6 本章小结 22811.7 动手实践 2282章 Scrapy应用 22912.1 中间件(Middleware) 23012.1.1 下载器中间件 23012.1.2 爬虫中间件 24212.2 爬虫的部署 24612.2.1 Scrapyd介绍与使用 24612.2.2 权限管理 25312.3 分布式架构 25812.3.1 分布式架构介绍 25812.3.2 如何选择Master 25912.4 阶段案例 25912.5 本章小结 2593章 爬虫开发中的法律和道德问题 26013.1 法律问题 26113.1.1 数据采集的法律问题 26113.1.2 数据的使用 26113.1.3 注册及登录可能导致的法律问题 26113.1.4 数据存储 26113.1.5 内幕交易 26113.2 道德协议 26213.2.1 robots.txt协议 26213.2.2 爬取频率 26213.2.3 不要开源爬虫的源代码 26213.3 本章小结 262
作者介绍
谢乾坤,网易数据挖掘工程师。前极客学院爬虫课程讲师,以网名 『青南』与『kingname』开设爬虫开发课程,受众超过10万。多年爬虫开发经验,对爬虫开发有独到的理解。曾在多家知名公司从事爬虫开发工作,并为国内外众多基金公司与投资公司提供数据支持。
序言
— 没有更多了 —
以下为对购买帮助不大的评价