Python网络爬虫技术 第2版 微课版
全新正版 极速发货
￥ 29.56 5.9折 ￥ 49.8 全新
库存14件
广东广州
认证卖家担保交易快速发货售后保障
作者池瑞楠,张良均 编
出版社人民邮电出版社
ISBN9787115625052
出版时间2023-10
装帧平装
开本16开
定价49.8元
货号1203103750
上书时间2024-07-02
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
张良均 高级信息系统项目管理师，泰迪杯全国大学生数据挖掘竞赛（www.tipdm.org）的发起人。华南师范大学、广东工业大学兼职教授，广东省工业与应用数学学会理事。兼有大型高科技企业和高校的工作经历，主要从事大数据挖掘及其应用的策划、研发及咨询培训。全国计算机技术与软件专业技术资格（水平）考试继续教育和CDA数据分析师培训讲师。发表数据挖掘相关论文数二十余篇，已取得国家发明专利12项，主编图书《神经网络实用教程》、《数据挖掘:实用案例分析》、《MATLAB数据分析与挖掘实战》等9本畅销图书，主持并完成科技项目9项。获得SAS、SPSS数据挖掘认证及Hadoop开发工程师证书，具有电力、电信、银行、制造企业、电子商务和电子政务的项目经验和行业背景。
目录
项目1了解爬虫与Python爬虫环境1
【项目背景】1
【学习目标】1
【思维导图】2
任务1．1认识爬虫2
1．1．1爬虫的概念3
1．1．2爬虫的原理3
1．1．3爬虫的合法性与robots协议5
任务1．2认识反爬虫7
1．2．1网站反爬虫的目的与手段8
1．2．2爬取策略制定9
任务1．3配置Python爬虫环境10
1．3．1配置PyCharm11
1．3．2Python爬虫相关库介绍与配置20
1．3．3配置MySQL数据库21
1．3．4配置MongoDB数据库34
小结40
实训Python爬虫环境配置41
思考题42
课后习题42
项目2爬虫基础知识准备44
【项目背景】44
【学习目标】44
【思维导图】45
任务2．1认识网页基础46
2．1．1了解网页开发技术47
2．1．2了解网页的结构49
2．1．3了解网页的分类56
2．1．4了解网页的数据结构59
任务2．2认识HTTP61
2．2．1熟悉HTTP请求方法与过程62
2．2．2熟悉常见HTTP状态码64
2．2．3熟悉HTTP头部信息65
2．2．4熟悉Cookie71
小结73
实训74
实训1创建一个简单的网页文件74
实训2访问网站并查看请求和响应信息74
思考题75
课后习题75
项目3简单静态网页爬取——获取某企业官网基本信息77
【项目背景】77
【学习目标】77
【思维导图】78
任务3．1实现HTTP请求79
3．1．1使用Chrome开发者工具查看网页80
3．1．2使用urllib 3库实现86
3．1．3使用Requests库实现90
任务3．2解析网页95
3．2．1使用Xpath解析网页95
3．2．2使用Beautiful Soup库解析网页101
3．2．3使用正则表达式解析网页109
任务3．3数据存储113
3．3．1将数据存储为JSON文件113
3．3．2将数据存储到MySQL数据库115
小结117
实训118
实训1生成GET请求并获取指定网页内容118
实训2搜索目标节点并提取文本内容119
实训3在数据库中建立新表并导入数据119
思考题120
课后习题120
项目4爬取动态网页——获取图书基本信息123
【项目背景】123
【学习目标】123
【思维导图】124
任务4．1逆向分析爬取动态网页124
4．1．1判别网页类型125
4．1．2获取动态网页信息126
任务4．2使用Selenium库爬取动态网页129
4．2．1安装Selenium库及下载浏览器驱动130
4．2．2打开浏览对象并访问页面131
4．2．3元素选取132
4．2．4元素交互136
4．2．5页面操作138
4．2．6页面等待140
任务4．3存储数据至MongoDB数据库143
4．3．1MongoDB数据库和MySQL数据库的区别143
4．3．2将数据存储到MongoDB数据库144
小结148
实训149
实训1生成GET请求并获取指定网页内容149
实训2搜索目标节点并提取文本内容149
思考题150
课后习题150
项目5模拟登录——登录某企业官网153
【项目背景】153
【学习目标】153
【思维导图】154
任务5．1使用表单登录方法实现模拟登录155
5．1．1查找提交入口155
5．1．2查找并获取需要提交的表单数据158
5．1．3使用POST请求方法登录162
任务5．2使用Cookie登录方法实现模拟登录165
5．2．1使用浏览器Cookie登录165
5．2．2基于表单登录的Cookie登录168
小结170
实训171
实训1使用表单登录方法模拟登录古诗文网171
实训2使用浏览器Cookie模拟登录古诗文网171
实训3基于表单登录后的Cookie模拟登录古诗文网172
思考题173
课后习题173
项目6终端协议分析——获取某音乐PC客户端和APP数据175
【项目背景】175
【学习目标】176
【思维导图】176
任务6．1分析PC客户端抓包177
6．1．1了解HTTP Analyzer工具177
6．1．2爬取酷我音乐PC客户端数据180
任务6．2分析App抓包182
6．2．1了解Fiddler工具182
6．2．2分析酷我音乐App186
小结189
实训189
实训1抓取酷我音乐PC客户端的推荐歌曲信息189
实训2监控朴朴超市商品实时价格191
思考题192
课后习题193
项目7使用Scrapy爬虫——爬取某企业官网新闻动态194
【项目背景】194
【学习目标】194
【思维导图】195
任务7．1认识Scrapy196
7．1．1了解Scrapy爬虫框架196
7．1．2熟悉Scrapy常用命令198
任务7．2通过Scrapy爬取文本信息199
7．2．1创建Scrapy爬虫项目200
7．2．2修改items/pipelines脚本201
7．2．3编写spider脚本204
7．2．4修改settings脚本209
任务7．3定制中间件212
7．3．1定制下载器中间件212
7．3．2定制Spider中间件216
小结217
实训218
实训1爬取“http：//www．tipdm．org”的所有新闻动态218
实训2定制BdRaceNews爬虫项目的中间件219
实训3爬取猫眼电影“https：//maoyan．com/board/4”的影片信息220
实训4配置Maoyan100爬虫项目的设置文件220
思考题221
课后习题222
内容摘要
本书以项目为导向，以任务为驱动，较为全面地介绍了不同场景、不同平台使用Python爬取网络数据的方法，涉及静态网页、动态网页、登录后才能访问的网页、PC客户端、App客户端等。全书共7个项目，项目1介绍爬虫与反爬虫的基本概念，以及Python爬虫环境的配置:项目2介绍爬取过程
中涉及的网页基础知识:项目3介绍在静态网页中爬取数据的过程:项目4介绍在动态网页中爬取数据的过程:项目5介绍对登录后才能访问的网页进行模拟登录的方法:项目6介绍爬取PC客户端和App客户端数据的方法:项目7介绍使用Scrapy爬虫框架爬取数据的过程。本书所有项目都包含实训与课后习题，通过练习和操作实战，读者可巩固所学的内容。
本书可以作为“1+X”证书制度试点工作中的大数据应用开发(Python)职业技能等级证书(中级)的参考书，也可以作为高校大数据技术类专业的教材和大数据技术爱好者的自学用书。
主编推荐
1. 全书紧扣任务需求展开，不堆积知识点
2. 随书附带源代码，方便读者系统学习并动手实践
3. 案例丰富
4. 配有微课视频 学习更方便
5. 大数据分析与应用1+X证书配套教材
— 没有更多了 —
以下为对购买帮助不大的评价