Python网络爬虫实战

图书标准信息

• 作者 邓晨曦 著；邓晨曦 编
• 出版社 中国铁道出版社
• 出版时间 2022-02
• 版次 1
• ISBN 9787113286583
• 定价 39.00元
• 装帧 平装
• 开本 16开
• 页数 180页
• 字数 299千字

【内容简介】

本书基于Python 3，系统全面地讲解了Python网络爬虫的基础知识。全书共分11章，内容包括网络爬虫概述、网页请求原理与爬虫基础、urllib库与异常处理、requests库、数据解析技术、Beautiful Soup库、动态页面爬取、爬虫数据的存储、爬虫框架Scrapy、CrawlSpider、图像识别与文字处理。
    本书适合作为高等职业院校电子信息类各专业的教材，也可作为培训学校的培训教材，以及Python爬虫爱好者的自学用书。

【作者简介】

      邓晨曦，湖南衡阳人，毕业于湖南师范大学，硕士研究生学位、副教授、软件工程师、中国计算机学会会员。现任湖南环境生物职业技术学院生态宜居学院计算机专业教师。从事教育教学工作以来，发表SCI论文1篇、中文核心论文1篇，其他省级刊物发表论文10余篇；申请发明专利1项，授权实用新型专利2项；主持市厅课题1项，参与省级课题1项，院长基金课题1项；主编、参编出版教材6本；指导学生参加、省级技能竞赛，多次获得一、二、三等奖。

【目录】

第1章  网络爬虫概述
  1.1  爬虫产生背景
    1.1.1  企业产生的数据
    1.1.2  数据平台购买的数据
    1.1.3  政府／机构公开的数据
    1.1.4  数据管理咨询公司的数据
    1.1.5  爬取的网络数据
  1.2  爬虫的概念
  1.3  爬虫的用途
  1.4  爬虫的组成
  1.5  爬虫的类型
    1.5.1  通用爬虫
    1.5.2  聚焦爬虫
    1.5.3  累积式和增量式爬虫
    1.5.4  表层爬虫和深层爬虫
第2章  网页请求原理与爬虫基础
  2.1  爬虫实现原理
    2.1.1  通用爬虫
    2.1.2  聚焦爬虫
  2.2  HTTP基础
    2.2.1  HTTP与HTTPS
    2.2.2  HTTP请求过程
    2.2.3  客户端请求
    2.2.4  服务端响应
  2.3  网页基础
  2.4  抓包工具Fiddler
    2.4.1  Fiddler简介
    2.4.2  Fiddler工作原理与界面
    2.4.3  Fiddler爬取HTTPS设置
    2.4.4  Fiddler捕获Chrome会话
第3章  urllib库与异常处理
  3.1  urllib库简介
    3.1.1  快速使用Urllib爬取网页
    3.1.2  urllib数据传输
    3.1.3  浏览器模拟――Headers请求伪装
  3.2  代理服务器设置
  3.3  超时设置
  3.4  异常处理
    3.4.1  URLError
    3.4.2  HTTPError
  3.5  urllib库爬虫实战――百度贴吧
第4章  requests库
  4.1  requests库概述
    4.1.1  实例引入
    4.1.2  request
    4.1.3  response
    4.1.4  Robots协议
  4.2  高级用法
    4.2.1  文件上传
    4.2.2  Cookies
    4.2.3  SSL证书验证
    4.2.4  会话保持
第5章  数据解析技术
  5.1  网页数据和结构
    5.1.1  网页数据格式
    5.1.2  网页结构
  5.2  lxml
    5.2.1  安装lxml
    5.2.2  lxml库的使用
  5.3  XPath
    5.3.1  节点关系
    5.3.2  XPath语法
    5.3.3  节点轴
  5.4  pyquery
    5.4.1  pyquery安装
    5.4.2  使用pyquery
第6章  Beautiful Soup库
  6.1  Beautiful Soup简介
    6.1.1  Windows下安装Beautiful Soup
    6.1.2  Linux下安装Beautiful Soup
    6.1.3  创建Beautiful Soup对象
  6.2  对象种类
    6.2.1  Tag
    6.2.2  NavigableString
    6.2.3  Beautiful Soup
    6.2.4  Comment
  6.3  遍历文档树
    6.3.1  子节点
    6.3.2  父节点
    6.3.3  兄弟节点
    6.3.4  前后节点
    6.3.5  搜索文档树
    6.3.6  CSS选择器
第7章  动态页面爬取
  7.1  动态网页介绍
    7.1.1  JavaScript
    7.1.2  jQuery
    7.1.3  AJAX
    7.1.4  DHTML
  7.2  安装Selenium和PhantomJS模块
    7.2.1  Selenium下载安装
    7.2.2  PhantomJS下载安装
  7.3  selenium和PhantomJS基本操作
    7.3.1  基本使用
    7.3.2  声明浏览器对象
    7.3.3  节点查找
    7.3.4  鼠标动作链
    7.3.5  填充表单
    7.3.6  弹窗处理
    7.3.7  页面切换
    7.3.8  页面前进和后退
    7.3.9  Cookies
    7.3.10  页面等待
  7.4  案例――模拟登录QQ邮箱
  7.5  案例――模拟登录物联网融合云平台
第8章  爬虫数据的存储
  8.1  数据存储概述
  8.2  文件存储
    8.2.1  TXT文本存储
    8.2.2  JSON文件存储
    8.2.3  把数据存储到CSV
  8.3  数据库存储
    8.3.1  MySQL
    8.3.2  MongoDB
  8.4  使用MySQL存储网站电影信息
    8.4.1  页面分析
    8.4.2  爬取全部页面
    8.4.3  通过bs4选取数据
    8.4.4  通过MySQL存储电影信息
  8.5  使用MongoDB存储网站音乐信息
    8.5.1  页面分析
    8.5.2  爬取全部页面
    8.5.3  通过bs4选取数据
    8.5.4  通过MongoDB存储音乐信息
第9章  爬虫框架Scrapy
  9.1  常见Pthion爬虫框架
  9.2  Scrapy安装与配置
    9.2.1  Windows下的安装与配置
    9.2.2  Linux下的安装与配置
    9.2.3  MAC下的安装与配置
  9.3  scrapy基本操作
    9.3.1  项目创建
    9.3.2  文件介绍
    9.3.3  代码编写
    9.3.4  常用命令
  9.4  Scrapy架构
    9.4.1  Scrapy框架介绍
    9.4.2  数据流
第10章  CrawlSpider
  10.1  CrawlSpider简介
  10.2  LinkExtractor链接提取
  10.3  ClawlSpider实战
第11章  图像识别与文字处理
  11.1  OCR概述
    11.1.1  Tesseract
    11.1.2  Pillow和pytesseract
  11.2  处理规范格式的文字
  1l.3  验证码读取