网络爬虫与数据采集(面向高等职业院校基于工作过程项目式系列教程)

图书标准信息

• 作者 陈静 主编
• 出版社 天津大学出版社
• 出版时间 2024-02
• 版次 1
• ISBN 9787561876770
• 定价 59.00元
• 装帧 其他
• 开本 其他
• 页数 208页
• 字数 332千字

【内容简介】

随着互联网的迅速发展，网络上的资源和信息呈现爆发式增长。此外，越来越多的网站和应用程序提供了丰富的数据，并为开发者提供了接口，以便让他们使用和利用这些数据。在这种情况下，网络爬虫作为一种能够自动采集并处理互联网上的信息的工具，逐渐成为了数据采集和分析过程中不可或缺的一部分。在数据采集方面，网络爬虫可以用于获取互联网上的各种数据，例如新闻、评论、商品信息、用户数据等。通过网络爬虫，研究人员、企业和个人都可以快速、准确地获取大量数据，并对其进行分析和挖掘。这些数据可以被用来制定商业决策、预测市场趋势、评估产品竞争力、推荐产品或服务等。本书由七个项目组成，分为初识网络爬虫、基于Python库实现静态数据采集、基于urllib实现客户端数据采集、基于Requests-HTML实现动态数据采集、基于Scrapy框架实现网页数据采集、基于Scrapy-redis分布式实现网页数据采集以及基于自动化测试工具实现网页数据采集。

【作者简介】

山东劳动职业技术学院：山东劳动职业技术学院始建于1955年，坐落于风景秀丽的历史文化名城山东济南市，新校区位于长清大学科技园区，占地1400余亩是一所具有鲜明办学特色的全日制普通高等院校，学院是“全国职业教育优选单位”、“国家高技能人才培养示范基地”、“山东省高校首批技能型特色名校”、并被人社部等十部委授予“国家技能人才培育突出贡献奖”。天津滨海迅腾科技集团有限公司：公司系国家高新技术企业、天津市第一批产教融合型企业、天津市瞪羚企业，主营业务包括信息化集成、IT服务、产教融合服务等；公司党建带群建工作走在全是非公企业前列，荣获全国模范和谐企业、天津市五一劳动奖状优选单位、天津市文明单位等数十项殊荣；多年中自主研发天津市科技成果3项，软件著作权43项，发明专利3项，开发基于工作过程项目式教材70余种。2020-2021年编写《数据可视化项目实战》《TensorFlow项目式案例实战》《Spark应用技术与处理》《Photoshop核心技术项目实战》《职业能力与就业指导教程》《网店运营案例分析项目实战》《Adobe After Effects CC 2018视频后期效果处理》《基于Vue的JavaWeb项目实战》《大数据应用开发案例实践教程》《全景效果图案例设计教程》等20余本教材。    2021-2022年编写《软件测试项目实战》《人工智能系统平台实施中级》《三维动画制作任务式教程——MAYA从入门到精通》《大学生职业素质与就业指导教程》《网络管理与配置》《Python项目实战》《新媒体营销综合案例教程》《工业互联网综合项目实战》《网页设计与制作—HTML5+CSS3项目实战》《Django Web项目实战》等10余本教材。

【目录】

项目一 初识网络爬虫

项目导言

任务一 网络爬虫概述

任务描述

任务技能

任务实施

任务二 网络爬虫技术及平台

任务描述

任务技能

任务实施

项目总结

英语角

课后习题

项目二 基于Python库实现静态数据采集

项目导言

任务一 使用Requests库发起HTTP请求

任务描述

任务技能

任务实施

任务二 使用BeautifulSoup库提取新闻数据

任务描述

任务技能

任务实施

任务三 使用LXML解析器提取新闻数据

任务描述

任务技能

任务实施

项目总结

英语角

课后习题

项目三 基于urllib实现客户端数据采集

项目导言

任务一 安装Fiddler并对APP抓包

任务描述

任务技能

任务实施

任务二 使用urllib采集APP数据

任务描述

任务技能

任务实施

项目总结

英语角

课后习题

项目四 基于Requests-HTML实现动态数据采集

项目导言

任务一 使用Requests-HTML库爬取静态网站

任务描述

任务技能

任务实施

任务二 使用Requests-HTML库清洗数据

任务描述

任务技能

任务实施

任务三 使用Requests-HTML库爬取动态数据

任务描述

任务技能

任务实施

项目总结

英语角

课后习题

项目五 基于Scrapy框架实现网页数据采集

项目导言

任务一 安装Scrapy框架

任务描述

任务技能

任务实施

任务二 使用Scrapy采集网页数据

任务描述

任务技能

任务实施

项目总纳

英语角

课后习题

项目六 基于Scrapy-Redis分布式实现网页数据采集

项目导言

任务一 安装Redis

任务描述

任务技能

任务实施

任务二 使用Scrapy-Redis分布式采集网页数据

任务描述

任务技能

任务实施

项目总结

英语角

课后习题

项目七 基于自动化测试工具实现网页数据采集

项目导言

任务一 使用Selenium获取页面数据

任务描述

任务技能

任务实施

任务二 使用Selenium完成滑动条验证并获取数据

任务描述

任务技能

任务实施

任务三 使用Splash获取页面数据并保存页面截图

任务描述

任务技能

任务实施

项目总结

英语角

课后习题