数据采集与预处理

本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术，以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。 本书内容实用，可操作性强，语言精练、通俗易懂，可作为高等院校计算机应用技术、大数据技术与应用、软件技术、云计算技术与应用等计算机相关专业的教材，也可作为大数据分析、云计算应用领域技术人员的参考用书。

米洪，主持省级项目3项；发表北大核心论文5篇；学院交通物联网技术科技创新团队骨干成员；江苏省高等职业院校教师专业带头人访问学者（东南大学）；江苏省高校“青蓝工程”优秀中青年骨干教师。

项目1

数据采集与预处理准备　1

学习目标　1

项目描述　1

任务1　认识数据采集技术，熟悉数据采集平台　1

任务描述　1

任务目标　2

知识准备　2

任务实施　10

任务2　认识数据预处理技术　13

任务描述　13

任务目标　13

知识准备　13

任务实施　19

项目2

网络爬虫实践　24

学习目标　24

项目描述　24

任务1　使用urllib爬取北京公交线路信息　24

任务描述　24

任务目标　25

知识准备　25

任务实施　48

任务2　使用Selenium爬取淘宝网站信息　58

任务描述　58

任务目标　58

知识准备　58

任务实施　69

任务3　使用Scrapy爬取北京公交信息　75

任务描述　75

任务目标　75

知识准备　75

任务实施　78

任务4　创新与拓展　86

任务描述　86

任务目标　86

项目3

日志数据采集实践　87

学习目标　87

项目描述　87

任务1　Flume的安装和配置　87

任务描述　87

任务目标　88

知识准备　88

任务实施　95

任务2　Flume采集数据上传到集群　105

任务描述　105

任务目标　106

知识准备　106

任务实施　110

任务3　创新与拓展　118

任务描述　118

任务目标　118

项目4

数据预处理实践　119

学习目标　119

项目描述　119

任务1　用Pig进行数据预处理　119

任务描述　119

任务目标　120

知识准备　120

任务实施　134

任务2　用Kettle进行数据预处理　137

任务描述　137

任务目标　137

知识准备　137

任务实施　139

任务3　用Pandas进行数据预处理　150

任务描述　150

任务目标　150

知识准备　150

任务实施　153

任务4　用OpenRefine进行数据预处理　155

任务描述　155

任务目标　155

知识准备　155

任务实施　157

任务5　用Flume Interceptor对日志信息进行数据预处理　162

任务描述　162

任务目标　163

知识准备　163

任务实施　167

任务6　创新与拓展　176

任务描述　176

任务目标　176

1.基于企业级项目，以任务驱动为主线，便于教师教学，学生理解。 2.配套资源齐全。配备教学大纲、PPT课件、授课计划、习题答案。 3.企业配套资源，院校完善体系结构。