大数据技术实训教程：预处理、离线分析和实时计算

图书标准信息

• 作者 卢正才 曹小平 郑子伟
• 出版社 人民邮电出版社
• 出版时间 2022-09
• 版次 1
• ISBN 9787115596574
• 定价 59.90元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 240页
• 字数 268千字

【内容简介】

本书是职业院校大数据相关专业的实训配套教材，也是“1x”大数据应用开发（java）职业技能等级试辅助教材。全书共4章，包括web服务器志分析项目、招聘数据分析项目、电商实时数据分析项目、金融大数据分析项目。本书内容涵盖了大数据技术的完整流程，包括数据采集、数据预处理、数据分析、数据挖掘、数据存储、数据可视化等，既有离线处理，又有实时处理。同时涉及4个不同业务背景的29个项目任务，包括17个职业院校技能大赛项目任务，可帮助读者切实掌握大数据预处理、离线分析和实时计算的实践技能。
本书可作为职业院校、应用型本科院校计算机应用技术、软件技术、软件工程、网络工程和大数据技术等计算机相关专业的教材，还可供从事计算机相关工作的技术人员学参。

【作者简介】

1.卢正才，清华大学计算机科学与技术专业博士，工程师，泸州职业技术学院人工智能与大数据学院院长。主研军队重点科研项目 6 项，博士点资助项目 1 项，国“十二五”探索重点项目 1 项。其中，获全军科技进步 1 项，全军科技进步 2 项。发表10余篇，其中ci3篇，ei国际会议2篇，中文核心2篇。发明专利2项。
2.曹小，电子科技大学软件工程硕士，正实验师，重庆科创职业学院人工智能学院副院长，职业教育学分银行专家、重庆市教育信息化专家、重庆市职业技能培训领域专家、重庆市教育评估监测专家、重庆市电子与信息类职业教育行业指导委员会委员。主持市教委重点项目2项、科学技术研究项目1项；获得软件著作权7项、授权专利5项；主编理实一体化教材5部。
3.郑子伟，教授，厦门城市职业学院人工智能学院院长，福建省专业带头人，获福建省“新长征突击手”“福建省教育系统员”“福建省教师”，以及职业院校技能大赛指导教师等荣誉。

【目录】

章  web服务器志分析项目

1.1  任务一：需求分析

1.2  任务二：技术方案设计

1.3  任务三：使用flume采集志数据

1.4  任务四：使用mapreduce清洗数据

1.5  任务五：使用hive分析数据

1.6  任务六：使用sqoop迁移数据

1.7  任务七：java+echarts数据可视化

1.8  答疑解惑

1.9  拓展练

第2章  招聘数据分析项目

2.1  大赛简介

2.2  任务一：需求分析

2.3  任务二：项目流程

2.4  任务三：使用python“爬取”招聘数据

2.5  任务四：使用mapreduce预处理数据

2.6  任务五：使用hive分析数据

2.7  任务六：使用sqoop导出数据

2.8  任务七：flask+echarts数据可视化

2.9  任务八：编写分析报告

2.10  答疑解惑

2.11  拓展练

第3章  电商实时数据分析项目

3.1  任务一：需求分析

3.2  任务二：项目方案设计

3.3  任务三：使用flume+kafka实时收集数据

3.4  任务四：使用spark实时计算数据

3.5  任务五：java+echarts数据可视化

3.6  答疑解惑

3.7  拓展练

第4章  金融大数据分析项目

4.1  大赛简介

4.2  任务一：需求分析

4.3  任务二：项目流程

4.4  任务三：使用spark抽取离线数据

4.5  任务四：使用spark统计离线数据

4.6  任务五：使用flume+kafka实时采集数据

4.7  任务六：使用flink实时计算数据

4.8  任务七：vue.js+java+echarts数据可视化

4.9  任务八：使用spark ml数据挖掘

4.10  任务九：编写分析报告

4.11  答疑解惑

4.12  拓展练

附录

附录1  hadoop安装署和配置

附录2  掌握hdfs shell作

附录3  通过wordcount熟悉mapreduce

附录4  深入理解mapreduce

附录5  flume安装署和配置

附录6  hive安装署和配置

附录7  sqoop安装署和配置

附录8  hadoop高可用集群环境安装署和配置

附录9  hadoop集群节点动态管理

附录10  kafka安装署和配置

附录11  spark安装署和配置

附录12  spark rdd算子

附录13  通过wordcount熟悉spark rdd

附录14  flink安装署和配置