【正版书籍】大数据综合应用实践

大数据技术作为新一代信息技术的重要组成部分，与其他技术相互融合、相互支撑，共同推动数字经济的高速发展。近年来，随着大数据融合应用能力不断深化，大数据应用在越来越多的行业领域发挥着重要价值，其应用场景也更为复杂。随着新基建、数字强国等战略的实施，大数据技术与应用迎来了新一轮的高速发展，迫切需要培养技术与实践能力较强的综合性人才，满足经济社会发展对大数据人才的需要。在此背景下，建立面向应用实践的大数据技术课程体系，为大数据人才提供学习资料，对于培养高质量的大数据专业人才、推动经济社会发展具有重要意义。
本书围绕大数据综合应用，以实践项目为案例，对大数据环境部署、关键技术和知识、上机实践操作等进行了详细介绍。本书共分为4章，包括大数据技术概述和三个项目案例实践。第1章概要介绍了大数据的技术和综合应用，主要对大数据基本概念、发展历程、技术框架、生态圈及处理工具、技术发展趋势、大数据产业、应用领域、典型应用及特征、应用前景与展望等进行了概述。第2章为基于Python MySQL Kettle的点评网数据采集分析及可视化的项目案例，以点评餐厅的数据统计分析为例，对数据采集、存储、查询、清洗和可视化分析等数据全流程处理的技术知识和实践操作进行了详细阐述，有助于读者进一步熟悉网络爬虫、数据清洗、统计分析和可视化。第3章为基于Hive MySQL Spark的零售数据分析及可视化的项目案例，对商场零售交易数据进行统计及关联分析，模拟商场、商店、超市等零售商家的大数据存储与分析过程，并可视化展示分析结果，有助于读者理解大数据相关知识及分析方法，并掌握相应的数据挖掘工具软件。第4章为基于Elasticsearch Logstash Kibana Filebeat的日志收集分析及可视化的项目案例，详细介绍了日志采集组件的原理及组件间的关系，对日志数据的收集、传输、过滤、存储、分析及可视化展示等实践操作进行了详细说明，最终实现了网约车平台日志的收集、过滤、分析和可视化整个流程，帮助读者更好地使用ELKF技术栈实现日志的收集和分析。
本书具有以下特点。
(1) 大数据技术及应用实践内容广泛。本书编排内容并不求全，而是针对普通高校大数据课程教学及大数据技术人员的需求，遵循实用、适用和应用原则，基于项目案例对大数据技术综合应用与实践进行深入浅出的讲解。
(2) 每个项目案例均提供了项目简介、环境部署、技术知识、实践操作等详细的内容，并提供了丰富的配套资源和拓展训练内容。
(3) 选取的项目案例贴近实际生活，强调了大数据技术的应用实践，可以有效提高学生的学习兴趣。大数据综合应用实践

本书配套资源丰富，包括教学课件、程序源码、扩展训练答案，还配有微课视频。
本书由齐鲁工业大学(山东省科学院)、山东省计算中心(国家超级计算济南中心)陈静、杨美红、张虎、李娜、郭莹、葛菁、王迪和济南超级计算技术研究院程翠萍、山东正云信息科技有限公司房靖晶共同编写，其中陈静主持编写，杨美红、程翠萍编写第1章，陈静、郭莹编写第2章，李娜、葛菁、王迪编写第3章，张虎、房靖晶编写第4章。齐鲁工业大学孙浩、张传福、李文、袁梦、孙明辉、张淙冕参与了项目实践的验证工作，在此一并表示衷心的感谢！本书获得齐鲁工业大学计算机科学与技术学科经费资助。
由于编者水平有限，书中难免存在疏漏和不足之处，敬请广大读者批评指正。

陈静
2022年6月

杨美红，女，研究员，山东省计算中心主任、网络空间安全学院院长；山东省信息资源应用协会会长、山东计算机学会大数据与智能计算专业委员会副主任委员。先后主持或参与科技部中小企业基金、国家863项目、国家自然基金项目、山东省科技攻关、山东省自主创新工程专项、山东省电子发展基金等项目40余项，荣获山东省科技进步二等奖一项、三等奖三项。 陈静，副研究员，计算机应用技术博士，长期从事云计算、边缘计算、大数据等方面的研发工作。先后主持省部级项目3项，作为核心人员参与国家863计划、国家重点研发计划、省重点研发计划、省自主创新专项、省信息产业发展专项等10余项；获得山东省科技进步一等奖1项、二等奖2项，省高等学校科学技术三等奖1项，授权发明专利3项。

第1章大数据综合应用概述001
1.1大数据技术概述001
1.1.1大数据基本概念001
1.1.2大数据技术的发展历程001
1.1.3大数据的技术框架002
1.1.4大数据生态圈及处理工具003
1.1.5大数据技术的发展趋势006
1.2大数据综合应用概述007
1.2.1大数据产业007
1.2.2大数据的应用领域008
1.2.3大数据的典型应用及特征009
1.2.4大数据应用前景与展望011
1.3本章小结012
第2章基于Python MySQL Kettle的点评网数据采集分析及可视化013
2.1项目概述013
2.2项目环境部署014
2.2.1模拟点评网站的部署014
2.2.2项目实践环境部署020
2.3项目技术知识030
2.3.1网页解析030
2.3.2网络爬虫037
2.3.3数据清洗042
2.3.4数据统计分析与可视化045
2.4项目实践046
2.4.1点评网网页分析046
2.4.2Python爬取点评网数据050
2.4.3Kettle数据清洗064
2.4.4统计分析与PyEcharts可视化079
2.5项目小结090
2.6项目拓展训练090大数据综合应用实践

第3章基于Hive MySQL Spark的零售数据分析及可视化091
3.1项目概述091
3.2项目环境部署092
3.2.1安装Java092
3.2.2安装Hadoop098
3.2.3安装MySQL102
3.2.4安装Hive107
3.2.5安装Sqoop113
3.2.6安装Spark115
3.2.7利用Echarts可视化117
3.3项目技术知识123
3.3.1Spark基本原理123
3.3.2Hive数据仓库130
3.3.3PySpark简介134
3.3.4Spark SQL概述137
3.3.5MLlib和关联分析138
3.4项目实践141
3.4.1基于Hive MySQL Sqoop的数据存储与传输142
3.4.2基于零售交易数据的Spark数据处理与分析150
3.4.3可视化展示161
3.5项目小结189
3.6项目拓展训练190
第4章基于Elasticsearch Logstash Kibana Filebeat的日志收集分析及可视化191
4.1项目概述191
4.2项目环境部署192
4.2.1Elasticsearch安装193
4.2.2Logstash安装194
4.2.3Kibana安装195
4.2.4Filebeat安装195
4.2.5Kafka安装196
4.3项目技术知识198
4.3.1ELKF Stack数据处理工具198
4.3.2Beats轻量级日志采集器198
4.3.3Logstash日志分析过滤工具204
4.3.4Elasticsearch分布式日志搜索引擎213
4.3.5Kibana日志汇总、分析和搜索展示系统227
4.3.6Kafka分布式消息系统234
4.4项目实践235
4.4.1网约车平台日志数据收集236
4.4.2网约车平台日志数据传输和过滤238
4.4.3日志数据汇集及存储240
4.4.4日志数据分析及可视化展示240
4.5项目小结252
4.6项目拓展训练252
参考文献253

围绕大数据综合应用，以实践项目为案例，介绍大数据环境部署、关键技术知识、上机实践操作等。 
项目案例均提供项目简介、环境部署、技术知识、实践操作等详细内容。 
配套教学课件、程序源码、扩展训练答案，微课视频。