Spark编程基础
￥ 36.28 5.6折 ￥ 65 九五品
仅1件
北京通州
认证卖家担保交易快速发货售后保障
作者林子雨
出版社人民邮电出版社
ISBN9787115644039
出版时间2024-08
版次1
装帧平装
开本16开
纸张胶版纸
定价65元
上书时间2024-12-18
商品详情
- 品相描述：九五品
- 商品描述
-
基本信息
书名:Spark编程基础
定价：65.00元
作者:林子雨
出版社：人民邮电出版社
出版日期：2024-08-01
ISBN：9787115644039
字数：
页码：
版次：2
装帧：平装
开本：128开
商品重量：
编辑推荐
内容特点 （1）内容全面，结构合理：每章配有本章小结、习题和实验。（2）案例丰富，代码详尽：结合案例讲解编程方法和技术，每段代码重要节点都有详细注释。 资源特点 重点难点知识微课，配套PPT、程序源代码、习题答案等。 服务特点 作者提供服务群等支持，定期举办直播进行教学培训。
内容提要
本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共9章，内容包括大数据技术概述、Spark的设计与运行原理、大数据实验环境搭建、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming和Spark MLlib等。本书安排了入门级的编程实践内容，以助读者更好地学习和掌握Spark编程方法。本书免费提供全套在线教学资源，包括PPT课件、习题答案、源代码、数据集、微课视频、上机实验指南等。本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业的进阶级大数据课程教材，用于Spark编程实践教学，也可以供相关技术人员参考。
目录
目录章 大数据技术概述 11.1 大数据概念与关键技术 11.1.1 大数据概念 11.1.2 大数据关键技术 21.2 代表性大数据技术 31.2.1 Hadoop 31.2.2 Spark 71.2.3 Flink 91.2.4 Beam 111.3 编程语言的选择 121.4 在线资源 131.5 本章小结 141.6 习题 14第2章 Spark的设计与运行原理 152.1 概述 152.2 Spark生态系统 162.3 Spark运行架构 182.3.1 基本概念 182.3.2 架构设计方法 182.3.3 Spark运行的基本流程 192.3.4 RDD的设计与运行原理 202.4 Spark部署方式 292.5 本章小结 302.6 习题 30第3章 大数据实验环境搭建 313.1 Linux操作系统的安装 313.1.1 下载安装文件 313.1.2 Linux操作系统的安装方式 323.1.3 虚拟机和Linux操作系统的安装 333.2 Hadoop的安装 393.2.1 Hadoop简介 393.2.2 安装Hadoop前的准备工作 403.2.3 Hadoop的3种安装模式 423.2.4 下载Hadoop安装文件 423.2.5 单机模式配置 433.2.6 伪分布式模式配置 433.2.7 分布式模式配置 473.3 MySQL的安装 573.3.1 执行安装命令 573.3.2 启动MySQL服务 583.3.3 进入MySQL Shell界面 583.3.4 解决MySQL出现的中文乱码问题 583.4 Kafka的安装 603.4.1 Kafka简介 603.4.2 Kafka的安装和使用 603.5 Anaconda的安装和使用方法 613.6 本章小结 63实验1 Linux、Hadoop和MySQL的安装与使用 64第4章 Spark环境搭建和使用方法 664.1 安装Spark（Local模式） 664.1.1 基础环境 664.1.2 下载安装文件 674.1.3 配置相关文件 674.1.4 验证Spark是否安装成功 684.2 在PySpark中运行代码 684.2.1 pyspark命令 684.2.2 启动PySpark 694.3 使用spark-submit命令提交运行程序 704.4 Spark集群环境搭建（Standalone模式） 704.4.1 集群概况 714.4.2 搭建Hadoop集群 714.4.3 安装Anaconda3 714.4.4 在集群中安装Spark 724.4.5 配置环境变量 724.4.6 Spark的配置 724.4.7 启动Spark集群 734.4.8 关闭Spark集群 744.5 在集群上运行Spark应用程序 754.5.1 启动Spark集群 754.5.2 提交运行程序 754.6 Spark on YARN模式 764.6.1 概述 764.6.2 Spark on YARN模式的部署 774.6.3 采用YARN模式运行PySpark 774.6.4 通过spark-submit命令提交程序到YARN集群 784.6.5 Spark on YARN的两种部署模式 784.7 安装PySpark类库 794.7.1 类库与框架的区别 794.7.2 PySpark类库的安装 804.8 开发Spark独立应用程序 804.8.1 编写程序 804.8.2 通过spark-submit运行程序 814.9 PyCharm的安装和使用 814.9.1 安装PyCharm 814.9.2 使用PyCharm开发Spark程序 874.10 本章小结 894.11 习题 89实验2 Spark的安装和使用 89第5章 RDD编程 915.1 RDD编程基础 915.1.1 RDD创建 915.1.2 RDD操作 935.1.3 持久化 1045.1.4 分区 1055.1.5 综合实例 1095.2 键值对RDD 1105.2.1 键值对RDD的创建 1115.2.2 常用的键值对转换操作 1115.2.3 综合实例 1165.3 数据读写 1175.3.1 本地文件系统的数据读写 1175.3.2 分布式文件系统HDFS的数据读写 1185.3.3 读写MySQL数据库 1195.4 综合实例 1205.4.1 求TOP值 1205.4.2 文件排序 1245.4.3 二次排序 1265.5 本章小结 1295.6 习题 129实验3 RDD编程初级实践 130第6章 Spark SQL 1336.1 Spark SQL简介 1336.1.1 从Shark说起 1336.1.2 Spark SQL架构 1356.1.3 为什么推出Spark SQL 1356.1.4 Spark SQL的特点 1366.1.5 Spark SQL简单编程实例 1366.2 结构化数据DataFrame 1376.2.1 DataFrame概述 1376.2.2 DataFrame的优点 1386.3 DataFrame的创建和保存 1396.3.1 Parquet 1396.3.2 JSON 1396.3.3 CSV 1406.3.4 文本文件 1416.3.5 序列集合 1416.4 DataFrame的基本操作 1426.4.1 DSL语法风格 1426.4.2 SQL语法风格 1466.5 从RDD转换得到DataFrame 1486.5.1 利用反射机制推断RDD模式 1486.5.2 使用编程方式定义RDD模式 1496.6 使用Spark SQL读写数据库 1506.6.1 准备工作 1506.6.2 读取MySQL数据库中的数据 1516.6.3 向MySQL数据库写入数据 1526.7 PySpark和pandas的整合 1536.7.1 PySpark和pandas进行整合的可行性 1536.7.2 pandas数据结构 1546.7.3 实例1：两种DataFrame之间的相互转换 1556.7.4 实例2：使用自定义聚合函数 1566.8 综合实例 1576.9 本章小结 1596.10 习题 159实验4 Spark SQL编程初级实践 160第7章 Spark Streaming 1627.1 流计算概述 1627.1.1 静态数据和流数据 1627.1.2 批量计算和实时计算 1637.1.3 什么是流计算 1647.1.4 流计算框架 1647.1.5 流计算处理流程 1657.2 Spark Streaming概述 1667.2.1 Spark Streaming设计 1677.2.2 Spark Streaming与Storm的对比 1687.2.3 从“Hadoop Storm”架构转向Spark架构 1687.3 DStream操作概述 1697.3.1 Spark Streaming工作机制 1697.3.2 编写Spark Streaming程序的基本步骤 1707.3.3 创建StreamingContext对象 1707.4 基本输入源 1707.4.1 文件流 1707.4.2 套接字流 1727.4.3 RDD队列流 1767.5 转换操作 1777.5.1 DStream无状态转换操作 1777.5.2 DStream有状态转换操作 1777.6 输出操作 1827.6.1 把DStream输出到文本文件中 1827.6.2 把DStream写入关系数据库中 1837.7 本章小结 1847.8 习题 185实验5 Spark Streaming编程初级实践 185第8章 Structured Streaming 1878.1 概述 1878.1.1 基本概念 1888.1.2 两种处理模型 1898.1.3 Structured Streaming和Spark SQL、Spark Streaming的关系 1908.2 编写Structured Streaming程序的基本步骤 1908.2.1 实现步骤 1908.2.2 测试运行 1928.3 输入源 1948.3.1 File源 1948.3.2 Kafka源 1988.3.3 Socket源 2008.3.4 Rate源 2018.4 输出操作 2028.4.1 启动流计算 2038.4.2 输出模式 2038.4.3 输出接收器 2048.5 容错处理 2058.5.1 从检查点恢复故障 2068.5.2 故障恢复中的限制 2068.6 迟到数据处理 2068.6.1 事件时间 2078.6.2 迟到数据 2078.6.3 水印 2088.6.4 多水印规则 2098.6.5 处理迟到数据的实例 2108.7 查询的管理和监控 2138.7.1 管理和监控的方法 2138.7.2 一个监控的实例 2138.8 本章小结 2158.9 习题 216实验6 Structured Streaming编程实践 216第9章 Spark MLlib 2189.1 基于大数据的机器学习 2189.2 机器学习库MLlib概述 2199.3 基本的数据类型 2209.3.1 本地向量 2209.3.2 标注点 2219.3.3 本地矩阵 2229.3.4 数据源 2239.4 基本的统计分析工具 2249.4.1 相关性 2249.4.2 假设检验 2269.4.3 汇总统计 2279.5 机器学习流水线 2289.5.1 流水线的概念 2289.5.2 流水线的工作过程 2299.6 特征提取、特征转换、特征选择及局部敏感散列 2309.6.1 特征提取 2319.6.2 特征转换 2349.6.3 特征选择 2399.6.4 局部敏感散列 2419.7 分类算法 2419.7.1 逻辑斯谛回归分类算法 2429.7.2 决策树分类算法 2469.8 聚类算法 2509.8.1 K-Means聚类算法 2509.8.2 GMM聚类算法 2539.9 频繁模式挖掘算法 2569.9.1 FP-Growth算法 2569.9.2 PrefixSpan算法 2599.10 协同过滤算法 2619.10.1 协同过滤算法的原理 2629.10.2 ALS算法 2629.11 模型选择 2669.11.1 模型选择工具 2669.11.2 用交叉验证选择模型 2679.12 本章小结 2699.13 习题 270实验7 Spark MLlib编程初级实践 270参考文献 272
作者介绍
林子雨（1978－），男，博士（毕业于北京大学），国内高校知名大数据教师，厦门大学计算机科学系副教授，厦门大学信息学院实验教学中心主任，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员，中国高校首个“数字教师”提出者和建设者。厦门大学2013年度、2017年度和2020年度奖教金获得者，获评“厦门大学2019年度本科教学示范岗”，入选“2021年高校计算机专业优秀教师奖励计划”。2013年开始在厦门大学开设大数据课程，建设了国内高校首个大数据课程公共服务平台，平台累计网络访问量超过1500万次，成为全国高校大数据教学知名品牌，并荣获“2018年福建省教学成果二等奖”和“2018年厦门大学教学成果特等奖”，主持的课程《大数据技术原理与应用》获评“2018年国家精品在线开放课程”、“2020年国家级线上一流本科课程”和“2021年福建省线上线下混合一流本科课程”，主持的课程《Spark编程基础》获评“2020年福建省线上一流本科课程”。
序言
-
【封面】
相关推荐
— 没有更多了 —
以下为对购买帮助不大的评价